Resumen Técnico: Sakana Fugu

Declaración del Problema

Los Modelos de Lenguaje Extensos (LLM) de frontera han alcanzado un rendimiento de nivel experto en diversos dominios, pero exhiben especializaciones cada vez más diferenciadas. Por ejemplo, mientras que algunos modelos sobresalen en el razonamiento matemático o la demostración de teoremas, otros dominan en la ingeniería de software, la ciberseguridad o la implementación algorítmica. Además, dentro de un mismo dominio, los modelos suelen poseer fortalezas granulares (por ejemplo, la implementación directa de algoritmos frente a la planificación compleja).

Los enfoques actuales para escalar las capacidades de la IA se basan principalmente en entrenar modelos más grandes y costosos. Sin embargo, el artículo sostiene que la próxima frontera puede no lograrse mediante un único modelo monolítico, sino mediante sistemas que puedan identificar, combinar y amplificar las fortalezas complementarias de múltiples modelos especializados. Además, aunque los "andamios agénticos" (prompts estructurados, uso de herramientas, retroalimentación del entorno) han mejorado el rendimiento de los modelos individuales, estos suelen ser sistemas fijos y específicos para cada tarea. Existe la necesidad de un sistema que pueda orquestar dinámicamente un equipo de agentes, adaptando el flujo de trabajo, la topología de comunicación y el uso de herramientas a los requisitos específicos de cada consulta, tratando efectivamente la inteligencia colectiva como un eje escalable más allá del tamaño bruto del modelo.

Metodología

Sakana Fugu es una familia de modelos orquestadores aprendidos diseñados para exponer un sistema multi-agente a través de una única interfaz de modelo. En lugar de requerir que los usuarios diseñen flujos de trabajo, los modelos Fugu construyen dinámicamente "andamios agénticos" sobre un grupo de trabajadores LLM de frontera. El sistema lanza dos variantes optimizadas para diferentes puntos de operación: Fugu (consciente de la latencia) y Fugu-Ultra (prioriza el rendimiento).

1. Fugu: Equilibrio entre Rendimiento y Latencia

Fugu está diseñado para el uso interactivo, seleccionando un único trabajador por entrada para minimizar la latencia y maximizar la probabilidad de seleccionar al agente más capaz.

• Parametrización: Fugu utiliza un esqueleto de modelo de lenguaje preentrenado con una cabeza de selección ligera acoplada a la última capa oculta. A diferencia de los coordinadores anteriores que asignan roles, la cabeza de Fugu genera logits para $L$ modelos trabajadores, seleccionando uno para actuar como trabajador. Para adaptar el esqueleto de manera eficiente sin un ajuste fino completo, el sistema emplea un ajuste fino de valores singulares, entrenando solo las escalas de los valores singulares de las matrices de parámetros seleccionadas.
• Paradigma de Entrenamiento:
  • Ajuste Fino Supervisado (SFT): El modelo se entrena en tareas de un solo paso (codificación, matemáticas, razonamiento). Las etiquetas se generan ejecutando todos los modelos trabajadores en una tarea y clasificándolos según su rendimiento frente a la verdad fundamental (ground truth). El orquestador se entrena para predecir una distribución de probabilidad suave sobre los trabajadores (vía softmax) en lugar de una etiqueta única rígida, proporcionando una señal más rica.
  • Optimización Evolutiva: Tras el SFT, Fugu se optimiza mediante sep-CMA-ES (Estrategia de Adaptación de Matriz de Covarianza separable) en tareas multi-turno de extremo a extremo (por ejemplo, asistentes de codificación con uso de herramientas y retroalimentación del entorno). Esta etapa optimiza la recompensa terminal esperada de la trayectoria de interacción, permitiendo al modelo aprender capacidades prácticas como la fiabilidad de las herramientas y la depuración iterativa que los benchmarks estáticos pasan por alto.

2. Fugu-Ultra: Priorizando el Rendimiento

Fugu-Ultra está diseñado para cargas de trabajo complejas de múltiples pasos donde la calidad de la respuesta supera la importancia de la latencia. Se basa en el marco de trabajo Conductor, que genera flujos de trabajo agénticos en lenguaje natural.

• Generación de Flujo de Trabajo: El orquestador genera una secuencia de pasos de flujo de trabajo, definiendo subtareas, asignando agentes trabajadores específicos y especificando listas de acceso (qué salidas previas incluir en el contexto). Esto permite topologías arbitrarias, desde cadenas secuenciales hasta árboles paralelos.
• Entrenamiento: Entrenado utilizando GRPO (Optimización de Política Relativa Agrupada) sobre una función de recompensa que penaliza errores de formato y recompensa la finalización correcta de la tarea.
• Memoria Avanzada e Aislamiento:
  • Aislamiento Intra-flujo de Trabajo: Para evitar el "colapso de la orquestación" (donde la trayectoria del primer agente sesga a todos los agentes posteriores), los agentes dentro de un mismo flujo de trabajo están aislados. Solo ven el contexto permitido explícitamente por la lista de acceso, preservando sus rutas de solución independientes.
  • Memoria Compartida Persistente: Los agentes retienen la memoria de las interacciones a través de diferentes flujos de trabajo (conversaciones multi-turno) para evitar llamadas redundantes a herramientas y mantener el contexto, mientras permanecen aislados dentro del flujo de trabajo actual.
• Grupo de Agentes: El sistema orquesta un grupo diverso de modelos de frontera (por ejemplo, Gemini-3.1-Pro, Claude-Opus-4.8, GPT-5.5).

Contribuciones Clave

1. Orquestación Aprendida como un Eje de Escalamiento: El artículo propone la orquestación de modelos como un eje de escalamiento complementario al aumento del tamaño del modelo. Demuestra que combinar modelos especializados existentes puede generar un rendimiento que supera al de los mejores modelos individuales sin requerir nuevos ciclos de entrenamiento o acceso a los parámetros.
2. Andamios Dinámicos y Adaptables a la Consulta: A diferencia de los marcos agénticos fijos, los modelos Fugu aprenden a diseñar dinámicamente andamios (enrutamiento, topología, estrategias de comunicación) específicos para cada consulta. Esto incluye la selección del agregador óptimo (por ejemplo, usar un modelo especialista en matemáticas para la agregación en tareas pesadas de matemáticas y un especialista en recuperación de hechos para trivialidades).
3. Sistema Listo para Producción: El informe detalla la infraestructura y los principios de diseño (por ejemplo, el ajuste fino de valores singulares para la eficiencia, estrategias evolutivas para la robustez) que transforman los conceptos de investigación multi-agente en un sistema de producción capaz de manejar tareas interactivas del mundo real.
4. Lanzamiento de Dos Niveles: La introducción de Fugu (baja latencia, selección de un solo agente) y Fugu-Ultra (alto rendimiento, flujos de trabajo multi-agente) proporciona opciones prácticas para diferentes casos de uso.

Resultados

Los modelos Fugu fueron evaluados en una serie de benchmarks desafiantes, superando a menudo a los modelos de frontera de vanguardia y a los modelos "preview" propietarios.

• Codificación Agéntica: Fugu-Ultra logró resultados de vanguardia en SWE-Bench Pro (73.7%) y Terminal Bench 2.1 (82.1%), superando al siguiente mejor modelo público por 5-6 puntos porcentuales. Demostró una adaptabilidad fina, alternando entre GPT-5.5 para la construcción y Claude-Opus-4.8 para la depuración.
• Razonamiento Científico: Tanto Fugu como Fugu-Ultra alcanzaron un 95.5% en GPQA-Diamond, superando a Gemini-3.1-Pro (94.3%) y GPT-5.5 (93.6). El sistema enrutó con éxito las subtareas pesadas de matemáticas a GPT y las tareas pesadas de ciencia a Gemini.
• Otros Benchmarks:
  • LiveCodeBench Pro: 90.8% (Fugu-Ultra) vs 88.4% (GPT-5.5).
  • CharXiv Reasoning: 86.6% (Fugu-Ultra) vs 84.1% (GPT-5.5).
  • Humanity's Last Exam: 50.0% (Fugu-Ultra), superando a todas las líneas base.
• Tareas Cualitativas:
  • AutoResearch: En la optimización autónoma del entrenamiento de ML, Fugu-Ultra logró un menor bits-por-byte de validación (0.9774) que las líneas base de un solo modelo, demostrando una consistencia y un rendimiento pico superiores en búsquedas de largo horizonte.
  • Lectura de Japonés Clásico: Fugu-Ultra logró una distancia de edición normalizada (NED) media de 0.776 en la recuperación del orden de lectura de letras de japonés clásico dispersas, superando significativamente a la mejor línea base de frontera (0.642).
  • Generación de CAD: Fugu-Ultra produjo consistentemente diseños CAD mecánicamente válidos y completos (por ejemplo, mecanismos de iris de cámara) donde otros modelos produjeron resultados incompletos o estructuralmente débiles.

Significado y Reivindicaciones

El artículo afirma que Sakana Fugu representa un cambio en cómo se pueden acceder y escalar las capacidades de la IA de frontera.

• Democratización de la Capacidad: Al componer modelos a nivel de comportamiento en lugar de a nivel de parámetros, Fugu puede incorporar modelos de frontera de código cerrado y proveedores heterogéneos sin requerir acceso a sus pesos. Esto hace que las capacidades de nivel de frontera sean más modulares y accesibles.
• Implicaciones Económicas y Geopolíticas: Los autores sugieren que tratar la orquestación como un eje de escalamiento podría distribuir los beneficios de la IA de frontera de manera más amplia, permitiendo a las organizaciones alcanzar un alto rendimiento sin los masivos recursos computacionales requeridos para entrenar los modelos más grandes.
• Inteligencia Colectiva: El trabajo valida la hipótesis de que la "inteligencia colectiva" es una propiedad emergente de los colectivos de modelos coordinados. Demuestra que un sistema puede diseñar software como el programador más fuerte, razonar matemáticamente como el matemático más fuerte y decidir dinámicamente cuándo desplegar cada uno, creando efectivamente un "super-agente" a partir de componentes existentes.

Los autores posicionan a Fugu como el primer paso hacia un futuro donde el progreso de la IA no dependa solo de entrenar modelos más grandes, sino de aprender cómo los modelos especializados pueden colaborar a través de andamios dinámicos y adaptables a la consulta.