Resumo Técnico: Sakana Fugu

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) de fronteira alcançaram um desempenho de nível especialista em diversos domos, mas exibem especializações cada vez mais diferenciadas. Por exemplo, enquanto alguns modelos se destacam em raciocínio matemático ou prova de teoremas, outros dominam em engenharia de software, cibersegurança ou implementação algorítmica. Além disso, dentro de domínios únicos, os modelos podem possuir forças finas (ex: implementação direta de algoritmos vs. planejamento complexo).

As abordagens atuais para escalar as capacidades da IA baseiam-se primariamente no treinamento de modelos maiores e mais caros. No entanto, o artigo argumenta que a próxima fronteira pode não ser alcançada por um único modelo monolítico, mas por sistemas que possam identificar, combinar e amplificar as forças complementares de múltiplos modelos especializados. Adicionalmente, embora os "andaimes agênticos" (prompt estruturado, uso de ferramentas, feedback do ambiente) tenham aprimorado o desempenho de modelos individuais, estes são frequentemente sistemas fixos e específicos para tarefas. Há uma necessidade de um sistema que possa orquestrar dinamicamente uma equipe de agentes, adaptando o fluxo de trabalho, a topologia de comunicação e o uso de ferramentas às exigências específicas de cada consulta, tratando efetivamente a inteligência coletiva como um eixo escalável além do tamanho bruto do modelo.

Metodologia

O Sakana Fugu é uma família de modelos orquestradores aprendidos projetados para expor um sistema multiagente através de uma única interface de modelo. Em vez de exigir que os usuários projetem fluxos de trabalho, os modelos Fugu constroem dinamicamente "andaimes agênticos" sobre um pool de trabalhadores de LLM de fronteira. O sistema lança duas variantes otimizadas para diferentes pontos de operação: Fugu (consciente de latência) e Fugu-Ultra (prioriza o desempenho).

1. Fugu: Equilibrando Desempenho e Latência

O Fugu é projetado para uso interativo, selecionando um único trabalhador por entrada para minimizar a latência enquanto maximiza a chance de selecionar o agente mais capaz.

• Parametrização: O Fugu utiliza um backbone de modelo de linguagem pré-treinado com uma cabeça de seleção leve acoplada à última camada oculta. Diferente de coordenadores anteriores que atribuem funções, a cabeça do Fugu gera logits para $L$ modelos trabalhadores, selecionando um para atuar como trabalhador. Para adaptar o backbone de forma eficiente sem ajuste fino total, o sistema emprega ajuste fino de valor singular, treinando apenas as escalas de valor singular das matrizes de parâmetros selecionadas.
• Paradigma de Treinamento:
  • Ajuste Fino Supervisionado (SFT): O modelo é treinado em tarefas de etapa única (codificação, matemática, raciocínio). Os rótulos são gerados executando todos os modelos trabalhadores em uma tarefa e classificando-os com base no desempenho contra a verdade fundamental (ground truth). O orquestrador é treinado para prever uma distribuição de probabilidade suave sobre os trabalhadores (via softmax), em vez de um rótulo único rígido, fornecendo um sinal mais rico.
  • Otimização Evolutiva: Após o SFT, o Fugu é otimizado usando sep-CMA-ES (Estratégia de Adaptação de Matriz de Covariância separável) em tarefas de múltiplos turnos de ponta a ponta (ex: assistentes de codificação com uso de ferramentas e feedback do ambiente). Esta etapa otimiza a recompensa terminal esperada da trajetória de interação, permitindo que o modelo aprenda capacidades práticas como confiabilidade de ferramentas e depuração iterativa que os benchmarks estáticos não captam.

2. Fugu-Ultra: Priorizando o Desempenho

O Fugu-Ultra é projetado para cargas de trabalho complexas de múltiplas etapas, onde a qualidade da resposta sobrepõe-se à latência. Ele baseia-se no framework Conductor, que gera fluxos de trabalho agênticos em linguagem natural.

• Geração de Fluxo de Trabalho: O orquestrador gera uma sequência de etapas de fluxo de trabalho, definindo subtarefas, atribuindo agentes trabalhadores específicos e especificando listas de acesso (quais saídas anteriores devem ser incluídas no contexto). Isso permite topologias arbitrárias, desde cadeias sequenciais até árvores paralelas.
• Treinamento: Treinado usando GRPO (Otimização de Política Relativa Agrupada) em uma função de recompensa que penaliza erros de formatação e recompensa a conclusão correta da tarefa.
• Memória Avançada e Isolamento:
  • Isolamento Intra-fluxo de Trabalho: Para evitar o "colapso da orquestração" (onde a trajetória do primeiro agente enviesa todos os agentes subsequentes), os agentes dentro de um único fluxo de trabalho são isolados. Eles veem apenas o contexto explicitamente permitido pela lista de acesso, preservando seus caminhos de solução independentes.
  • Memória Compartilhada Persistente: Os agentes retêm memória de interações através de diferentes fluxos de trabalho (conversas de múltiplos turnos) para evitar chamadas de ferramentas redundantes e manter o contexto, permanecendo isolados dentro do fluxo de trabalho atual.
• Pool de Agentes: O sistema orquestra um pool diversificado de modelos de fronteira (ex: Gemini-3.1-Pro, Claude-Opus-4.8, GPT-5.5).

Contribuições Principais

1. Orquestração Aprendida como um Eixo de Escalonamento: O artigo propõe a orquestração de modelos como um eixo de escalonamento complementar ao aumento do tamanho do modelo. Demonstra que a combinação de modelos especializados existentes pode gerar desempenho superior aos melhores modelos individuais sem exigir novos treinamentos ou acesso aos parâmetros.
2. Andaimes Dinâmicos e Adaptáveis à Consulta: Ao contrário de frameworks agênticos fixos, os modelos Fugu aprendem a elaborar dinamicamente andaimes (roteamento, topologia, estratégias de comunicação) específicos para cada consulta. Isso inclui a seleção do agregador ideal (ex: usar um modelo especialista em matemática para agregação em tarefas pesadas de matemática e um especialista em recuperação de fatos para curiosidades).
3. Sistema Pronto para Produção: O relatório detalha a infraestrutura e os princípios de design (ex: ajuste fino de valor singular para eficiência, estratégias evolutivas para robustez) que transformam conceitos de pesquisa multiagente em um sistema de produção capaz de lidar com tarefas interativas do mundo real.
4. Lançamento de Dois Níveis: A introdução do Fugu (baixa latência, seleção de agente único) e do Fugu-Ultra (alto desempenho, fluxos de trabalho multiagentes) fornece opções práticas para diferentes casos de uso.

Resultados

Os modelos Fugu foram avaliados em uma série de benchmarks desafiadores, frequentemente superando modelos de fronteira de última geração e modelos proprietários de "prévia".

• Codificação Agêntica: O Fugu-Ultra alcançou resultados de estado da arte no SWE-Bench Pro (73,7%) e no Terminal Bench 2.1 (82,1%), superando os próximos melhores modelos públicos por 5-6 pontos percentuais. Demonstrou adaptabilidade fina, alternando entre GPT-5.5 para construção e Claude-Opus-4.8 para depuração.
• Raciocínio Científico: Tanto o Fugu quanto o Fugu-Ultra alcançaram 95,5% no GPQA-Diamond, superando o Gemini-3.1-Pro (94,3%) e o GPT-5.5 (93,6). O sistema roteou com sucesso subtarefas pesadas de matemática para o GPT e tarefas pesadas de ciência para o Gemini.
• Outros Benchmarks:
  • LiveCodeBench Pro: 90,8% (Fugu-Ultra) vs 88,4% (GPT-5.5).
  • CharXiv Reasoning: 86,6% (Fugu-Ultra) vs 84,1% (GPT-5.5).
  • Humanity's Last Exam: 50,0% (Fugu-Ultra), superando todas as linhas de base.
• Tarefas Qualitativas:
  • AutoResearch: Em otimização autônoma de treinamento de ML, o Fugu-Ultra alcançou bits-por-byte de validação mais baixos (0,9774) do que as linhas de base de modelo único, demonstrando consistência superior e desempenho de pico em busca de longo horizonte.
  • Leitura de Japonês Clássico: O Fugu-Ultra alcançou uma Distância de Edição Normalizada (NED) média de 0,776 na recuperação da ordem de leitura de letras de japonês clássico espalhadas, superando significativamente a melhor linha de base de fronteira (0,642).
  • Geração de CAD: O Fugu-Ultra produziu consistentemente designs de CAD mecanicamente válidos e completos (ex: mecanismos de íris de câmera) onde outros modelos produziram resultados incompletos ou estruturalmente fracos.

Significância e Alegações

O artigo afirma que o Sakana Fugu representa uma mudança na forma como as capacidades de IA de fronteira podem ser acessadas e escaladas.

• Democratização da Capacidade: Ao compor modelos ao nível comportamental em vez de ao nível de parâmetros, o Fugu pode incorporar modelos de fronteira de código fechado e provedores heterogêneos sem exigir acesso aos seus pesos. Isso torna as capacidades de nível de fronteira mais modulares e acessíveis.
• Implicações Econômicas e Geopolíticas: Os autores sugerem que tratar a orquestração como um eixo de escalonamento pode distribuir os benefícios da IA de fronteira de forma mais ampla, permitindo que organizações alcancem alto desempenho sem os recursos computacionais massivos necessários para treinar os maiores modelos.
• Inteligência Coletiva: O trabalho valida a hipótese de que a "inteligência coletiva" é uma propriedade emergente de coletivos de modelos coordenados. Demonstra que um sistema pode projetar software como o programador mais forte, raciocinar matematicamente como o matemático mais forte e decidir dinamicamente quando implantar cada um, criando efetivamente um "super-agente" a partir de componentes existentes.

Os autores posicionam o Fugu como um primeiro passo em direção a um futuro onde o progresso da IA depende não apenas do treinamento de modelos maiores, mas de aprender como modelos especializados podem colaborar através de andaimes dinâmicos e adaptáveis às consultas.