Learning to Orchestrate Agents in Natural Language with the Conductor

Este trabalho apresenta o "Conductor", um modelo treinado por aprendizado por reforço que descobre automaticamente estratégias de coordenação e instruções otimizadas para orquestrar pools de agentes de linguagem, alcançando resultados de ponta em benchmarks complexos e permitindo adaptação dinâmica a qualquer conjunto de agentes.

O essencial

Imagine que você tem uma equipe de especialistas incríveis: um é um gênio da matemática, outro é um programador lendário, e um terceiro é um especialista em ciências. O problema é que, se você apenas pedir para eles trabalharem sozinhos, cada um só resolve o que é ótimo em sua própria área. Se você pedir para o matemático escrever um código complexo, ele pode travar. Se pedir para o programático resolver um problema de física avançada, ele pode se confundir.

Aqui entra o Maestro (The Conductor).

Este artigo de pesquisa apresenta uma nova inteligência artificial chamada "Maestro". Pense nele não como um super-herói que faz tudo sozinho, mas como um reitor de orquestra extremamente esperto.

Como funciona o "Maestro"?

1. O Problema: Temos muitos modelos de IA (os músicos), cada um com talentos diferentes. Alguns são caros e poderosos (como GPT-5 ou Gemini), outros são mais simples e baratos.
2. A Solução: Em vez de deixar cada músico tocar sua própria música, o Maestro analisa a pergunta do usuário e decide quem deve tocar, o que deve tocar e em que ordem.
3. A Mágica (Aprendizado por Reforço): O Maestro foi treinado de uma forma especial. Ele não recebeu um manual de instruções escrito por humanos. Em vez disso, ele foi colocado em um "campo de treinamento" onde tentou milhares de combinações diferentes. Se ele organizava a equipe de forma errada e a resposta estava errada, ele recebia uma "nota baixa". Se organizava bem e acertava, recebia uma "nota alta". Com o tempo, ele aprendeu a criar estratégias de colaboração perfeitas, descobrindo sozinho como fazer os modelos trabalharem juntos.

Analogias do Dia a Dia

• O Maestro vs. O Solista: Imagine que você precisa construir uma casa. Você pode contratar um único pedreiro super-habilidoso (um modelo de IA grande) e esperar que ele faça tudo: a fundação, o telhado, a elétrica e a pintura. Ele vai demorar e pode errar detalhes. O Maestro, por outro lado, contrata um especialista em fundação, um em telhado, um em elétrica e um em pintura, e diz a cada um exatamente o que fazer, garantindo que o telhado só seja colocado depois que a parede esteja pronta. O resultado é uma casa melhor, mais rápida e com menos erros.
• O Tradutor de Idiomas: Às vezes, o Maestro percebe que a pergunta é muito difícil para um único modelo. Então, ele pede para um modelo traduzir a pergunta para uma linguagem mais simples, pede para outro resolver o problema nessa linguagem simples, e depois pede para um terceiro traduzir a resposta de volta para o formato original. É como ter um grupo de amigos resolvendo um quebra-cabeça juntos, onde cada um vê uma peça diferente.

O Que Eles Descobriram?

Os pesquisadores criaram um Maestro pequeno (com apenas 7 bilhões de parâmetros, o que é "pequeno" no mundo das IAs atuais) e o deixaram gerenciar uma equipe de modelos gigantes e caros.

• Resultado Surpreendente: Esse Maestro pequeno conseguiu resolver problemas de lógica, matemática e programação melhor do que qualquer um dos modelos gigantes trabalhando sozinho. Ele superou até mesmo os modelos mais caros do mercado em testes difíceis.
• Economia: Como o Maestro sabe exatamente qual modelo usar para cada tarefa, ele evita desperdício. Ele não usa um "supercomputador" para fazer uma tarefa simples que uma calculadora faria. Isso torna o processo muito mais barato e eficiente.
• Adaptabilidade: O Maestro aprendeu a se adaptar. Se você só tem acesso a modelos gratuitos (e mais fracos), ele aprende a combiná-los de forma inteligente para criar uma equipe forte. Se você tem os modelos mais caros, ele usa o poder máximo deles.
• O "Efeito Espelho": A parte mais legal é que o Maestro pode até trabalhar consigo mesmo. Se a primeira tentativa de resolver um problema falha, ele pode "olhar para trás", perceber o erro e criar uma nova estratégia para corrigi-lo, como se estivesse pensando duas vezes antes de agir.

Por que isso é importante?

Antes disso, para fazer várias IAs trabalharem juntas, os humanos tinham que desenhar fluxos de trabalho complexos e manuais (como: "se a pergunta for de matemática, use o modelo A; se for de código, use o modelo B").

O Maestro aprendeu a fazer isso sozinho. Ele descobre estratégias que nem os humanos pensariam. Ele escreve instruções personalizadas para cada modelo, garantindo que cada um use seu melhor talento.

Em resumo: Este trabalho mostra que, em vez de tentar criar uma única IA que saiba tudo (o que é difícil e caro), é melhor ter um "gerente" inteligente que saiba como organizar uma equipe de especialistas para resolver qualquer problema. E o melhor: esse gerente aprende a ser o melhor gerente possível apenas praticando e recebendo feedback, sem precisar de um humano ensinando cada passo.

Resumo técnico

Resumo Técnico: Learning to Orchestrate Agents in Natural Language with the Conductor

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) modernos, treinados por diferentes provedores, possuem capacidades especializadas em diversos domínios (código, raciocínio matemático, ciências naturais). No entanto, explorar o potencial completo dessas capacidades latentes permanece um desafio. As abordagens atuais dependem frequentemente de fluxos de trabalho de agentes (agentic workflows) desenhados manualmente, prompts estáticos ou estratégias de auto-reflexão limitadas.

O problema central abordado pelo artigo é a coordenação subótima entre múltiplos agentes LLM. Não existe um único modelo universalmente ótimo para todas as tarefas, e a combinação manual de modelos especializados é ineficiente e não escala. Além disso, as estratégias de coordenação existentes (como roteadores fixos ou scaffolds pré-definidos) carecem de flexibilidade para adaptar dinamicamente a divisão de tarefas e a comunicação entre agentes com base na complexidade específica de cada entrada.

2. Metodologia: O Modelo "Conductor"

Os autores introduzem o RL Conductor, um novo tipo de modelo treinado com Aprendizado por Reforço (RL) para orquestrar automaticamente uma equipe de agentes LLMs ("trabalhadores").

2.1. Formulação da Tarefa

O Conductor é um modelo de linguagem (baseado em Qwen2.5-7B) cuja função não é resolver a tarefa diretamente, mas sim gerar um fluxo de trabalho de agentes completo em linguagem natural. Para cada entrada, o Conductor deve decidir:

1. Divisão de Tarefas: Como quebrar o problema complexo em sub-tarefas focadas.
2. Atribuição de Agentes: Qual modelo específico (de um pool de trabalhadores) é mais adequado para cada sub-tarefa.
3. Topologia de Comunicação: Definir quais agentes têm acesso às respostas dos passos anteriores (listas de acesso), criando topologias flexíveis (sequenciais, em árvore, paralelas).
4. Engenharia de Prompt: Gerar instruções específicas e focadas para cada agente, maximizando suas capacidades individuais.

A saída do Conductor é estruturada como três listas Python: model_id (identificadores dos agentes), subtasks (instruções em linguagem natural) e access_list (histórico de contexto para cada agente).

2.2. Treinamento com Reinforcement Learning (RL)

O modelo é treinado utilizando o algoritmo GRPO (Group Relative Policy Optimization), uma variação do PPO que não requer um modelo de valor crítico, apenas um modelo de referência.

• Recompensa: O treinamento é baseado em recompensas esparsas e binárias.
  • Condição de Formato: Recompensa negativa se a saída não puder ser parseada como listas Python válidas.
  • Condição de Corretude: Recompensa positiva (+1) se a execução final do fluxo de trabalho (chamando os agentes) produzir a resposta correta; recompensa negativa (-0.5 ou 0) caso contrário.
• Dinâmica de Aprendizado: O Conductor aprende end-to-end a maximizar a recompensa, descobrindo naturalmente estratégias como "planning" (planejamento), "verification" (verificação), "refinement" (refinamento) e "debate" (debate), sem que essas estratégias sejam explicitamente programadas.

2.3. Extensões do Framework

O artigo propõe duas extensões importantes para personalização e escalabilidade:

1. Seleção Adaptativa de Trabalhadores: O Conductor é fine-tuned com pools de agentes aleatórios. Isso permite que o modelo generalize para qualquer subconjunto de agentes (abertos ou fechados), adaptando-se às restrições de custo ou disponibilidade do usuário.
2. Topologias Recursivas (Test-Time Scaling): O Conductor pode ser configurado para se chamar a si mesmo como um "trabalhador". Se a solução inicial não for satisfatória, o Conductor pode revisar sua própria estratégia de coordenação e iniciar um novo ciclo de agentes. Isso cria uma nova dimensão de escalabilidade no tempo de inferência (test-time scaling) baseada em recursão dinâmica.

3. Contribuições Principais

1. Orquestração via RL End-to-End: Demonstração de que um modelo pequeno (7B parâmetros) pode aprender estratégias de coordenação complexas e adaptativas puramente através da maximização de recompensas, superando a necessidade de scaffolds manuais.
2. Desempenho de Estado da Arte (SOTA): O Conductor alcança resultados superiores em benchmarks de raciocínio desafiadores (LiveCodeBench, GPQA Diamond, AIME25), superando não apenas modelos individuais, mas também pipelines multi-agente caros e estratégias de auto-reflexão.
3. Flexibilidade e Eficiência: O framework permite a adaptação a qualquer conjunto de agentes e introduz uma nova forma de escalabilidade computacional via recursão, oferecendo ganhos de desempenho significativos com um custo de inferência menor do que métodos concorrentes.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks de raciocínio matemático, codificação e ciências naturais.

• Comparação com Modelos Individuais: Um Conductor de 7B superou consistentemente os melhores modelos individuais disponíveis (incluindo GPT-5, Claude Sonnet 4 e Gemini 2.5 Pro) em tarefas complexas. Por exemplo, no LiveCodeBench, o Conductor atingiu 83.93% de precisão, superando o GPT-5 (82.90%) e o Gemini 2.5 Pro (67.24%).
• Comparação com Baselines Multi-Agente: O Conductor superou significativamente estratégias de roteamento e scaffolding existentes (como MoA, MASRouter, RouterDC e Smoothie).
  • Em termos de eficiência, o Conductor atingiu desempenho superior com uma média de 3 passos de workflow, enquanto as baselines frequentemente exigiam mais chamadas de API e topologias fixas mais caras.
  • O Conductor demonstrou ser mais eficiente em custo (token usage e custo financeiro) do que métodos de "consensus" ou "reflection" com 5x escalonamento.
• Análise de Escala e Adaptabilidade:
  • Escala do Modelo: Um Conductor de 7B aprendeu a engenharia de prompts e a seleção de agentes de forma superior a uma versão de 3B, embora ambas escolhessem os mesmos agentes principais.
  • Adaptabilidade de Dificuldade: O modelo aprendeu a alocar mais agentes e passos para tarefas difíceis (ex: geração de código complexa) e a usar fluxos simples (1-2 passos) para tarefas factuais.
  • Recursão: A versão recursiva do Conductor obteve ganhos adicionais em benchmarks como BigCodeBench, conseguindo identificar falhas em estratégias iniciais e realocar agentes (ex: trocando GPT-5 por Claude ou Gemini em cenários específicos) para corrigir erros.

5. Significado e Impacto

Este trabalho representa um avanço significativo na área de Inteligência Artificial Coletiva e Agentes Autônomos.

• Mudança de Paradigma: Demonstra que a coordenação de agentes não precisa ser hardcoded ou baseada em regras fixas, mas pode emergir naturalmente através do RL, permitindo que modelos menores atuem como "meta-agentes" inteligentes.
• Democratização e Custo: Ao permitir que um modelo pequeno orquestre modelos grandes e caros de forma eficiente, o framework oferece um caminho para obter desempenho de ponta com custos reduzidos e maior flexibilidade na escolha de provedores de modelos.
• Escalabilidade Dinâmica: A introdução de topologias recursivas abre uma nova via para o "test-time scaling", onde a capacidade de raciocínio pode ser aumentada dinamicamente durante a inferência, adaptando-se à dificuldade do problema em tempo real.

Em resumo, o RL Conductor estabelece um novo limite para a capacidade de modelos de linguagem resolverem tarefas complexas através da orquestração automática e adaptativa de múltiplos agentes, superando tanto a inteligência individual dos modelos quanto as estratégias de coordenação humanas tradicionais.