Resumo Técnico: Uno-Orchestra

Declaração do Problema

Os sistemas atuais de agentes múltiplos baseados em Modelos de Linguagem de Grande Escala (LLM) geralmente dependem de padrões de orquestração rígidos que falham em otimizar conjuntamente a decomposição de tarefas, a seleção de trabalhadores e o orçamento de inferência. As abordagens existentes geralmente se enquadram em dois fios paralelos, mas limitados:

1. Roteamento de Modelos: Roteadores de chamada única direcionam uma consulta inteira para um único modelo especialista. Essa abordagem ignora a estrutura paralela de tarefas complexas e não consegue trocar a profundidade de decomposição contra o orçamento de execução.
2. Orquestração Hierárquica: Planejadores decompõem tarefas em subagentes, mas a atribuição de subtarefas a executores específicos é frequentemente engenharia manual, orientada por prompts ou vinculada a um único modelo proprietário de fronteira.

Consequentemente, as duas decisões críticas — se/com quão profundamente decompor uma tarefa e a qual especialista rotear cada subtarefa — não são otimizadas sob um objetivo unificado. Isso leva a ineficiências onde consultas simples são super-orquestradas, ou tarefas complexas são roteadas para modelos subótimos.

Metodologia: Uno-Orchestra

Os autores introduzem o UNO-ORCHESTRA, uma política de orquestração unificada que trata a delegação seletiva como uma única tarefa de modelo de linguagem (LM) causal. O sistema aprende a emitir conjuntamente um plano de decomposição de tarefas e uma decisão de roteamento específica (modelo, primitiva) para cada subtarefa dentro de uma única rodada de assistente.

Arquitetura Central

• Política Unificada: Em vez de módulos separados de planejador e despachante, uma única espinha dorsal de LM causal emite o grafo de decomposição e os pares de roteamento simultaneamente.
• Espaço de Ações: A política seleciona de um conjunto esparsos de pares admissíveis $P \subseteq \mathcal{M} \times \mathcal{S}$, onde $\mathcal{M}$ é um pool de modelos trabalhadores heterogêneos e $\mathcal{S}$ é um vocabulário fechado de "primitivas" (ações atômicas como resposta direta, raciocínio de cadeia de pensamento, invocação de ferramenta ou execução de código).
• Delegação Seletiva: A política pode colapsar consultas simples em uma única resposta direta (custo zero de despacho) ou decompor consultas complexas em um Grafo Acíclico Direcionado (DAG) de subtarefas. Subtarefas independentes são despachadas em paralelo.

Pipeline de Treinamento

A política é treinada em duas etapas usando interações reais de trabalhadores:

1. Ajuste Fino Supervisionado (SFT) com Portão de Verificador:

   • Um currículo de 61.201 trajetórias destiladas por professores é construído a partir de 38 conjuntos de dados públicos.
   • Um mecanismo "com portão de verificador" filtra trajetórias: tarefas resolvidas por um roteador de inicialização fria são descartadas; tarefas resolvidas por um orquestrador professor forte são retidas para SFT; tarefas onde o professor falha são reservadas para RL.
   • Crucialmente, subtarefas de código e ferramenta são executadas em sandboxes reais, garantindo que as observações sejam saídas de tempo de execução e não rastros simulados.

2. Agentic-GRPO (Aprendizado por Reforço):

   • A política é refinada no "pool residual difícil" (tarefas onde o professor falhou) usando Agentic-GRPO, uma extensão de múltiplas voltas da Otimização de Política Relativa de Grupo (GRPO).
   • Atribuição de Crédito Intermediária: Diferente do GRPO vanilla, que atribui uma única recompensa a toda a trajetória, o Agentic-GRPO atribui crédito na granularidade de voltas individuais. Ele aumenta a recompensa terminal com sinais de modelagem por volta limitados (por exemplo, validade do esquema, indicadores de reparo) para resolver o problema de atribuição de crédito de horizonte longo.
   • Objetivo: O controlador maximiza uma função de utilidade $J(\theta)$ que troca correção (verificada por verificadores específicos de fonte) contra custo ao nível de token, penalizando despachos redundantes.

Contribuições Principais

1. Delegação Seletiva Unificada: A formulação da decomposição de tarefas e do roteamento por subtarefa como uma única política de LM causal, eliminando passagens de contexto redundantes entre módulos separados.
2. Agentic-GRPO: A introdução de um objetivo de RL adaptativo a agentes que permite atribuição de crédito estruturada para orquestração de múltiplas voltas, permitindo que o modelo aprenda quando reparar, decompor ou agregar com base em observações intermediárias.
3. Currículo com Portão de Verificador: Um pipeline de treinamento que aproveita a execução em sandbox do mundo real e verificação estrita para gerar trajetórias de alta qualidade e conscientes de custos, garantindo que a política aprenda com resultados reais de tempo de execução.

Resultados Experimentais

Os autores avaliaram o UNO-ORCHESTRA em um conjunto de 13 benchmarks abrangendo cinco domínios de capacidade: raciocínio matemático, engenharia de código/software, recuperação de conhecimento, leitura de longo contexto e uso de ferramentas de agentes.

• Desempenho: O UNO-ORCHESTRA alcançou um 77,0% macro pass@1, aproximadamente 16% maior que a melhor linha de base de fluxo de trabalho (AgentOrchestra).
• Eficiência: O sistema opera com um custo por consulta cerca de uma ordem de magnitude menor (aprox. $0,10 vs. $1,20 para linhas de base) enquanto mantém maior precisão.
• Fronteira Custo-Precisão: O método ocupa um canto favorável da compensação precisão-eficiência, superando tanto roteadores planos (que não podem decompor) quanto orquestradores hierárquicos (que não podem abster-se de decompor).
• Generalização: Os ganhos de desempenho mantêm-se em regimes dentro do domínio, próximos do domínio e fora do domínio. Estudos de ablação confirmam que as melhorias derivam da política de roteamento aprendida e não da dependência de modelos específicos de fronteira, pois o sistema supera as linhas de base mesmo quando restrito a um pool "mais fraco" de modelos de peso aberto.

Significado e Alegações

O artigo postula que a delegação seletiva — a capacidade de tanto decompor quanto abster-se de decompor sob um único objetivo — é um princípio organizador crítico para avançar sistemas de agentes múltiplos conscientes de custos.

• Eficiência Estrutural: Ao colapsar a decomposição e o despacho em uma única espinha dorsal compartilhada, o Uno-Orchestra evita a sobrecarga de coordenação inerente a sistemas modulares.
• Adaptação Dinâmica: O sistema aprende a "abster-se" de decompor para consultas simples (colapsando para um único trabalhador barato) enquanto reserva a orquestração de múltiplas chamadas estritamente para tarefas genuinamente compostas.
• Escalabilidade: A abordagem demonstra que alta precisão não requer fluxos de trabalho monolíticos e caros; em vez disso, ela emerge de um controlador aprendido que aloca dinamicamente recursos heterogêneos com base na complexidade da tarefa.

Os autores concluem que o Uno-Orchestra avança a fronteira precisão-eficiência, oferecendo um paradigma escalável onde o controlador aloca capacidade para selecionar o trabalhador certo em vez de simplesmente invocar mais trabalhadores.