Resumo Técnico: Orchestra-o1: Orquestração de Agentes Omnimodais

1. Definição do Problema

Os atuais sistemas de agentes baseados em Grandes Modelos de Linguagem (LLMs) migraram amplamente de fluxos de trabalho de agente único para enxames de múltiplos agentes para lidar com tarefas complexas. No entanto, as estruturas de orquestração existentes enfrentam limitações significativas em cenários omnimodais, onde as tarefas exigem a compreensão e coordenação unificadas de entradas heterogêneas (texto, imagem, áudio e vídeo).

Duas categorias primárias de agentes omnimodais existentes são identificadas como insuficientes:

1. Agentes Omnimodais Nativos: Estes utilizam um único modelo de linguagem de grande escala omnimodal (OLLM) para lidar com percepção, raciocínio, planejamento e uso de ferramentas simultaneamente. Eles têm dificuldade com o raciocínio de longo horizonte, busca de informações externas e compreensão cross-modal detalhada, resultando frequentemente em desempenho subótimo em benchmarks complexos (ex: 62,5% de precisão do Gemini-3-Pro no OmniGAIA).
2. Agentes Baseados em Orquestração: Embora estes decoulem o raciocínio de alto nível do processamento de modalidade de baixo nível, as estruturas de código aberto existentes são frequentemente limitadas a tarefas de texto ou linguagem-visão, dependem de fluxos de trabalho lineares rígidos e carecem da flexibilidade para adaptar dinamicamente os papéis dos agentes ou executar sub-tarefas em paralelo.

O desafio central é projetar uma estrutura que suporte a decomposição de tarefas consciente de modalidade, especialização de sub-agentes online e execução paralela para enfrentar tarefas do mundo real que envolvem diversas fontes de informação.

2. Metodologia: A Estrutura Orchestra-o1

O Orchestra-o1 é proposto como uma estrutura de orquestração de agentes omnimodais que separa a orquestração de alto nível da execução especializada de percepção e ação.

Arquitetura Central

O sistema consiste em um Agente Principal (Orquestrador), um pool de Backends de Sub-agentes e um Ecossistema de Ferramentas Unificado.

• Ecossistema de Ferramentas Unificado: Inclui ferramentas de percepção (análise de imagem, áudio, vídeo) e ferramentas de ação (busca na web, visita de página, execução de código).
• Backends Flexíveis: Suporta modelos heterogêneos (abertos e proprietários) tanto para o agente principal quanto para os sub-agentes. Cada backend é caracterizado por um vetor de habilidades e um perfil de custo-latência.

Mecanismos Principais

1. Decomposição de Tarefas Consciente de Modalidade:
   • O agente principal induz um grafo de dependência latente sobre sub-objetivos não resolvidos.
   • Ele prevê máscaras de modalidade (quais entradas são necessárias) e máscaras de ferramentas para cada sub-objetivo.
   • Ele seleciona um lote paralelo de sub-tarefas prontas (aquelas cujas dependências foram atendidas) para executar simultaneamente, em vez de seguir uma sequência linear.
2. Atribuição de Backend e Ferramenta:
   • Seleção de Modelo: O agente principal cruza os requisitos da sub-tarefa com as capacidades do backend, otimizando para uma pontuação de correspondência consciente de custo (equilibrando correspondência de capacidade, custo unitário e latência).
   • Seleção de Ferramenta: As ferramentas são atribuídas com base em um objetivo de cobertura esparsa para garantir que as evidências necessárias sejam coletadas sem redundância.
3. Execução de Sub-tarefas em Paralelo:
   • As sub-tarefas delegadas são executadas de forma assíncrona por sub-agentes independentes no estilo ReAct.
   • A estrutura demonstra teoricamente uma vantagem de latência sobre a orquestração linear, onde a latência do nível de rodada é determinada pelo tempo máximo de execução das tarefas paralelas mais o overhead de sincronização, em vez da soma de todos os tempos de execução.
4. Memória de Contexto e Refinamento Iterativo:
   • Uma memória estruturada armazena evidências dos sub-agentes.
   • O agente principal comprime este contexto para permanecer dentro dos orçamentos de tokens, priorizando a relevância da informação e evidências bem-sucedidas.
   • O processo itera até que um score de suficiência de evidência acione a geração da resposta final.

Justificativa Teórica

O artigo fornece uma proposição de teoria da informação afirmando que a orquestração gera um ganho de informação maior ($I(Y; E_{orch} | q) > I(Y; E_0 | q)$) comparado aos agentes nativos. Ao atribuir sub-tarefas conscientes de modalidade a backends especializados, o sistema retém mais informações relevantes para a resposta final, levando a um risco esperado estritamente menor sob perda de log (log loss).

3. Receita de Treinamento: DA-GRPO

Para permitir que modelos de código aberto sirvam como agentes principais eficazes, os autores propõem a Otimização de Política de Grupo Relativa Alinhada à Decisão (DA-GRPO - Decision-Aligned Group Relative Policy Optimization).

• Curadoria de Dados: Um pipeline baseado em sementes gera dados de treinamento diversos a partir de datasets públicos (ex: FineVideo, LongVideoBench). Utiliza "fatos âncora" para garantir que as perguntas reescritas preservem evidências perceptivas essenciais enquanto variam os caminhos de raciocínio (ex: troca de pivô, deslocamento temporal).
• Design de Recompensa: Diferente do GRPO padrão que foca na correção da resposta final, o DA-GRPO avalia as decisões de orquestração ao nível do passo usando uma rubrica multidimensional:
  1. Recompensa de Formato: Validade da saída JSON.
  2. Recompensa de Ação: Validade da ação e dos parâmetros.
  3. Recompensa de Ferramenta: Razoabilidade das atribuições de ferramenta e sub-tarefa.
  4. Recompensa de Decisão: Qualidade estratégica geral da orquestração.
• Otimização: O método calcula vantagens relativas dentro de um grupo de decisões amostradas e otimiza a política para se alinhar com trajetórias de referência de alta qualidade, fornecendo feedback denso sobre delegação, seleção de ferramentas e critérios de parada.

4. Resultados Experimentais

A estrutura foi avaliada no benchmark OmniGAIA, cobrindo entradas de texto, imagem, áudio e vídeo em vários domínios (Geo, Tech, Hist, etc.).

Desempenho com Modelos Proprietários

• O Orchestra-o1-GPT-5 alcançou uma precisão geral de estado da arte de 72,8%.
• Isso representa uma melhoria absoluta de 10,3% sobre o modelo proprietário nativo mais forte (Gemini-3-Pro, 62,5%) e uma melhoria de 32,8% sobre a baseline de orquestração AOrchestra-GPT-5 (40,0%).
• Os ganhos foram consistentes em todas as categorias e níveis de dificuldade, com melhorias significativas em tarefas "Hard" que exigem raciocínio de múltiplos passos.

Desempenho com Modelos de Código Aberto

• O Orchestra-o1-8B (treinado no Qwen3-8B usando DA-GRPO) alcançou 30,0% de precisão.
• Isso supera substancialmente a baseline de código aberto mais forte, OmniAtlas-Qwen3-30B-A3B (20,8%), apesar de utilizar um backbone muito menor de 8B.
• Estudos de ablação confirmaram que a própria estrutura de orquestração fornece um forte viés indutivo (melhorando a precisão de 12,5% para 26,3%), e o DA-GRPO aumenta ainda mais a tomada de decisão estratégica em comparação ao SFT ou ao vanilla GRPO.

Eficiência

• O Orchestra-o1 demonstrou uma custo-efetividade superior. Alcançou 72,8% de precisão com um custo de 341,6, enquanto o AOrchestra exigiu um custo de 565,7 para atingir apenas 40,0% de precisão.
• Essa eficiência provém da execução paralela de sub-tarefas independentes e da seleção precisa de ferramentas/backends, evitando chamadas caras desnecessárias.

5. Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. Estrutura de Orquestração de Agentes Omnimodais: O Orchestra-o1 fornece uma estrutura escalável e de código aberto que desacopla o planejamento de alto nível da execução especializada. Ao permitir a decomposição consciente de modalidade e o agendamento paralelo, ele aborda a lacuna entre a pesquisa atual de agentes e a natureza heterogênea das tarefas do mundo real.
2. Receita de Treinamento Eficiente (DA-GRPO): O algoritmo proposto permite que modelos de código aberto adquiram fortes capacidades de orquestração. Ao alinhar decisões de nível de passo com trajetórias de alta qualidade via uma recompensa multidimensional, ele permite que modelos compactos (como 8B) superem modelos omnimodais nativos maiores.
3. Validação Multifacetada: Experimentos extensos validam que a orquestração explícita é um caminho viável e superior para a inteligência omnimodal. Os resultados sugerem que avançar a inteligência de agentes não depende apenas de escalar OLLMs nativos, mas também de aprender a coordenar agentes especializados, ferramentas e fontes de evidência de maneira principiada.

Os autores concluem que, embora trabalhos futuros explorem cenários práticos como codificação colaborativa de áudio-vídeo, o presente trabalho estabelece um novo paradigma para lidar com tarefas de agentes complexas e heterogêneas através de uma orquestração estruturada.