Resumo Técnico: UnityMAS-O

Declaração do Problema

Os sistemas multiagente baseados em Grandes Modelos de Linguagem (LLM) atuais tipicamente decompõem tarefas complexas em papéis interagentes (por exemplo, planejadores, recuperadores, codificadores), mas dependem de fluxos de trabalho orquestrados manualmente definidos por prompts, ferramentas e regras de controle. Embora esses sistemas sejam eficazes na inferência, os próprios agentes raramente são otimizados por meio de uma interface unificada de aprendizado por reforço (RL). As estruturas existentes de pós-treinamento em RL (por exemplo, TRL, OpenRLHF, verl) visam principalmente a otimização de políticas únicas. Elas carecem das abstrações necessárias para otimizar sistemas multiagentes definidos pelo usuário que exigem interação estruturada, atribuição de crédito específica por papel e compartilhamento de parâmetros configurável. Consequentemente, o treinamento de pipelines multiagentes frequentemente resulta em implementações específicas de tarefas que não podem comparar facilmente diferentes regimes de compartilhamento de parâmetros ou reutilizar infraestrutura entre fluxos de trabalho.

Metodologia: UnityMAS-O

O UnityMAS-O é uma estrutura geral de otimização em RL projetada para tratar um fluxo de trabalho multiagente completo como a unidade de otimização, em vez de uma única resposta ou trajetória de política. Construído estendendo a estrutura verl com um runtime em topologia estrela baseado em Ray, ele introduz quatro abstrações de primeira classe para desacoplar o design lógico do agente dos parâmetros físicos do modelo:

1. Papéis Lógicos de Agente: Os usuários definem papéis (por exemplo, planejador, verificador) com prompts específicos, esquemas de E/S e acesso a ferramentas. Estes são objetos de nível de fluxo de trabalho, não vinculados a conjuntos únicos de parâmetros.
2. Mapeamentos Agente–Modelo ($\phi$): Um mapeamento configurável de papéis lógicos para instâncias físicas de LLM. Isso suporta três regimes:
   • Compartilhamento Total: Todos os papéis mapeiam para um único modelo.
   • Separação Total: Cada papel mapeia para um modelo independente.
   • Compartilhamento Parcial: Grupos de papéis relacionados compartilham parâmetros, enquanto outros usam modelos distintos.
3. Grafos de Fluxo de Trabalho ($G$): Grafos de computação direcionados que representam o fluxo de execução (sequencial, paralelo, iterativo ou híbrido). A execução produz trajetórias estruturadas contendo estados, ações e dependências de controle.
4. Funções de Recompensa Específicas por Papel: As recompensas são definidas nos níveis de nó, turno e trajetória. A estrutura suporta recompensas atrasadas e sinais de melhoria marginal (por exemplo, $\Delta$F1 ou $\Delta$score), atribuindo crédito aos agentes específicos responsáveis por estados intermediários ou resultados finais.

Arquitetura do Sistema:
O sistema emprega um controlador central e grupos de trabalhadores locais ao modelo.

• Controlador Central: Executa o fluxo de trabalho definido pelo usuário, roteia as invocações de agentes lógicos para o grupo de trabalhadores apropriado com base em $\phi$, registra trajetórias estruturadas e monta recompensas.
• Grupos de Trabalhadores: Associados a instâncias físicas específicas de LLM, esses grupos lidam com inferência assíncrona, armazenam em buffer tensores de rolagem (log-probabilidades, valores), calculam vantagens e realizam atualizações de política distribuídas no estilo PPO.
• Separação de Dados: Os metadados de controle do fluxo de trabalho permanecem "finos" e centrais, enquanto os tensores pesados de treinamento permanecem "gordos" e locais aos grupos de trabalhadores, minimizando a sobrecarga de comunicação.

Contribuições Principais

O artigo apresenta as seguintes contribuições:

• Abstração Unificada: Uma estrutura que representa conjuntamente grafos de fluxo de trabalho definidos pelo usuário, papéis lógicos de agente, mapeamentos de agente para modelo e trajetórias multiagentes estruturadas.
• Compartilhamento de Parâmetros Configurável: Suporte nativo para compartilhamento total, separação total e compartilhamento parcial, permitindo estudo controlado de especialização, custo de recursos e comportamento de otimização sem reescrever o pipeline de treinamento.
• Runtime Distribuído: Uma arquitetura baseada em Ray + verl com controle central de fluxo de trabalho, rolagem assíncrona, bufferização local ao modelo e atualizações de política por modelo.
• Interface Geral de Otimização: Uma interface que permite aos usuários definir fluxos de trabalho, agentes, mapeamentos de modelo e recompensas para sistemas diversos sem modificar a infraestrutura de otimização subjacente.
• Implementação de Código Aberto: Lançamento da estrutura em https://github.com/chenyiqun/UnityMAS-O.

Resultados Experimentais

Os autores instanciam o UnityMAS-O em duas famílias de tarefas verificáveis: Resposta a Perguntas (QA) aumentada por recuperação e geração de código reflexiva.

QA e Busca Agente:
Os experimentos foram conduzidos em Natural Questions (NQ) e HotpotQA usando fluxos de trabalho que variam de recuperação paralela a loops de busca iterativa (M-ASK).

• Ganhos de Desempenho: O treinamento em RL Multiagente (MARL) melhorou o desempenho em todos os fluxos de trabalho avaliados e escalas de modelo (0,5B a 14B).
• Impacto em Modelos Pequenos: Os ganhos foram particularmente pronunciados para modelos menores (por exemplo, agentes de 0,5B melhoraram de ~0,02 para ~0,44 F1 no NQ), sugerindo que o MARL ajuda agentes especializados em papéis a satisfazer protocolos de fluxo de trabalho e coordenar-se efetivamente.
• Compartilhamento de Parâmetros: Experimentos comparando modelos compartilhados versus independentes (por exemplo, 3B compartilhado vs. 4x3B independentes) mostraram que modelos compartilhados convergem ligeiramente mais devagar, mas atingem níveis de desempenho final semelhantes, demonstrando a viabilidade de treinar fluxos de trabalho multiagentes lógicos com parâmetros físicos compartilhados.

Geração de Código Reflexiva:
Um fluxo de trabalho de três rodadas de planejamento–código–verificação–reflexão foi testado em tarefas de código retidas.

• Métricas Estritas: Sob a métrica estrita "todos aprovados", o fluxo de trabalho 3xQwen3-4B melhorou de 0,255 para 0,686, e o 3xQwen3-8B de 0,290 para 0,738.
• Eficiência: O treinamento em MARL reduziu o número médio de voltas de verificação necessárias para resolver um problema (de ~2,5 para ~1,7), indicando melhoria no comportamento de parada interna e eficiência de execução.

Significado e Alegações

O artigo alega que o principal gargalo em muitos sistemas multiagentes baseados em LLM não é o design do fluxo de trabalho em si, mas a falta de uma interface de otimização principista para o fluxo de trabalho após o design. O UnityMAS-O aborda isso convertendo sistemas multiagentes especificados manualmente em políticas multiagentes treináveis.

Os autores posicionam o UnityMAS-O como um substrato de otimização reutilizável que permite:

1. Otimização Sistemática: Converter fluxos de trabalho diversos em sistemas de RL treináveis com atribuição de crédito explícita.
2. Flexibilidade: Estudar compensações entre especialização e eficiência de recursos por meio de compartilhamento de parâmetros configurável.
3. Eficiência: Melhorar não apenas a correção final, mas também a coordenação e a eficiência de execução das interações multiagentes.

O trabalho é apresentado como um substrato de sistemas prático para treinar sistemas multiagentes complexos e uma plataforma para estudar coordenação, especialização e escalabilidade nesses sistemas, em vez de uma ferramenta de benchmarking para tarefas específicas. Os autores observam que experimentos em andamento em agentes incorporados e engenharia de software estão em curso para validar ainda mais a generalidade da estrutura.