Resumo Técnico: GRADE – Roteamento com Portão e Profundidade Adaptativa para Raciocínio Eficiente de Multiagentes

Declaração do Problema

O artigo aborda os retornos decrescentes e os custos que aumentam linearmente associados à escala de Grandes Modelos de Linguagem (LLMs). Embora a coordenação multiagente ofereça um caminho para superar modelos monolíticos com uma fração do orçamento de parâmetros ativos, as abordagens existentes sofrem de três limitações críticas:

1. Adaptabilidade de Profundidade Limitada: A maioria dos sistemas roteia cada consulta por toda a pilha de agentes, independentemente da dificuldade, falhando em implementar computação adaptativa ou saídas antecipadas (early exits) através de pools multiagentes heterogêneos.
2. Controle de Comunicação Grosseiro: Os sistemas tipicamente transmitem todas as mensagens ou agregam sem filtrar. A comunicação interagente aprendida e seletiva (decidir quando e com quem se comunicar) dentro de um framework hierárquico treinado conjuntamente permanece inexplorada.
3. Falta de Recalibração: Sistemas anteriores carecem de mecanismos para recalibrar limiares de portão (gate thresholds) quando especialistas são trocados durante a inferência. Substituir um especialista silenciosamente invalida os limiares ajustados para a distribuição de saída do modelo original, levando ao colapso do desempenho.

Metodologia: O Framework GRADE

Os autores propõem o GRADE (Gated Routing and Adaptive Depth for Efficient Reasoning), um sistema multiagente hierárquico que aloca computação dinamicamente, seleciona agentes e gerencia a comunicação por meio de quatro portões (gates) aprendidos conjuntamente.

Arquitetura

O GRADE opera em uma hierarquia de três níveis:

• Nível 0 (Orquestrador): Um modelo leve ($M_0$) que consome a representação codificada da consulta e pode fornecer uma resposta direta ou rotear para níveis mais profundos.
• Nível 1 (Gerentes): Dois módulos de gerenciamento que projetam a representação da consulta e fornecem sinais de agrupamento para enviesar a atribuição de subagentes. Eles não geram tokens, mas facilitam o recrutamento de especialistas relacionados.
• Nível 2 (Subagentes): Um pool de agentes especialistas especializados extraídos de um Registro de Especialistas (Expert Registry). Cada agente consiste em um backend de LLM congelado, um adaptador treinável leve, uma cabeça de resposta e um mapa de calibração.

Portões de Coordenação (Coordination Gates)

Quatro portões aprendidos (MLPs pequenos) governam o comportamento do sistema em uma única passagem direta (forward pass):

1. Portão de Atribuição (Assignment Gate): Seleciona quais subagentes ativar com base na afinidade consulta-agente e nos sinais de agrupamento do gerente. Suporta topologia dinâmica (amostragem de Bernoulli) ou top-$k$ fixo.
2. Portão de Profundidade (Depth Gate): Determina o nível hierárquico a ser percorrido (0: apenas Orquestrador; 1: Gerentes; 2: Pool completo de subagentes), permitindo computação adaptativa.
3. Portão de Leitura Cruzada (Cross-Read Gate): Um mecanismo de comunicação seletiva que determina quais pares de agentes trocam informações via uma máscara binária antes da combinação.
4. Portão de Poda (Prune Gate): Atribui uma estimativa de valor para ramos ativos, descartando ramos de baixa utilidade antes da etapa custosa de combinação de atenção cruzada (cross-attention).

Treinamento: CoGRPO

O sistema é treinado de ponta a ponta usando CoGRPO (Collaborative Group-Relative Policy Optimization), uma adaptação sem crítico da Otimização de Política Relativa ao Grupo (GRPO).

• Política Conjunta: O sistema otimiza uma política conjunta sobre profundidade, atribuição de agentes, máscaras de comunicação e decisões de poda.
• Atribuição de Crédito: Em vez de um crítico aprendido, o CoGRPO calcula uma vantagem relativa ao grupo compartilhada ($\hat{A}$) para cada portão e agente participante em um rollout. Esta "atribuição de crédito colaborativa" atualiza todos os participantes com o mesmo sinal de vantagem escalar.
• Função de Recompensa: A recompensa combina um sinal de correção terminal, um termo de margem para log-probabilidade, um termo de alinhamento ao nível do agente e uma penalidade de custo para desencorajar o uso desnecessário de computação.

Especialistas Substituíveis a Quente (Hot-Swappable Experts)

Para permitir que especialistas sejam substituídos em tempo de inferência sem o retreinamento dos portões, o GRADE emprega mapas de calibração por agente ($\kappa_a$). Estes são normalizações afins treináveis que alinham as distribuições de embedding de novos especialistas com a distribuição de treinamento usando apenas 64 consultas âncora.

Principais Contribuições

1. Harness de Coordenação: Um framework unificado com quatro portões treinados conjuntamente que permite alocação de computação por consulta, comunicação seletiva e poda de ramos.
2. CoGRPO: Uma nova receita de treinamento sem crítico para hierarquias multiagentes que atribui vantagens compartilhadas a todos os componentes participantes, estabilizando o treinamento sem uma função de valor.
3. Registro de Especialistas e Calibração: Um mecanismo para substituição segura de especialistas em tempo de execução que mantém o desempenho através de calibração por agente, exigindo nenhum retreinamento do núcleo de coordenação.

Resultados Experimentais

O GRADE foi avaliado no GSM8K, MMLUPro, GPQA e AIME-2025 usando uma média de ~17B de parâmetros ativos (variando de 0.5B para consultas fáceis a ~32B para difíceis).

• Desempenho: O GRADE supera todos os baselines no GSM8K (94.8%), MMLUPro (78.2%) e GPQA (57.4%). Notavelmente, ele supera o baseline mais forte (Puppeteer) em 4.8 pontos no MMLUPro e 3.3 pontos no GPQA, enquanto utiliza aproximadamente metade da computação ativa.
• Eficiência: No MMLUPro, o GRADE alcança a maior precisão com uma latência variando de 3.1 a 11.4 segundos (dependendo da dificuldade da consulta) e 52GB de VRAM, comparado aos 13s de latência fixa e 56GB de VRAM do Puppeteer.
• AIME-2025: Neste benchmark de matemática de nível de olimpíada, o Puppeteer retém uma vantagem de 1.9 pontos (27.2% vs 25.3%). Os autores atribuem isso à necessidade de cadeias de raciocínio sequenciais mais profundas, onde a capacidade individual dos subagentes menores do GRADE (3B–7B) é insuficiente em comparação aos modelos maiores do Puppeteer.
• Ablações:
  • Hierarquia: Remover o Depth Gate e o nível de gerente reduz a precisão em 7.2 pontos.
  • Comunicação: Desativar o Cross-Read reduz a precisão em 4.2 pontos, destacando a importância da comunicação interagente seletiva.
  • Calibração: A remoção da calibração causa uma queda imediata de 18 pontos na precisão após a troca de especialistas, exigindo mais de 20 consultas para recuperação, enquanto trocas calibradas recuperam-se em 9 consultas.

Significância e Alegações

O artigo afirma que o GRADE demonstra que os ganhos no raciocínio multiagente vêm da "contenção, não do aumento de capacidade". O sistema alcança resultados de estado da arte não adicionando mais computação, mas aprendendo a reter computação em consultas fáceis, podar ramos não informativos e comunicar-se seletivamente.

Os autores enfatizam que:

• O roteamento dinâmico é superior aos ensembles de $k$ fixo; o excesso de provisionamento de agentes (ex: usar $k=5$ em vez de $k=3$) injeta ruído e degrada o desempenho.
• A comunicação seletiva (Cross-Read) é crítica; forçar a comunicação total ($\rho=1.0$) prejudica o desempenho ao introduzir ruído redundante.
• A calibração é um mecanismo de segurança para adaptabilidade em tempo de execução, permitindo que o sistema troque especialistas sem retreinar a lógica de coordenação central.

O trabalho estabelece que sistemas multiagentes hierárquicos treinados com RL colaborativo podem superar modelos monolíticos e ensembles planos com um orçamento de parâmetros ativos significativamente menor, desde que o sistema possa adaptar sua profundidade e estratégia de comunicação à dificuldade da consulta.