Resumo Técnico: ReM-MoA: Memória de Raciocínio Sustenta o Escalonamento de Mistura de Agentes

Declaração do Problema

Arquiteturas de Mistura de Agentes (Mixture-of-Agents - MoA) visam melhorar o escalonamento em tempo de inferência organizando múltiplos agentes de Grandes Modelos de Linguagem (LLMs) em pipelines de raciocínio em camadas. Embora aumentar a profundidade (número de camadas) e a largura (número de agentes por camada) ofereça teoricamente um caminho para o raciocínio coletivo escalável, as variantes existentes de MoA falham em sustentar ganhos de desempenho à medida que as arquiteturas se aprofundam. Observações empíricas revelam três modos de falha distintos:

1. Degradação: Sistemas MoA padrão frequentemente atingem o pico em profundidades rasas e, subsequentemente, degradam-se, pois a concatenação bruta entre camadas propaga tanto o raciocínio útil quanto erros acumulados.
2. Platô Precoce: Variantes que utilizam propagação residual local (ex: RMoA) falham em recuperar o raciocínio de alta qualidade gerado em camadas anteriores não adjacentes, causando um platô no desempenho.
3. Saturação e Colapso de Diversidade: Sistemas que dependem de interação intra-camada (ex: AttentionMoA) ou de contexto acumulado idêntico fazem com que os agentes convirjam para caminhos de solução redundantes, colapsando a diversidade de exploração.

Métodos existentes tentam abordar esses problemas através da consolidação de informações, interação entre agentes ou seleção guiada por qualidade, mas nenhum consegue manter o equilíbrio entre preservação de qualidade (reter trajetórias de raciocínio de alta qualidade) e prespresação de diversidade (impedir que os agentes convirjam para caminhos idênticos) conforme o sistema escala.

Metodologia: ReM-MoA

Os autores propõem o ReM-MoA, um framework de MoA aumentado por memória, projetado para sustentar o escalonamento ao tratar o problema como uma tarefa conjunta de preservação de qualidade-diversidade. O framework consiste em três componentes interconectados:

1. Memória de Raciocínio Ranqueada ($M$)

Ao contrário de sistemas de memória episódica que acumulam experiência através de tarefas, o ReM-MoA mantém uma memória de raciocínio estruturada e trans-camadas dentro de uma única instância de problema.

• Mecanismo: Em cada camada $l$, $N$ agentes proponentes geram traços de raciocínio. Um Agente Revisor (um LLM) avalia comparativamente esses traços, atribuindo um score inteiro e uma justificativa direcionada a cada um.
• Armazenamento: A memória armazena uma união de entradas de todas as camadas anteriores ($M_{\le l} = \bigcup_{k=1}^l M_k$), onde cada entrada é uma tríade de (traço, score, justificativa).
• Acesso: A memória é de apenas adição (append-only) e suporta acesso de leitura de qualquer camada subsequente, permitindo que camadas mais profundas revisitem e construam sobre caminhos de raciocínio de profundidades arbitrárias, não apenas das adjacentes.

2. Roteamento de Memória Diversificado e Curado ($\Pi$)

Para evitar o colapso da diversidade, o framework garante que os agentes dentro da mesma camada não consumam contextos idênticos.

• Mecanismo: Um esquema de roteamento seleciona subconjuntos distintos da memória para cada agente proponente. Esses subconjuntos são extraídos de três famílias de funções de roteamento:
  • Contrastiva ($Conn$): Combina traços de alto score (Top) e baixo score (Bot) para fornecer sinais contrastivos.
  • Reforço Positivo ($Top$): Foca em padrões bem-sucedidos.
  • Foco em Modos de Falha ($Bot$): Expõe falhas comuns.
• Distribuição: Para $N$ agentes, as funções de roteamento são distribuídas entre essas famílias (ex: um agente recebe o contraste, outro o positivo, outro o foco em falhas). Isso garante que a camada como um todo explore o conteúdo da memória enquanto os agentes individuais recebem conjuntos de referência distintos e conscientes da qualidade.

3. Destilação de Revisor (Melhoria Opcional)

Para melhorar a qualidade do ranqueamento do Agente Revisor, os autores introduzem um pipeline opcional usando destilação de modelos de fronteira.

• Processo: Um modelo professor forte (ex: GPT-5.5) supervisiona a pontuação e as justificativas dos traços gerados pelo próprio ReM-MoA em um conjunto de treinamento multidomínio.
• Ajuste Fino (Fine-tuning): Um modelo Revisor base menor é ajustado usando LoRA de eficiência de parâmetros para imitar os julgamentos do professor. Isso cria um Revisor de propósito geral capaz de transferir conhecimentos entre domínios de raciocínio.

Principais Contribuições

1. Caracterização Empírica de Falhas de Escalonamento: O artigo identifica e caracteriza três modos de falha específicos nos sistemas MoA existentes (degradação, platô e colapso de diversidade) impulsionados por concatenação bruta, acesso limitado entre camadas e contexto homogeneizado.
2. Framework ReM-MoA: A proposta de um framework que sustenta o escalonamento através de uma Memória de Raciocínio Ranqueada e um Roteamento de Memória Diversificado e Curado. Esta abordagem preserva trajetórias de raciocínio de alta qualidade enquanto mantém a diversidade de exploração ao expor os agentes a combinações distintas de traços bem-sucedidos e falhos.
3. Pipeline de Destilação Opcional: A introdução de um pipeline de destilação de Revisor multidomínio que atualiza o módulo de ranqueamento, permitindo que o sistema generalize para domínios não vistos.
4. Avaliação Abrangente: Experimentos extensos em cinco benchmarks de raciocínio (Matemática, Lógica Formal, Código, Conhecimento e Senso Comum) demonstrando que o ReM-MoA supera as variantes anteriores tanto no escalonamento de profundidade quanto de largura.

Resultados Experimentais

Os autores avaliaram o ReM-MoA contra Standard MoA, RMoA e AttentionMoA em cinco benchmarks: MATH, MMLU-redux, Lógica Formal, CRUX (código) e HellaSwag.

• Escalonamento de Profundidade ($L=1$ a $9$, $N=3$):

  • O MoA Padrão degradou significativamente (ex: uma queda de ~9.1 pontos no MMLU-redux em $L=9$).
  • RMoA e AttentionMoA atingiram platôs ou saturaram precocemente.
  • ReM-MoA melhorou consistentemente conforme a profundidade aumentava. A lacuna de desempenho entre o ReM-MoA e a base mais forte ampliou-se monotonicamente com a profundidade (ex: uma liderança de +7.3 pontos em Lógica Formal em $L=9$).
  • ReM-MoA$^*$ (com Revisor destilado) estendeu ainda mais o escalonamento sustentado para todos os benchmarks, revertendo tendências de saturação para crescimento contínuo em tarefas que anteriormente estagnavam.

• Escalonamento de Largura ($N=3$ a $8$, $L=3$):

  • ReM-MoA superou todas as bases em todas as configurações de largura.
  • Embora o escalonamento de largura tenha mostrado retornos decrescentes em comparação ao de profundidade, o ReM-MoA manteve uma liderança consistente, com a lacuna aumentando de +2.30 para +3.68 pontos conforme $N$ aumentava.

• Estudos de Ablação:

  • Remover o acesso entre camadas (restringindo leituras à camada imediatamente anterior) causou a maior queda de desempenho, confirmando a necessidade de acessar camadas não adjacentes.
  • Remover a diversificação de roteamento (compartilhando um conjunto de referência entre todos os agentes) desencadeou uma regressão semelhante à falha do modelo completo, provando que a diversidade intra-camada é crítica.
  • Remover as justificativas resultou em uma queda menor de desempenho, mas preservou a tendência de escalonamento, indicando que as justificativas atuam como refinamento, não como andaime essencial.

• Transferência de Destilação:

  • Um Revisor destilado em quatro domínios (mantendo o domínio de avaliação de fora) recuperou 44% do ganho alcançado por um modelo destilado multidomínio, demonstrando a transferibilidade para domínios de raciocínio não vistos.

Significância e Alegações

O artigo afirma que a memória de raciocínio estruturada entre camadas é um mecanismo crítico ausente para o escalonamento de inferência multi-agente. Ao desacoplar a preservação de raciocínio de alta qualidade da manutenção da diversidade de exploração, o ReM-MoA supera o colapso de escalonamento observado em arquiteturas anteriores.

Os autores afirmam que o ReM-MoA estabelece um novo paradigma onde os ganhos de escalonamento não são meramente uma função de agregação ou interação, mas de como os traços de raciocínio são armazenados, ranqueados e roteados seletivamente. O framework demonstra que, com a arquitetura de memória correta, sistemas multi-agentes podem sustentar melhorias de desempenho conforme escalam em profundidade e largura, uma propriedade anteriormente não alcançada na área. O pipeline de destilação opcional sugere ainda que esses benefícios podem ser generalizados através de domínios sem a necessidade de verificadores específicos para cada tarefa.