Resumo Técnico: TMAS – Escalonamento de Computação em Tempo de Teste via Sinergia Multi-Agente

1. Declaração do Problema

O escalonamento em tempo de teste (TTS) emergiu como um paradigma para aprimorar as capacidades de raciocínio de Modelos de Linguagem de Grande Escala (LLMs) alocando computação adicional durante a inferência. Enquanto as abordagens iniciais focaram em estender trajetórias de geração únicas (por exemplo, Cadeia de Pensamento) ou agregar soluções independentes paralelas (por exemplo, Autoconsistência), métodos estruturados recentes tentam organizar o raciocínio através de múltiplas trajetórias e rodadas de refinamento.

No entanto, os métodos estruturados de TTS existentes enfrentam limitações significativas no equilíbrio entre exploração (tentar caminhos de solução diversos) e exploração (refinar direções promissoras):

• Coordenação Fraca: Métodos de agregação de trajetórias frequentemente dependem de informações históricas ruidosas sem filtrar explicitamente o que reter, levando ao reuso subótimo de sinais.
• Colaboração Insuficiente: Sistemas de verificação-refinamento introduzem feedback explícito, mas frequentemente deixam trajetórias diferentes fracamente acopladas, falhando em compartilhar descobertas intermediárias reutilizáveis ou feedback local entre tentativas.
• Granularidade de Memória: Abordagens atuais falham em distinguir entre conclusões intermediárias confiáveis de baixo nível (sinais locais) e insights estratégicos de alto nível (padrões globais), limitando o compartilhamento eficaz de informações.

O desafio central é projetar um framework que coordene explicitamente a colaboração multi-agente, gerencie memória hierárquica para separar experiência local de estratégia global e alinhe o modelo para utilizar efetivamente essa estrutura sem ficar preso a padrões subótimos.

2. Metodologia: O Framework TMAS

Os autores propõem o TMAS (Computação em Tempo de Teste via Sinergia Multi-Agente), um framework que organiza a inferência como um processo colaborativo entre agentes especializados. O sistema opera iterativamente, equilibrando exploração paralela com exploração sequencial.

2.1. Arquitetura Multi-Agente

O TMAS emprega cinco agentes especializados para gerenciar o pipeline de inferência:

1. Agente de Solução ($A_{sol}$): Gera $N$ trajetórias de solução candidatas em paralelo. Utiliza uma estratégia $\epsilon$-gulosa: com probabilidade $1-\epsilon$, explora experiência acumulada e execuções anteriores; com probabilidade $\epsilon$, explora guiado por diretrizes de alto nível para evitar redundância.
2. Agente de Verificação ($A_{ver}$): Realiza $M$ passagens de verificação independentes em cada candidato, fornecendo feedback analítico e pontuações escalares (corretude, corretude parcial ou erros).
3. Agente de Resumo ($A_{sum}$): Agrega resultados de verificação em resumos concisos ao nível de execução, destacando passos validados e falhas lógicas.
4. Agente de Experiência ($A_{exp}$): Extrai sinais reutilizáveis de baixo nível das execuções atuais para atualizar o Banco de Experiência. Isso inclui conclusões intermediárias verificadas, habilidades concretas e heurísticas específicas de evitação de erros.
5. Agente de Diretrizes ($A_{guide}$): Abstrai abordagens estratégicas de alto nível de execuções paralelas para atualizar o Banco de Diretrizes. Isso registra direções de solução globais e insights estruturais para orientar agentes subsequentes a se afastarem de padrões previamente tentados (e falhados).

2.2. Gerenciamento Hierárquico de Memória

O TMAS introduz dois bancos de memória distintos para facilitar o fluxo estruturado de informações:

• Banco de Experiência: Armazena sinais de raciocínio concretos e específicos de trajetória (por exemplo, "âncora verificada $T(2)=3$"). Estes são reutilizados para refinar o raciocínio local e evitar a repetição de erros específicos.
• Banco de Diretrizes: Armazena registros estratégicos de alto nível (por exemplo, "tentativa de indução com argumento de divisão"). Estes são usados para impor diversidade, garantindo que novas execuções não simplesmente repitam estruturas estratégicas previamente exploradas.

2.3. Aprendizado por Reforço com Recompensa Híbrida

Para alinhar o modelo ao processo colaborativo do TMAS, os autores projetam um Sistema de Recompensa Híbrida baseado em GRPO (Otimização de Política Relativa de Grupo). Diferente do RL padrão que otimiza apenas para a corretude final, este sistema inclui três objetivos complementares:

1. Recompensa Padrão de Corretude: Preserva a capacidade básica de raciocínio (recompensa +1 para respostas corretas, -1 caso contrário).
2. Recompensa de Utilização de Experiência: Incentiva o modelo a usar efetivamente o Banco de Experiência. Se um problema é difícil de resolver sem o banco, mas solucionável com ele, o modelo recebe um bônus proporcional à dificuldade do problema sem o banco. Isso impede que o banco seja tratado como contexto passivo.
3. Recompensa de Exploração de Estratégia Nova: Incentiva a descoberta de novas estratégias de solução de alto nível. Execuções que seguem uma diretriz não coberta pelo banco existente recebem uma recompensa maior, enquanto aquelas que repetem estratégias conhecidas são penalizadas, mesmo que corretas.

3. Contribuições Principais

1. Framework TMAS: Um sistema multi-agente inovador que organiza explicitamente o fluxo de informações entre agentes, trajetórias e iterações. Transforma tentativas de raciocínio independentes em um processo iterativo coordenado através de agentes especializados de Experiência e Diretrizes.
2. Mecanismo de Memória Hierárquica: A introdução de bancos separados para experiência de baixo nível (sinais locais reutilizáveis) e diretrizes de alto nível (evitação estratégica) para equilibrar a exploração de achados confiáveis com a exploração de caminhos diversos.
3. Esquema de RL com Recompensa Híbrida: Um objetivo de treinamento adaptado ao TMAS que otimiza conjuntamente competência básica de raciocínio, utilização efetiva de experiência e exploração de estratégia nova, abordando o trade-off exploração-exploração no raciocínio iterativo.

4. Resultados Experimentais

Os autores avaliaram o TMAS em benchmarks desafiadores de raciocínio: IMO-AnswerBench-50 e HLE-Math-100, utilizando Qwen3-30B e Qwen3-4B como modelos base.

• Escalonamento Iterativo: O TMAS demonstrou um escalonamento iterativo mais forte do que as linhas de base existentes (Self-Refine, Verify-Refine, PaCoRe, RSE). Enquanto outros métodos estagnaram ou degradaram em iterações posteriores, o TMAS continuou a melhorar, alcançando o melhor desempenho em estágio tardio (por exemplo, 40,50% no IMO-AnswerBench-50 com Qwen3-30B na iteração 19).
• Impacto do RL Híbrido: O treinamento com o sistema de recompensa híbrida amplificou significativamente a eficácia do escalonamento. No modelo Qwen3-4B, o TMAS+RL-Híbrido não apenas alcançou maior precisão de pico, mas também mitigou a degradação de desempenho observada no RL-Vanilla (treinamento apenas com recompensas de corretude) durante iterações posteriores.
• Eficiência do Modelo: O treinamento com RL híbrido reduziu substancialmente a lacuna de desempenho entre os modelos de 4B e 30B. No IMO-AnswerBench-50, a lacuna reduziu de 23,44 para 9,62 pontos, sugerindo que a computação iterativa efetiva em tempo de teste pode permitir que modelos menores se aproximem do desempenho de modelos muito maiores.
• Estudos de Ablação:
  • Remover qualquer um dos módulos de Experiência ou Diretrizes degradou o desempenho, com a remoção conjunta causando a queda mais severa.
  • Um coeficiente de exploração intermediário ($\epsilon=0,2$) produziu resultados ótimos, confirmando a necessidade de um equilíbrio entre descoberta e exploração.
  • Contagens excessivas de verificação (por exemplo, 16) ou soluções paralelas (por exemplo, 12) não produziram melhorias monotônicas, indicando retornos decrescentes e introdução potencial de ruído.

5. Significado e Limitações

O artigo afirma que o TMAS representa um passo significativo para frente na organização da computação em tempo de teste, indo além da simples agregação de trajetórias ou verificação. Ao estruturar explicitamente o fluxo de informações e separar a memória em níveis hierárquicos, o TMAS permite uma colaboração mais efetiva entre trajetórias de raciocínio. O esquema de recompensa híbrida é apresentado como um facilitador crucial para treinar modelos a aproveitar essa estrutura complexa.

Limitações:

• Gargalo de Verificação: Os autores identificam um "limite de capacidade compartilhada" onde, nos problemas mais difíceis, o agente de verificação (instanciado da mesma família de modelos) pode ter dificuldade em distinguir entre soluções plausíveis, mas falhas, e as corretas. Isso pode levar a sinais de feedback pouco confiáveis para o loop de refinamento.
• Restrições Computacionais: A avaliação não foi conduzida em modelos de fronteira (por exemplo, GPT-5.5) devido a custos e restrições de API.
• Construção de Dados: O pipeline atual de RL requer um modelo professor externo para pré-construir trajetórias de início frio e dados de treinamento baseados em memória. Os autores sugerem que trabalhos futuros poderiam incorporar dinamicamente trajetórias de iterações anteriores para expandir a fonte de dados.

Em conclusão, o TMAS oferece uma abordagem estruturada para escalar a computação em tempo de teste que equilibra efetivamente exploração e exploração através de sinergia multi-agente e memória hierárquica, demonstrando que computação adicional pode ser traduzida em desempenho de raciocínio aprimorado quando organizada corretamente.