Resumo Técnico: Treinamento de Agentes com Modelo de Mundo

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) demonstraram proficiência em tomada de decisão sequencial, mas permanecem fundamentalmente reativos em tarefas de longo horizonte. Diferente de humanos planejadores que utilizam o raciocínio "e se" para simular resultados futuros e avaliar planos antes da execução, os agentes padrão carecem de um mecanismo interno para antecipar consequências. Embora métodos como a Cadeia de Pensamento (Chain-of-Thought - CoT) melhorem a decomposição de problemas, eles não possuem inerentemente um modelo de mundo interno para simular estados futuros.

Os autores identificam um gap de capacidade-formato crítico nas abordagens atuais de pós-treinamento. Simplesmente realizar o ajuste fino de agentes em traços de antecipação (ex: instruindo-os a gerar um bloco de "plano futuro") ensina o modelo a mimetizar a estrutura da previsão, sem adquirir a competência preditiva subjacente. Consequentemente, os agentes produzem simulações plausíveis, porém alucinadas, sem fundamentação ou mal calibradas, o que introduz ruído em vez de orientação útil.

Metodologia

Para preencher o gap de capacidade-formato, o artigo propõe o Treinamento de Agentes com Modelo de Mundo (World Model Agentic Training), um paradigma de treinamento unificado em três estágios projetado para internalizar o planejamento consciente do futuro dentro de uma única política autorregressiva. A abordagem evita simuladores externos ou cabeças de valor dedicadas, treinando o modelo para verbalizar tanto um rolamento de estado prospectivo quanto uma estimativa de sucesso condicionada ao plano (um análogo textual do valor Q).

Os três estágios são:

1. Treinamento Intermediário de Modelo de Mundo Agêntico (WM-AMT)

Este estágio injeta capacidades preditivas latentes na política antes do pós-treinamento padrão.

• Mecanismo: Dados de trajetórias agênticas de larga escala são aumentados com blocos estruturados de "modelo de mundo" ($z_t$) inseridos em passos aleatórios.
• Conteúdo: Cada bloco $z_t$ contém:
  • $z^{(traj)}_t$: Um roteiro abstraído do futuro simulado (um resumo condensado da experiência).
  • $z^{(eval)}_t$: Uma análise de lacuna semântica e um escore de confiança ($q \in [0, 100]\%$) estimando a probabilidade de sucesso.
• Objetivo: O modelo é treinado via log-verossimilhança negativa autorregressiva padrão para reconstruir esses blocos condicionados estritamente ao contexto histórico. Isso força o modelo a aprender a predição causal e a avaliação de valor como parte de seu prior de política, em vez de um mero exercício de formatação superficial.

2. Ajuste Fino Supervisionado de Elicitação de Formato (FE-SFT)

Embora o WM-AMT estabeleça a capacidade, o modelo pode carecer do esquema estrutural para invocá-la de forma confiável durante a inferência.

• Mecanço: O modelo é ajustado finamente em um conjunto de dados curado onde o modelo de mundo interno é explicitamente externalizado em um formato estruturado (ex: <imaginary>, <keyword>, <analysis>, <confidence>).
• Objetivo: Este estágio ensina o agente quando e como articular sua previsão latente, garantindo que os blocos gerados sejam coerentes e estruturalmente consistentes sem disparar as alucinações típicas do treinamento do zero.

3. Aprendizado por Reforço Condicionado à Previsão (FC-RL)

Este estágio otimiza conjuntamente o modelo de mundo interno e a política para garantir fundamentação e calibração.

• Otimização do Modelo de Mundo:
  • Recompensa de Fundamentação ($R_{ground}$): Verifica se as palavras-chave previstas (marcos) de fato se manifestam na trajetória de execução real.
  • Recompensa de Calibração ($R_{calib}$): Aplica uma penalidade de erro de Brier ao escore de confiança ($q_t$) com base no resultado terminal (sucesso/falha), forçando o agente a alinhar sua autopercepção de confiança com as taxas de sucesso empíricas.
• Otimização da Política:
  • A política é atualizada usando um algoritmo de RL baseado em grupos (GRPO).
  • A função de vantagem combina a recompensa global da tarefa com uma vantagem local ao nível do passo derivada dos escores de confiança calibrados ($q_t$), equilibrando o sucesso da tarefa com a qualidade da previsão.

Contribuições Principais

1. Identificação do Gap de Capacidade-Formato: O artigo demonstra que o pós-treinamento apenas em formatos de antecipação resulta em uma mimesis superficial da previsão, falhando em produzir predições futuras fundamentadas.
2. Paradigma Unificado de Três Estágios: Os autores propõem um pipeline de capacidade-primeiro (WM-AMT $\to$ FE-SFT $\to$ FC-RL) que internaliza o planejamento do modelo de mundo dentro de um único modelo autorregressivo, verbalizando tanto rollouts futuros quanto estimativas de valor Q sem módulos externos.
3. Validação Empírica: A abordagem é validada em tarefas de busca (QA multi-salto) e raciocínio matemático, mostrando que o modelamento de mundo interno requer um trajeto de treinamento específico para alcançar uma previsão calibrada.

Resultados Experimentais

O método foi avaliado em um modelo de 2 bilhões de parâmetros (Youtu-LLM-2B) em dois domínios:

• Tarefas de Busca (7 conjuntos de dados de QA):
  • O pipeline completo (WM-AMT + FE-SFT + FC-RL) alcançou uma pontuação média de 50.6, superando o melhor baseline (Predição de Estado Único com Mid-Training + RL) que obteve 48.7.
  • As melhorias foram particularmente pronunciadas em tarefas de raciocínio multi-salto (ex: HotpotQA, MuSiQue), onde o planejamento de longo horizonte é crítico.
• Raciocínio Matemático (AIME 2024/2025/2026):
  • O método proposto alcançou um pass@30 de 60.0 e mean@30 de 29.5, superando significativamente os baselines (ex: Predição de Estado Único + RL alcançou pass@30 de 56.7).
• Estudos de Ablação:
  • Remover qualquer um dos três estágios degradou o desempenho, confirmando a necessidade do pipeline completo.
  • Modelos treinados apenas com pós-treinamento (SFT/RL) em formatos de antecipação sem WM-AMT falharam em gerar planos coerentes, exibindo o gap de capacidade-formato.
  • Os escores de confiança gerados pelo modelo mostraram forte correlação com o sucesso real da tarefa (alta confiança para respostas corretas, baixa confiança para caminhos incorretos ou complexos), validando a calibração dos valores Q verbalizados.

Significância e Alegações

O artigo argumenta que o modelamento de mundo interno eficaz em agentes de LLM não pode ser alcançado apenas através de supervisão de formato. Em vez disso, requer um pipeline de treinamento de capacidade-primeiro que:

1. Injeta priors preditivos via treinamento intermediário (WM-AMT).
2. Elicita a articulação estruturada desses priors via ajuste fino supervisionado (FE-SFT).
3. Refina a calibração e a utilidade dessas simulações via otimização alinhada a recompensas (FC-RL).

Os autores afirmam que esta abordagem permite que os agentes realizem "simulação de futuro condicionada ao plano" e "avaliação mental" de forma semelhante ao raciocínio humano, permitindo que eles podem podar caminhos subótimos e lidar com tarefas de longo horizonte de forma mais robusta do que agentes reativos. O trabalho ressalta que alcançar uma previsão fundamentada e calibrada é um desafio de treinamento distinto que deve ser abordado antes que o agente possa utilizar efetivamente o raciocínio de antecipação.