Resumo Técnico: Raciocínio Agente Eficiente Através de Planejamento Simulativo Auto-Regulado

Declaração do Problema

Os atuais Modelos de Linguagem Grandes (LLMs) agentes operam predominantemente como políticas reativas com computação adaptativa, dependendo de raciocínio em cadeia de pensamento (CoT) sem restrições, onde capacidades de planejamento são esperadas para emergir implicitamente do treinamento ponta a ponta. Os autores argumentam que essa abordagem sofre de uma falta fundamental de controle sobre a presença, estrutura ou horizonte do planejamento. Consequentemente, esses sistemas frequentemente exibem aumentos dramáticos no comprimento do raciocínio (consumo de tokens) durante o treinamento sem ganhos confiáveis em precisão. Além disso, a ausência de uma estrutura de planejamento explícita impede a análise, regulação ou melhoria independente do processo de planejamento. Alternativas existentes, como abordagens adaptativas ao esforço ou roteamento de modos, abordam apenas subconjuntos do problema (por exemplo, controlar a quantidade de raciocínio ou selecionar modos de execução no início da tarefa), mas falham em combinar planejamento simulativo explícito com auto-regulação autônoma por turno.

Metodologia: SR2AM

Para abordar essas ineficiências, o artigo propõe o SR2AM (Raciocínio Simulativo Auto-Regulado Agente LLM), que decompõe a deliberação do agente em três sistemas interagentes:

1. Execução Reativa (Sistema I): Lida com raciocínio de granularidade fina e execução direta de ações.
2. Raciocínio Simulativo (Sistema II): Um "Planejador Simulativo" que fundamenta a deliberação na previsão de estados futuros usando um modelo de mundo. Diferentemente do CoT sem restrições, este sistema propõe ações candidatas, prevê suas consequências (estados de crença) e seleciona sequências que maximizam o progresso esperado de longo prazo. No SR2AM, o próprio LLM serve como modelo de mundo no espaço de linguagem.
3. Auto-Regulação (Sistema III): Um "Configurador" aprendido que decide autonomamente quando e quão profundamente planejar a cada turno. Ele avalia o estado de crença atual e determina se deve invocar um novo plano, continuar um plano existente ou pular o planejamento inteiramente para agir diretamente.

Instanciações e Treinamento

Os autores exploram duas instanciações desta estrutura, ambas treinadas via Ajuste Fino Supervisionado (SFT) seguido de Aprendizado por Reforço (RL):

• SR2AM-v0.1 (8B): Demonstra a viabilidade registrando decisões de um sistema multi-módulo com prompts (usando o4-mini como professor). O configurador e o planejador são implementados como LLMs separados com prompts adicionais, com módulos extras para formação de crença e reflexão.
• SR2AM-v1.0 (30B): Uma abordagem escalável que reconstrói planos estruturados a partir de rastros de um LLM de raciocínio pré-treinado (DeepSeek-V3.2). Um LLM anotador infere decisões do configurador e conteúdo de plano simulativo (sequências estado-ação-futuro-estado) a partir de rastros CoT existentes, preservando o raciocínio livre original enquanto o aumenta com planejamento estruturado.

Os modelos são treinados em tarefas de raciocínio interativo envolvendo matemática, ciência, análise de dados tabulares e busca de informações na web, utilizando ferramentas como busca na web, navegação na web e um sandbox Python. O objetivo do RL (baseado em Otimização de Política Relativa de Grupo) prioriza a correção da resposta enquanto fornece sinais de gradiente para conformidade estrutural.

Contribuições Principais

1. Decomposição Arquitetural: O artigo formaliza uma decomposição de três sistemas (Sistema I+II+III) que separa a auto-regulação, o planejamento simulativo e a execução reativa. Isso permite controle explícito sobre horizontes e estruturas de planejamento sem engenharia por domínio.
2. Raciocínio Agente Eficiente: Ao desacoplar a decisão de planejar do ato de planejar, o SR2AM evita a ineficiência da deliberação não regulada (superpensamento) e a rigidez do planejamento sempre ativo.
3. Validação Empírica da Auto-Regulação: O estudo demonstra que um configurador aprendido pode modular efetivamente a profundidade do planejamento, levando a economias significativas de tokens sem sacrificar a precisão.
4. Dinâmicas de RL: O artigo analisa como o RL refina a interação entre os sistemas, mostrando que as melhorias vêm do aumento da qualidade do planejamento (horizonte) e não da frequência do planejamento.

Resultados

Os autores avaliaram o SR2AM em 11 benchmarks (matemática, ciência, tabular, web) e o compararam com sistemas de referência, modelos de deliberação não regulada e baselines parcialmente regulados.

• Desempenho vs. Escala:
  • SR2AM-v0.1-8B alcançou um Pass@1 geral de 57,0, superando outros modelos de 7–8B e competindo com LLMs agentes não regulados de 30–32B e LLMs pré-treinados com ferramentas de 120–355B.
  • SR2AM-v1.0-30B alcançou um Pass@1 geral de 71,3, competitivo com o DeepSeek-V3.2 (685B) e Kimi-K2.5 (1,0T) no mesmo conjunto de ferramentas, e superando o GPT-5.4-xhigh como modelo de raciocínio apenas em texto.
• Eficiência de Raciocínio:
  • O SR2AM-v1.0-30B consumiu 25,8–95,3% menos tokens de raciocínio do que LLMs agentes competitivos de escala similar (30–32B).
  • Comparado ao MiroThinker-v1.5-30B, o SR2AM-v1.0-30B alcançou precisão similar enquanto usou 51,2% menos tokens (5.518 vs. 11.295).
• Impacto do RL: A análise revelou que o RL aumentou o horizonte médio de planejamento em 22,8%, enquanto a frequência de planejamento cresceu apenas 2,0%. Isso indica que o modelo aprende a planejar mais adiante quando necessário, em vez de planejar com mais frequência.
• Estudos de Ablação: Remover qualquer um dos três sistemas (raciocínio livre, planejamento simulativo ou planejamento seletivo) degradou o desempenho ou a eficiência, confirmando seus papéis complementares. Especificamente, remover o planejamento seletivo (Sistema III) causou o maior aumento no consumo de tokens.

Significado e Alegações

O artigo alega que o raciocínio agente eficiente se beneficia da decomposição da deliberação em planejamento simulativo governado por auto-regulação aprendida, operando ao lado da execução reativa. Os autores argumentam que a necessidade de rastros de raciocínio cada vez mais longos nos modelos atuais é uma consequência de construir agentes como políticas reativas indiferenciadas, sem agência interna sobre seu próprio planejamento.

O significado deste trabalho reside em:

1. Planejamento de Propósito Geral: A estrutura de planejamento simulativo alcança forte desempenho em diversas categorias de tarefas sem procedimentos por domínio, apoiando a visão do raciocínio simulativo como um mecanismo geral.
2. Regulação Autônoma: O configurador instancia um princípio de regulação autônoma de processos de raciocínio. Os autores postulam que este princípio pode se estender além do planejamento no tempo de inferência para como os agentes governam seu próprio aprendizado e adaptação.
3. Escalabilidade: A instanciação v1.0 demonstra que planejamento estruturado e auto-regulação podem ser reconstruídos a partir de rastros de raciocínio existentes, oferecendo um caminho escalável para treinar modelos agentes eficientes.

Os autores permanecem modestos quanto às limitações, observando que seu modelo de mundo está atualmente limitado ao espaço de linguagem e que a calibração do configurador sobre quando não planejar (critérios de parada) permanece uma área para melhoria, conforme evidenciado por verificação excessiva ocasional em tarefas específicas. Eles sugerem que trabalhos futuros devem explorar ambientes corporificados, modelos de mundo multimodais e a extensão da auto-regulação para múltiplos processos interagentes.