Resumo Técnico: Natural Language Actor-Critic (NLAC)

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) são cada vez mais incumbidos de interações complexas e de longo horizonte que envolvem o uso de ferramentas, navegação na web e diálogo de múltiplos turnos. Embora os LLMs se destaquem em tarefas de turno único, eles enfrentam dificuldades com planejamento dinâmico e atribuição de crédito em sequências estendidas. Abordagens tradicionais de aprendizado por reforço (RL), como gradientes de política (ex: PPO, GRPO), frequentemente sofrem de instabilidade e baixa eficiência de amostragem nesses cenários devido a recompensas esparsas e à dificuldade de atribuir crédito a ações específicas dentro de uma trajetória longa.

Métodos existentes de Actor-Critic tentam mitigar isso aprendendo um crítico para fornecer feedback mais denso. No entanto, críticos padrão de valor escalar são inadequados para espaços de ação de linguagem; eles comprimem modos de falha ricos em um único número, oferecendo pouca orientação sobre como uma política de linguagem deve refinar suas ações. Tentativas anteriores de usar valores em linguagem natural (ex: Natural Language Reinforcement Learning, NLRL) foram limitadas por sua dependência de agregação in-context de rollouts on-policy. Essa abordagem torna-se não escalável à medida que as trajetórias se alongam e a dinâmica do ambiente cresce em complexidade, restringindo tais métodos a ambientes simples como gridworlds.

Metodologia: Natural Language Actor-Critic (NLAC)

O artigo propõe o Natural Language Actor-Critic (NLAC), um novo algoritmo que treina políticas de LLM utilizando um crítico de LLM generativo que produz valores no espaço da linguagem natural. Diferente de trabalhos anteriores, o NLAC permite o aprendizado off-policy geral e escalável sem depender da agregação in-context de amostras on-policy.

Componentes Principais

O framework utiliza um único LLM subjacente com diferentes prompts para instanciar três componentes funcionais distintos:

1. Modelo Sucessor de Linguagem ($M^\pi$):
   Em vez de prever retornos escalares, o crítico é treinado para prever resumos textuais compactos de rollouts futuros. Ele atua como uma função sucessora, recebendo um estado $s_t$ e uma ação $a_t$ e gerando uma distribuição sobre descrições textuais da trajetória futura $(s, a)_{t+1:T}$ e da recompensa final. Isso é treinado usando um Backup de Bellman de Linguagem ($B_L$), que faz o bootstrap a partir de transições de um passo. O backup combina o próximo estado e ação imediatos com uma descrição concatenada do futuro, "descontando" a descrição futura para enfatizar resultados imediatos. Isso permite o treinamento off-policy via aprendizado de diferença temporal, contornando a necessidade de trajetórias on-policy completas.

2. Evaluador de Linguagem ($E$):
   Para avaliar uma ação específica, o crítico agrega múltiplas descrições futuras amostradas (geradas pelo modelo sucessor) e produz uma crítica textual. Esta crítica comenta sobre a otimalidade da ação e fornece uma justificativa baseada nos resultados futuros previstos. Este passo aproveita a capacidade inerente do LLM de raciocinar sobre texto in-context sem treinamento adicional.

3. Política de Refinamento ($\pi_r$):
   A melhoria da política é alcançada através de um paradigma de auto-refinamento. Em vez de enumerar todas as ações possíveis (o que é intratável em grandes vocabulários de tokens), a política base gera uma ação inicial. A política de refinamento então recebe esta ação e a crítica textual do avaliador para gerar uma ação refinada $a^r_t$ que se espera ser superior segundo o crítico.

Algoritmo de Treinamento

O algoritmo opera de maneira off-policy:

• Avaliação de Política: O modelo sucessor de linguagem é treinado para minimizar a divergência entre suas descrições futuras previstas e as distribuições alvo geradas pelo Backup de Bellman de Linguagem. Isso utiliza uma perda de entropia cruzada (divergência KL) sobre as saídas textuais.
• Melhoria de Política: A política base é atualizada via destilação da política de refinamento. O objetivo é maximizar a log-verossimilhança das ações refinadas geradas pela política de refinamento, condicionadas ao estado e à avaliação do crítico.

Principais Contribuições

1. Aprendizado Off-Policy Escalável no Espaço de Linguagem: O NLAC é o primeiro trabalho a realizar aprendizado de valor geral em espaço de linguagem natural sem depender da agreção in-context de rollouts on-policy. Ao treinar um modelo sucessor de linguagem via um Backup de Bellman de Linguagem, ele possibilita o aprendizado off-policy escalável.
2. Críticas Interpretáveis e Acionáveis: O método substitui valores escalares por críticas em linguagem natural que explicam por que uma ação é subótima e sugerem melhorias. Isso aproveita as capacidades de raciocínio do LLM para guiar o refinamento da política de forma mais eficaz do que sinais escalares.
3. Convergência Teórica: Os autores fornecem uma análise teórica conectando as representações de linguagem aprendidas a características sucessoras (successor features). Eles provam que, sob suposições de realizabilidade suaves, o crítico de linguagem pode recuperar a função Q escalar real via um mapeamento monotônico, garantindo a convergência para a política ótima.
4. Superioridade Empírica em Tarefas de Longo Horizonte: O artigo demonstra que o NLAC supera as linhas de base de fine-tuning existentes (PPO, GRPO, RFT) e métodos de prompting (ReAct) em tarefas complexas que exigem interação de múltiplos passos.

Resultados Experimentais

Os autores avaliaram o NLAC em três benchmarks:

• Raciocínio Matemático (MATH500-Hard): Uma tarefa de passo único onde o NLAC apresenta desempenho comparável a outros métodos de fine-tuning, efetivamente reduzindo-se à auto-destilação com um modelo de recompensa generativo.
• Diálogo Estratégico (20 Perguntas): Um jogo de múltiplos turnos que exige planejamento coeso. O NLAC alcançou uma taxa de vitória de 26,0%, superando significativamente o PPO (17,2%), GRPO (18,4%) e a linha de base de prompting (30,2% com GPT-5, mas o NLAC com modelos menores superou as linhas de base de fine-tuning).
• Uso de Ferramentas e Diálogo (τ-Bench): Uma tarefa de atendimento ao cliente envolvendo chamadas de API e diretrizes de política estritas. O NLAC alcançou uma taxa de vitória de 0,42 em varejo e 0,22 em cenários de companhia aérea (não vistos durante o treinamento), superando todas as outras linhas de base de fine-tuning. Notavelmente, o NLAC exigiu menos passos de gradiente para convergir em comparação ao PPO.

A análise qualitativa mostrou que o crítico de linguagem natural do NLAC identificou com sucesso modos de falha específicos (ex: violar limites de chamada de ferramenta ou usar estratégias de busca linear) e forneceu correções acionáveis que as recompensas escalares não poderiam transmitir.

Significância e Alegações

O artigo afirma que o NLAC oferece um paradigma de treinamento mais escalável e estável para agentes de LLM em comparação com os métodos on-policy existentes. Ao mover o aprendizado de valor do espaço escalar para o espaço da linguagem natural, o método aborda o problema de atribuição de crédito em tarefas de longo horizonte de forma mais eficaz. Os autores postulam que esta abordagem aproveita melhor as capacidades de raciocínio inerentes dos LLMs, permitindo que eles entendam e articulem o "porquê" por trás das atualizações de política.

Os autores reconhecem limitações, especificamente a dependência da capacidade do LLM base em gerar futuros plausíveis e refinar ações via prompting. Eles sugerem que, para tarefas proibitivamente complexas, trabalhos futuros podem precisar decompor tarefas hierarquicamente para remover essa dependência. No entanto, os resultados atuais sugerem que o NLAC é uma alternativa convincente para treinar agentes em domínios de diálogo e uso de ferramentas.