Resumo Técnico: CAST (Credit Assignment from Solver Teachers)

Definição do Problema

Treinar Grandes Modelos de Linguagem (LLMs) para atuarem como agentes generalistas em ambientes de longo horizonte, como jogos clássicos (Sokoban, Minesweeper, Rush Hour), enfrenta um gargalo crítico: o sinal de recompensa esparso. Embora o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tenha tido sucesso em tarefas de turno único, ele depende de recompensas de resultado final (vitória/derrota) que não fornecem informações sobre quais decisões intermediárias específicas levaram ao sucesso ou ao fracasso. Isso cria um problema fundamental de atribuição de crédito, onde cada token em uma trajetória recebe o mesmo feedback grosseiro, dificultando a capacidade do modelo de aprender planejamento de longo horizonte, exploração direcionada a objetivos e recuperação de erros. As tentativas existentes de densificar esses sinais por meio de busca custosa, modelos de recompensa de processo aprendidos ou comparações entre trajetórias frequentemente sofrem com compensações entre custo computacional, qualidade da supervisão e confiabilidade do sinal.

Metodologia: CAST

Os autores propõem o CAST (Credit Assignment from Solver Teachers), um framework que utiliza solvers de jogos específicos do domínio para fornecer supervisão de nível de turno refinada para agentes de LLM.

Mecanismo Central

1. Solver como Professor de Nível de Turno: Em vez de usar um solver apenas para gerar trajetórias especialistas (o que limita o aprendizado aos estados visitados pelo especialista), o CAST usa o solver para avaliar as ações on-policy do LLM em tempo real.
2. Construção de Vantagem do Solver:
   • O solver calcula um valor de custo-para-ir (cost-to-go), $N(s)$, representando o número mínimo de passos necessários para vencer a partir do estado $s$.
   • Para uma ação $a_t$ tomada pelo LLM transitando de $s_t$ para $s_{t+1}$, o método calcula a mudança no custo-para-ir.
   • Uma vantagem de solver deslocada é definida como:
     $$\tilde{A}^{\pi_{Solver}}(s_t, a_t) = N(s_t) - \mathbb{E}[N(s_{t+1})]$$
   • Este valor é positivo se a ação reduz a distância até o objetivo (progresso), zero se for neutra, e negativo se aumentar a distância ou levar a um beco sem saída.
3. Modelagem de Sinal (Signal Shaping): Para evitar instabilidade no treinamento causada por valores de cauda pesada (ex: grandes penalidades por becos sem saída) e diferenças de escala entre jogos, o CAST aplica duas transformações:
   • Compressão Asinh: $g(x) = \text{asinh}(x)$, que preserva valores pequenos linearmente enquanto comprime outliers extremos logaritmicamente.
   • Normalização RMS em nível de lote: Re escala o sinal por sua magnitude de raiz quadrada média dentro de um lote para garantir escalas consistentes, sem subtrair a média (para preservar o significado semântico de zero como "sem progresso").
4. Integração com RLVR: A vantagem do solver modelada é adicionada à vantagem padrão de nível de trajetória (ex: do GRPO) para formar um sinal de vantagem combinado:
   $$\hat{A}_{i,t} = \hat{A}^{outcome}_i + \alpha \cdot h(\tilde{A}^{\pi_{Solver}}_{i,t})$$
   Este sinal combinado é usado no objetivo substituto recortado (clipped surrogate objective) para atualizar a política.

Insight Teórico: Destilação On-Policy Sem Logits

O artigo estabelece uma equivalência teórica entre a maximização da vantagem do solver e a destilação on-policy (OPD) de um professor "soft-optimal".

• Sob a suposição de que um solver forte atua como uma política soft-optimal onde as probabilidades das ações são proporcionais a $\exp(Q/\tau)$, a vantagem do solver é matematicamente proporcional à log-probabilidade da ação sob a política do solver.
• Contribuição Principal: Isso implica que a vantagem escalar do solver codifica inerentemente a distribuição de preferência do professor. Consequentemente, o CAST alcança a destilação sem a necessidade de logits do professor (a distribuição completa de ações), baseando-se apenas em valores escalares. Isso permite que o LLM estudante aprenda com a função de valor do solver de forma eficiente.

Principais Contribuições

1. Crédito Derivado de Solver: A introdução de um método para converter mudanças de valor de estado de solvers de jogos em vantagens refinadas de nível de turno para treinamento de LLM.
2. Destilação Sem Logits: Uma prova teórica de que a maximização das vantagens do solver é equivalente à destilação on-policy, permitindo o treinamento eficiente usando apenas valores escalares em vez de distribuições completas de professores.
3. Modelagem de Sinal Estável: O uso da transformação asinh e da normalização RMS para lidar com valores extremos e variações de escala entre domínios, garantindo a integração estável no RLVR.
4. Praticidade: Demonstração de que solvers exatos adicionam overhead negligenciável e que redes de valor aprendidas (ex: DQN) podem servir como aproximações eficazes quando solvers exatos não estão disponíveis.

Resultados Experimentais

O método foi avaliado em Sokoban, Minesweeper e Rush Hour, com transferência zero-shot para ALFWorld e WebShop.

• Desempenho In-Domain: O CAST superou todas as linhas de base treinadas (GRPO, GSPO, DAPO, GiGPO) e métodos de prompting sem treinamento (incluindo modelos fechados fortes como o Claude-Opus-4.6) em todos os três jogos, tanto em configurações in-domain quanto em dificuldades não vistas.
  • Em média, o CAST alcançou uma taxa de sucesso de 62,1% (Avg@4) em tarefas in-domain e 28,4% em dificuldades não vistas, superando significativamente o backbone DAPO (44,7% ID, 18,7% Unseen).
• Eficiência de Amostragem: O CAST atingiu o pico de desempenho de validação do DAPO em 1,7× a 2,0× menos passos de treinamento nos três jogos.
• Generalização Zero-Shot: Sem ajuste fino adicional, os agentes CAST transferiram para ALFWorld e WebShop, alcançando o maior desempenho médio zero-shot (30,3% no total) entre todos os métodos, superando a próxima melhor linha de base em 5,6 pontos.
• Estudos de Ablação:
  • O peso da vantagem do solver ($\alpha$) é crítico; $\alpha=0,1$ proporcionou o melhor equilíbrio entre orientação de processo e objetivos de resultado.
  • Tanto a compressão asinh quanto a normalização RMS foram essenciais; remover qualquer uma delas degradou o desempenho, sendo que a remoção do asinh causou a queda mais significativa devido à instabilidade de gradiente causada por valores extremos.
• Solvers Aprendidos: Substituir o solver exato pela rede de valor DQN manteve a maior parte dos benefícios de desempenho, demonstrando a aplicabilidade do método além de jogos com solvers exatos.

Significância e Alegações

O artigo afirma que o CAST aborda o desafio fundamental de atribuição de crédito no RLVR de longo horizonte ao fornecer um sinal escalável e refinado derivado de solvers de domínio. Ao provar a equivalência com a destilação on-policy sem logits, o método oferece um caminho prático para alinhar LLMs com funções de valor especialistas sem o fardo computacional de gerar distribuições completas de ações. Os resultados sugerem que a avaliação de estado confiável — seja via solvers exatos ou funções de valor aprendidas — fornece uma rota robusta de resultados esparsos para feedbacks densos e acionáveis, permitindo que os LLMs dominem tarefas complexas de decisão de múltiplos passos de forma mais eficiente do que abordagens baseadas apenas em resultados.