Resumo Técnico: Aprendizado por Reforço com Feedback Rico com DAgger Distribucional

Formulação do Problema

O artigo aborda as limitações do paradigma dominante no treinamento de modelos de raciocínio: Aprendizado por Reforço com Recompensas Verificáveis (RLVR). No RLVR, os modelos geram múltiplas soluções candidatas, e cada uma recebe uma única recompensa binária (correto/incorreto) baseada na resposta final. Essa abordagem sofre de duas falhas críticas:

1. Atribuição de Crédito Deficiente: A recompensa terminal é transmitida uniformemente para todos os tokens em uma resposta, falhando em distinguir quais etapas específicas de raciocínio contribuíram para o sucesso ou fracasso.
2. Inaplicabilidade a Domínios Não Verificáveis: O RLVR depende da verificação automática de respostas finais, tornando-o inadequado para tarefas onde as respostas de verdade fundamental (ground-truth) não estão disponíveis ou são difíceis de verificar.

Embora muitos cenários ofereçam "feedback rico" (ex: traços de execução, logs de erro, correções de especialistas ou autoavaliações), os métodos atuais que tentam alavancar isso via autodestilação on-policy (ex: SDPO, OPSD) enfrentam obstáculos teóricos e práticos. As abordagens existentes tipicamente minimizam $f$-divergências (como KL reversa ou Jensen-Shannon) entre uma política estudante e um professor condicionado ao feedback. Os autores argumentam que esses métodos carecem de garantias para melhoria monotônica da política e falham em realizar atribuição de crédito ao nível de sequência, frequentemente levando à convergência subótima.

Metodologia: DistIL

Os autores propõem o DistIL (Aprendizado de Imitação Distribucional), uma variante distribucional do clássico algoritmo DAgger adaptada para aprendizado por reforço com feedback rico.

Objetivo Central

O DistIL otimiza uma perda de entropia cruzada direta (forward cross-entropy) entre a política estudante ($\pi_\theta$) e a política do professor condicionada ao feedback ($\pi_T$) nos estados visitados pelo estudante:
$$\mathcal{L}_{\text{DistIL}}(\theta) := \mathbb{E}_{x \sim \rho, y \sim \pi_\theta(\cdot|x)} \left[ \sum_{t=1}^H H_\times(\pi_T(\cdot | s_t), \pi_\theta(\cdot | s_t)) \right]$$
onde $H_\times(p, q) = -\mathbb{E}_{y \sim p}[\log q(y)]$ é a entropia cruzada direta. Crucialmente, o professor $\pi_T$ é condicionado ao feedback rico $f$ (ex: logs de execução ou verdade fundamental), mas permanece fixo durante a atualização do estudante.

Gradiente e Atribuição de Crédito

Ao contrário de métodos de autodestilação on-policy anteriores que aproximam gradientes usando apenas discrepâncias locais de token (efetivamente congelando a distribuição de estado), o DistIL utiliza gradientes completos. O gradiente se decompõe em dois termos:

1. Imitação Local: Um termo ponderado pelo professor que atualiza o estudante para corresponder à distribuição do professor no estado atual.
2. Atribuição de Crédito Consciente do Futuro: Um termo que propaga o desacordo da entropia cruzada observado em passos de tempo futuros de volta para decisões anteriores. Isso garante que escolhas de tokens iniciais que influenciam a trajetória para um estado com alto desacordo entre professor e estudante recebam o crédito ou a penalidade apropriados.
   O algoritmo suporta professores de caixa preta (modelos externos ou especialistas humanos), pois não requer acesso às probabilidades de log do professor, apenas amostras ou a capacidade de estimar o objetivo.

Principais Contribuições

1. Limitações Teóricas de Métodos Existentes

O artigo fornece provas formais demonstrando que objetivos de autodestilação on-policy baseados em $f$-divergências (incluindo KL reversa e Jensen-Shannon) sofrem de dois problemas fundamentais:

• Sem Garantia de Melhoria Monotônica: Mesmo que o professor tenha uma recompensa esperada estritamente superior à do estudante, minimizar uma $f$-divergência não garante que um passo de gradiente natural aumentará a recompensa esperada do estudante. A direção da atualização pode inadvertidamente aumentar a probabilidade de ações subótimas devido à ponderação por razões de log.
• Convergência Subótima via Aproximação Local: Ao ignorar o termo de "crédito futuro" (o impacto das ações atuais nas distribuições de estados futuros), aproximações de gradiente local podem convergir para políticas estritamente subótimas. Os autores provam que, em MDPs simples de dois passos, atualizações locais podem falhar em atribuir crédito a decisões iniciais que são cruciais para alcançar estados de alta recompensa.

2. Garantias Teóricas do DistIL

Demonstra-se que o DistIL possui propriedades que alinham a otimização com a maximização da recompensa:

• Melhoria Monotônica da Política: Sob suposições padrão de realizabilidade local, o objetivo de entropia cruzada direta garante que mover-se em direção a um professor melhor aumenta a recompensa esperada do estudante.
• Limites de Regret (Arrependimento): O algoritmo admite um limite de regret sublinear, com taxas de convergência dependentes dos coeficientes de concentrabilidade e da variância do professor.
• Otimização de Pass@N: O objetivo é provado para maximizar um limite inferior da verossimilhança do sucesso ponderada pelo professor. Isso fornece uma explicação fundamentada para o porquê do DistIL melhorar as métricas Pass@N (a probabilidade de gerar pelo menos uma resposta correta em $N$ amostras) para todos os $N$.

3. Desempenho Empírico

O DistIL foi avaliado em três domínios:

• Raciocínio Científico: No SciKnowEval (Química, Física, Biologia, Ciência dos Materiais), o DistIL superou o SDPO, o GRPO (on-policy e off-policy) e alcançou pontuações mais altas de Best@16 e Maj@16. Notavelmente, o DistIL mostrou um treinamento estável, enquanto o SDPO exibiu oscilações significativas e colapso de desempenho em certos domínios.
• Codificação: No LiveCodeBench, utilizando traços de execução como feedback, o DistIL superou o SDPO e o GRPO tanto em correção exata quanto em acurácia parcial.
• Raciocínio Matemático Difícil: Em problemas desafiadores (AIME, HMMT) onde o modelo base tem uma taxa de acerto zero, os métodos de RLVR (GRPO) falharam devido a sinais de vantagem nulos. O DistIL utilizou com sucesso soluções de verdade fundamental para melhorar o desempenho, superando as linhas de base de autodestilação (SDPO, OPSD) e SFT.

Significância e Alegações

O artigo afirma que o DistIL preenche a lacuna entre o aprendizado por imitação e o aprendizado por reforço ao fornecer um framework teoricamente fundamentado para aprender com feedback rico. Sua significância reside em:

1. Correção do Objetivo: Afastando-se da minimização de $f$-divergência (que pode estar desalinhada com a recompensa) para a entropia cruzada direta, que garante melhoria monotônica quando o professor é melhor.
2. Habilitação de Aprendizado ao Nível de Sequência: Ao utilizar gradientes completos, o DistIL resolve o problema de atribuição de crédito inerente ao raciocínio de longo horizonte, garantindo que decisões iniciais sejam avaliadas com base em suas consequências subsequentes.
3. Robustez Prática: O método funciona com professores de caixa preta e diversos tipos de feedback (desde correção binária até logs de execução), tornando-o aplicável a uma gama mais ampla de tarefas de raciocínio do que o RLVR padrão.

Os autores concluem que a combinação de um objetivo alinhado à recompensa e uma atribuição de crédito consciente do futuro é essencial para destilar efetivamente o feedback rico em modelos de raciocínio, levando a ganhos empíricos consistentes sobre as linhas de base de estado da arte.