Resumo Técnico: ACPO – Otimização de Política de Crédito Adaptativa via Entropia de Substituição de Grão Fino

1. Declaração do Problema

O Aprendizado por Reforço (RL) tem aprimado significativamente as capacidades de raciocínio dos Grandes Modelos de Linguagem (LLMs), particularmente em domínios com objetivos verificáveis, como matemática e programação. No entanto, um gargalo crítico permanece: recompensas de resultado esparsas. Em RL padrão com Recompensas Verificáveis (RLVR), uma recompensa escalar é tipicamente disponível apenas ao final de uma longa trajetória de Cadeia de Pensamento (CoT).

Métodos escaláveis existentes, como o Group Relative Policy Optimization (GRPO), atribuem essa recompensa de nível de trajetória de forma uniforme a todos os tokens. Essa atribuição "indiscriminada" ignora as contribuições variáveis de cada etapa de raciocínio, levando a alta variância e instabilidade. Embora abordagens recentes conscientes da entropia tentem abordar isso usando a incerteza do token como um proxy para importância, elas enfrentam duas limitações primárias:

1. Heurísticas Grossas: Métodos que dependem de "baldes rígidos" (por exemplo, tratar os 20% de tokens com maior entropia uniformemente) carecem da granularidade necessária para o raciocínio complexo.
2. Desajuste de Otimização: Otimizar diretamente a entropia real introduz componentes de gradiente não locais (atuando sobre a distribuição de todo o vocabulário) que podem não se alinhar com as atualizações de política de tokens amostrados. Além disso, a entropia real é sensível ao ruído na cauda longa do vocabulário, mesmo quando desconectada (detached).

2. Metodologia: Otimização de Política de Crédito Adaptativa (ACPO)

O ACPO propõe um framework de atribuição de crédito ao nível de token que modula dinamicamente as atualizações de política com base em uma entropia de substituição local ao modo.

2.1 Insight Central: Picos de Entropia em Erros

A análise empírica em tarefas de raciocínio matemático (AIME) revela um padrão distinto: quando um modelo comete um erro de raciocínio, a entropia condicional passo a passo da trajetória incorreta apresenta um pico acentuado e permanece elevado, enquanto trajetórias corretas mantem uma entropia baixa e estável. Isso sugere que a incerteza é um sinal forte para identificar pontos críticos de "bifurcação" no raciocínio.

2.2 Formulação da Entropia de Substituição

Para evitar o desajuste de otimização da entropia real, o ACPO introduz uma entropia de substituição ($\delta_{i,t}$), definida como a probabilidade complementar do modo dominante:
$$\delta_{i,t}(\theta) = 1 - \pi_\theta(v^*_{i,t} | q, y_{i,<t})$$
onde $v^*_{i,t}$ é o token com a maior probabilidade.

• Foco Local ao Modo: Ao contrário da entropia de todo o vocabulário, $\delta$ foca exclusivamente na confiança do modelo em sua previsão mais provável.
• Comportamento do Gradiente: Sob a suposição de "alinhamento modal" (onde o token amostrado frequentemente coincide com o modo dominante), o gradiente de $\delta$ atua localmente no modo dominante em vez de toda a distribuição. Isso preserva a direção pretendida do gradiente de política enquanto modula a magnitude da atualização.
• Limites Teóricos: O artigo prova que esta substituição admite limites determinísticos em relação à entropia de Shannon real, fornecendo uma aproximação robusta sob distribuições de LLM de massa concentrada.

2.3 Atribuição de Crédito Assimétrica

O ACPO integra esta entropia de substituição em um esquema de ponderação assimétrica para a estimativa de vantagem ($\hat{A}_{i,t}$), distinguindo entre trajetórias bem-sucedidas e falhas:

1. Trajetórias de Vantagem Positiva (Sucesso):

   • Objetivo: Reforçar decisões incertas, porém corretas.
   • Mecanismo: O peso é escalonado por $(2 + \delta_{i,t})$.
   • Racional: Alta incerteza em um rollout bem-sucedido indica um passo de raciocínio crítico sobre o qual o modelo estava incerto, mas acertou; esses passos devem ser enfatizados. O offset constante '2' garante que o fator de modulação permaneça positivo, evitando a reversão do gradiente.

2. Trajetórias de Não-Vantagem Positiva (Falha):

   • Objetivo: Penalizar erros excessivamente confiantes enquanto reduz o ruído proveniente da incerteza pós-erro.
   • Mecanismo: O peso é escalonado por $(1 - \delta_{i,t})$.
   • Racional: Trajetórias incorretas frequentemente contêm erros de baixa incerteza (excesso de confiança) seguidos por ruído de alta entropia. O ACPO atribui penalidades maiores aos tokens confiantes (errôneos) e penalidades menores aos tokens incertos subsequentes, efetivamente "limpando" o sinal de crédito.

A função objetivo final $J_{ACPO}$ combina estes pesos assimétricos com o mecanismo padrão de portão suave (soft-gating) do SAPO.

3. Principais Contribuições

1. Atribuição de Crédito Adaptativa de Grão Fino: Um esquema de ponderação ao nível de token que modula dinamicamente as estimativas de vantagem, tratando trajetórias positivas e não-positivas de forma assimétrica para enfatizar sucessos incertos e penalizar falhas excessivamente confiantes.
2. Formulação de Entropia de Substituição: Um proxy de incerteza local ao modo que evita o desajuste de otimização da entropia real. Ele fornece limites determinísticos de entropia e preserva a direção do gradiente de política sob alinhamento modal e atualizações proximais.
3. Eficácia Empírica: Validação em três modelos base (Qwen2.5-Math-7B, DeepSeek-R1-Distill, Qwen3-8B-Base) em benchmarks competitivos de raciocínio, demonstrando melhorias consistentes sobre fortes baselines.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks de raciocínio matemático (AIME 2024/2025, MATH500, HMMT25, BeyondAIME) e um benchmark de codificação (HumanEvalPro).

• Performance: O ACPO superou consistentemente fortes baselines de RL, incluindo GRPO, DAPO, GTPO e SAPO.
  • No Qwen2.5-Math-7B, o ACPO alcançou uma pontuação média de 34.04, superando o SAPO (31.53) e o GTPO (31.89).
  • No DeepSeek-R1-Distill-Qwen-7B, o ACPO atingiu 40.21, superando significativamente o próximo melhor baseline, o SAPO (38.35).
• Dinâmica de Treinamento: Comparado ao SAPO, o ACPO demonstrou uma melhoria mais rápida na recompensa de treinamento e na acurácia de validação nas fases iniciais. Nas fases posteriores, manteve uma acurácia de validação mais alta, indicando melhor estabilidade de treinamento e um teto de performance superior.
• Estudos de Ablação:
  • O design assimétrico $(2+\delta, 1-\delta)$ provou ser superior às variantes simétricas ou ao uso de entropia real desconectada (detached).
  • O uso do modo dominante top-1 (entropia de substituição) foi mais eficaz do que a entropia real desconectada ou variantes top-$k$, confirmando que a incerteza do modo dominante é um proxy conciso e eficaz para bifurcações de raciocínio.

5. Significância e Alegações

O artigo afirma que o ACPO aborda o "gargalo de atribuição de crédito" fundamental no RL de recompensa esparsa para LLMs sem exigir modelos de recompensa de processo (PRMs) caros ou anotação humana. Ao substituir a atribuição de recompensa uniforme e grosseira por um mecanismo de consciência de entropia de grão fino, o ACPO permite que os modelos aprendam de forma mais eficaz a partir de sinais de resultado.

Os autores enfatizam que sua abordagem é fundamentada teoricamente na observação de que a entropia real introduz gradientes não locais, enquanto sua substituição local ao modo se alinha com as atualizações de tokens amostrados. Os resultados sugerem que tratar passos bem-sucedidos incertos e falhas excessivamente confiantes de forma distinta é crucial para estabilizar e acelerar o treinamento de RL em tarefas de raciocínio. O método é apresentado como uma melhoria escalável e "plug-and-play" sobre os frameworks atuais baseados em GRPO.