Resumo Técnico: DynaCF – Mitigando o Aprendizado de Atalhos em Modelos de Recompensa via Sensibilidade Contrafactual Dinâmica

1. Definição do Problema

Os modelos de recompensa (RMs) são centrais para alinhar Grandes Modelos de Linguagem (LLMs) com as preferências humanas, sendo tipicamente treinados usando dados de preferência pareada através do objetivo de Bradley–Terry. No entanto, esses modelos frequentemente exploram o aprendizado de atalhos (shortcut learning), baseando-se em pistas superficiais (ex: comprimento da resposta, formatação, verbosidade ou expressões de modelo/template) em vez de uma qualidade genuína relevante à tarefa.

Um desafio crítico identificado é que o risco de atalho não é uma propriedade estática do conjunto de dados. Um par de preferência pode parecer benigno inicialmente, mas pode se tornar sensível a atalhos se a fronteira de decisão do modelo depender fortemente de características superficiais para manter sua margem de recompensa. Por outro lado, uma amostra que parece depender de atalhos pode ser robusta se a preferência do modelo permanecer estável quando essas propriedades superficiais forem neutralizadas. As estratégias de mitigação existentes dependem frequentemente de heurísticas estáticas ou características superficiais predefinidas, falhando em considerar a natureza dinâmica de como um modelo específico aprende atalhos durante diferentes estáros de treinamento.

2. Metodologia: DynaCF

Os autores propõem o DynaCF (Sensibilidade Contrafactual Dinâmica), um framework que diagnostica e repondera dinamicamente as amostras de treinamento com base na sensibilidade do modelo de recompensa atual a perturbações superficiais.

Mecanismo Central

O DynaCF opera construindo variantes contrafactuais que preservam a semântica da resposta "escolhida" ($y^+$), mantendo o prompt ($x$) e a resposta "rejeitada" ($y^-$) fixos. Essas variantes neutralizam propriedades superficiais (formatação, tom, verbosidade) sem alterar o conteúdo central relevante à tarefa.

O processo envolve três etapas principais:

1. Construção Contrafactual:

   • Para cada amostra, o sistema gera contrafactuais válidos ($y^{cf}_{i,k}$) usando regras conscientes do domínio (ex: remover cabeçalhos Markdown, neutralizar o tom, encurtar a verbosidade).
   • Verificações rigorosas de validade garantem que o contrafactual preserve o conteúdo semântico principal (via limiares de sobreposição de tokens) e, para domínios de matemática/código, retenha todos os números e estruturas lógicas.

2. Diagnóstico de Sensibilidade:

   • O modelo de recompensa atual $R_\theta$ avalia tanto o par original quanto os pares contrafactuais.
   • O sistema calcula a margem de recompensa ($m$) para os pares originais e contrafactuais.
   • Pontuação de Sensibilidade ($s_{cf,i}$): Computada com base na magnitude da mudança de margem ($\Delta$) e na frequência de inversões de preferência (onde a resposta escolhida contrafactual recebe uma recompensa menor do que a rejeitada).
   • Uma pontuação de sensibilidade alta indica que a preferência do modelo é instável e provavelmente impulsionada por pistas superficiais em vez de qualidade real.

3. Reponderação Dinâmica:

   • Em vez de deletar amostras ou tratar contrafactuais como novos rótulos, o DynaCF converte a pontuação de sensibilidade em um peso de amostra local ao passo ($w_i$) para a perda de Bradley–Terry original.
   • O peso é definido como $w_i(t) = \max(w_{min}, 1 - \gamma \cdot s_{cf,i}(t))$, onde $\gamma$ controla a força de redução de peso e $w_{min}$ evita a remoção completa.
   • Amostras com alta sensibilidade a atalhos são penalizadas (menor peso), reduzindo sua influência nas atualizações de gradiente, enquanto amostras de baixa sensibilidade mantêm o peso total.
   • Este processo é realizado online durante a otimização, permitindo que os pesos se adaptem conforme o comportamento do modelo evolui.

3. Principais Contribuições

• Diagnóstico Dinâmico: O artigo introduz um método para diagnosticar a dependência de atalhos dinamicamente durante o treinamento, reconhecendo que a sensibilidade ao atalho é dependente do modelo e do estágio, em vez de uma propriedade estática do conjunto de dados.
• Sondagem Contrafactual: Utiliza contrafactuais que preservam a semântica como sondas diagnósticas para medir a estabilidade das margens de recompensa sob perturbações de superfície apenas.
• Framework de Reponderação: O DynaCF propõe uma estratégia de reponderação inovadora que suprime atualizações de amostras sensíveis a atalhos sem descartar dados ou alterar a distribuição de preferência.
• Validação Empírica: O framework é validado em múltiplos benchmarks (RM-Bench, RewardBench, RewardBench2) e escalas de modelos (Qwen3-4B e Qwen3-8B).

4. Resultados Experimentais

Experimentos demonstram que o DynaCF melhora consistentemente a robustez dos modelos de recompensa em comparação ao treinamento padrão de Bradley–Terry:

• Raciocínio Difícil & Segurança: Os ganhos mais significativos são observados nos divisões "Hard" (Difíceis) e avaliações de segurança, onde pistas superficiais são indicadores pobres de qualidade.
  • No RM-Bench Hard, o DynaCF melhorou o Qwen3-4B em +8,7 pontos (41,3% $\to$ 50,0%) e o Qwen3-8B em +4,6 pontos (49,8% $\to$ 54,4%).
  • Em métricas de Segurança, o Qwen3-4B obteve ganhos de +8,2 no RM-Bench e +4,0 no RewardBench.
• Escala do Modelo: Modelos menores (Qwen3-4B) beneficiaram-se de forma mais consistente em todos os benchmarks, sugerindo que são mais vulneráveis ao aprendizado de atalhos e, portanto, ganham mais com a reponderação dinâmica.
• Estudos de Ablação:
  • Dinâmico vs. Estático: Pontuações de sensibilidade estáticas computadas antes do treinamento tiveram desempenho inferior ao baseline, confirmando que as estimativas de sensibilidade devem ser atualizadas online para serem eficazes.
  • Uso de Contrafactuais: Usar contrafactuais apenas como sondas diagnósticas (sem adicionar uma perda auxiliar) superou variantes que tratavam os contrafactuais como rótulos de preferência adicionais.
  • Hiperparâmetros: Uma força de reponderação moderada ($\gamma$) e um período curto de warmup produziram os melhores equilíbrios, evitando que estimativas ruidosas iniciais distorcessem o objetivo.

5. Significância e Alegações

O artigo afirma que o DynaCF oferece uma solução robusta para o problema de reward hacking (manipulação de recompensa) e sobre-otimização causada pelo aprendizado de atalhos. Ao mudar da filtragem estática para uma reponderação dinâmica e consciente do modelo, o método incentiva os modelos de recompensa a depender de sinais de preferência relevantes à tarefa em vez de padrões superficiais.

Os autores enfatizam que esta abordagem:

• Melhora a generalização em tarefas difíceis e sensíveis à segurança.
• Não requer o descarte de dados ou mudanças arquitetônicas complexas.
• Fornece uma ferramenta de diagnóstico para entender como modelos específicos aprendem atalhos em diferentes estágios de treinamento.

6. Limitações

Os autores reconhecem diversas limitações:

• Qualidade do Contrafactual: A eficácia depende da qualidade da construção de contrafactuais baseada em regras, que pode ocasionalmente alterar informações úteis ou falhar em remover totalmente as pistas visadas.
• Escopo: Os experimentos são limitados a modelos de recompensa baseados em texto e benchmarks; a aplicabilidade a modelos de recompensa multimodais ou de processo não foi testada.
• Escopo de Sondagem: Atualmente, a sondagem contrafactual é aplicada apenas às respostas escolhidas; as respostas rejeitadas também podem conter pistas de atalhos.
• Dinâmica de Treinamento: A relação entre a reponderação de atalhos, a capacidade do modelo e a dinâmica de treinamento requer mais exploração.