Resumo Técnico: CROCO – Ajuste de Preferência Contrastiva Cross-Lingual em Auto-Gerações

Declaração do Problema

Alinhar Modelos de Linguagem de Grande Escala (LLMs) com preferências humanas é uma etapa final crítica do pós-treinamento, tipicamente alcançada via Otimização de Preferência Direta (DPO). Embora avanços recentes tenham demonstrado que o DPO pode ser aplicado a amostras auto-geradas (usando um modelo de recompensa para pontuar as próprias saídas da política) em vez de anotações humanas, esses métodos foram estabelecidos exclusivamente em inglês.

Estender isso para um cenário multilíngue apresenta desafios significativos. Trabalhos anteriores de alinhamento de preferências multilíngues dependem de sinais baseados em tradução, exploram lacunas de capacidade entre o inglês e outras linguagens como recompensas implícitas, ou reponderam perdas para pares ruidosos. No entanto, permanece uma questão em aberto se o mecanismo específico de ajuste de preferência contrastiva em auto-gerações — onde pares de preferência são construídos com base em pontuações de recompensa relativas dentro de uma distribuição — transfere-se entre linguagens sem anotações de preferência específicas de cada língua. Além disso, não está claro se um modelo de recompensa (RM) treinado exclusivamente em preferências em inglês pode classificar efetivamente respostas em outras linguagens para impulsionar o alinhamento multilíngue.

Metodologia: CROCO

Os autores propõem o CROCO (Ajuste de Preferência Contrastiva Cross-Lingual em Auto-Gerações), um framework que estende a construção de preferência de "ponto ideal" (Xiao et al., 2025) para múltiplas linguagens.

Mecanismo Central

1. Auto-Geração: Para um dado prompt $x$ em uma língua alvo $\ell$, o modelo de política $\pi_\theta$ gera $K$ respostas candidatas ($Y_x$).
2. Pontuação de Recompensa: Um Modelo de Recompensa (RM) externo, pronto para uso, pontua essas respostas. Crucialmente, o RM é treinado em preferências em inglês, mas construído sobre uma base multilíngue (ex: Qwen3-8B).
3. Construção de Pares Contrastivos: Em vez de emparelhar a resposta com a maior pontuação com a absolutamente mais baixa, o método seleciona um "ponto ideal" para induzir contrastividade controlada:
   • Escolhida ($y_c$): A resposta com a recompensa máxima.
   • Rejeitada ($y_r$): A resposta cuja recompensa está mais próxima de $\mu_x - 2\sigma_x$ (onde $\mu$ e $\sigma$ são a média e o desvio padrão da distribuição de recompensa para aquele prompt).
4. Treinamento: O modelo é ajustado finamente usando DPO nesses pares construídos. Os autores avaliam dois regimes:
   • Monolinguístico: Ajuste independentemente em dados para cada língua.
   • Multilíngue: Ajuste conjunto na união de dados em todas as linguagens.

Configuração Experimental

• Modelos: Dois modelos de escalas diferentes foram testados: EuroLLM-9B (9B parâmetros) e aya-3B (3B parâmetros).
• Dados: 20.000 instâncias de ajuste de instrução do corpus Dolci-Instruct-SFT foram traduzidas para seis linguagens europeias (dinamarquês, holandês, francês, alemão, italiano, espanhol) usando TranslateGemma-27B.
• Modelo de Recompensa: Skywork-Reward-V2-Qwen3-8B, um RM treinado em preferências em inglês com base multilíngue.
• Baselines: Ajuste Fino Supervisionado (SFT) padrão em dados traduzidos, SFT apenas nas respostas mais recompensadas (Max-R), e métodos existentes de ajuste de preferência multilíngue (ICR, MAPO).

Contribuições Principais

1. Transferência Cross-Lingual do Ajuste Contrastivo: O artigo demonstra que o ajuste de preferência contrastiva em auto-gerações transfere-se efetivamente entre linguagens. O DPO em auto-gerações emparelhadas supera as baselines de SFT e métodos multilíngues existentes, enquanto o SFT padrão em dados traduzidos causa esquecimento catastrófico.
2. Eliminação de Anotação Específica de Língua: O estudo mostra que o ajuste de preferência multilíngue não requer anotações de preferência específicas de cada língua. Um RM apenas em inglês (sobre uma base multilíngue) produz classificações consistentes dentro da língua que impulsionam ganhos na maioria das linguagens.
3. Robustez em Escalas e Tarefas: O método melhora o desempenho tanto em tarefas estruturadas (EuroEval) quanto em geração aberta (m-ArenaHard 2.1). Ele iguala ou supera o modelo base em 6/7 linguagens para EuroLLM-9B e 4/7 para aya-3B em tarefas estruturadas, e vence contra o base em todas as 11 linguagens avaliadas em geração aberta.
4. Insights de Ablação:
   • Necessidade de Dados On-Policy: Os ganhos requerem dados on-policy. Respostas off-policy (geradas por um modelo diferente) reduzem os benefícios, e a otimização de preferência online falha em melhorar sobre a variante offline ao usar um RM externo.
   • Língua do Prompt: A língua do prompt deve corresponder à língua da resposta escolhida para desempenho ótimo.
   • Utilidade da Tradução: Embora o SFT degrade com dados traduzidos, o sinal contrastivo no DPO permanece informativo mesmo quando a tradução adiciona ruído, pois depende de lacunas de recompensa relativas em vez de alvos absolutos.

Resultados

• EuroEval (Tarefas Estruturadas):
  • Falha do SFT: Tanto o SFT monolinguístico quanto o multilíngue em dados traduzidos causaram esquecimento catastrófico, com quedas de desempenho variando de 0,1 a 11,3 pontos.
  • Sucesso do DPO: O DPO emparelhado foi não-negativo em 12/14 configurações para aya-3B e melhorou a baseline em 10/14 configurações para EuroLLM-9B. O maior ganho foi de +3,6 pontos para EuroLLM-9B em italiano (monolinguístico).
  • Comparação: O DPO emparelhado foi o único método que permaneceu não-negativo em média em todas as linguagens, superando ICR e MAPO, que frequentemente degradaram o desempenho.
• m-ArenaHard 2.1 (Geração Aberta):
  • O DPO emparelhado alcançou taxas de vitória controladas por comprimento (LC) entre 54,5% e 58,4% contra a base EuroLLM-9B em todas as 7 linguagens.
  • Para aya-3B, as taxas de vitória LC variaram de 55,5% a 66,3%, com ganhos de dois dígitos na maioria das linguagens.
  • O método estreitou com sucesso a lacuna de desempenho entre os modelos base e modelos de referência maiores (Gemma3-12B e Gemma3-4B) na maioria das linguagens.
• Generalização: O método generalizou positivamente para linguagens não vistas (norueguês, português, sueco) no EuroEval, enquanto o SFT multilíngue degradou o desempenho em todos os conjuntos de dados não vistos.

Significado e Alegações

O artigo alega que o CROCO fornece uma direção promissora para o ajuste de preferência multilíngue, demonstrando que a lacuna de recompensa relativa é um sinal robusto que transfere-se entre linguagens, mesmo quando o modelo de recompensa é treinado exclusivamente em preferências em inglês.

Os autores postulam que a dependência do objetivo do DPO na ordenação relativa de respostas emparelhadas (em vez de calibração absoluta) permite que ele tolere ruído de tradução e má calibração cross-lingual. Essa descoberta sugere que alinhamento multilíngue de alta qualidade pode ser alcançado sem o custo proibitivo de anotação de preferência por língua, desde que auto-gerações on-policy sejam usadas para construir pares contrastivos.

O trabalho destaca que dados on-policy são um componente crítico, pois o sinal contrastivo é apenas informativo quando as respostas emparelhadas originam-se da própria distribuição da política. Além disso, estabelece que o DPO offline com um modelo de recompensa fixo é superior ao DPO online neste cenário, pois este último cria um ciclo de feedback que amplifica vieses do modelo de recompensa em vez de aprender preferências genuínas.

Em última análise, o artigo argumenta que um único modelo de recompensa treinado em inglês, quando aplicado a dados multilíngues auto-gerados via construção de pares contrastivos, é suficiente para impulsionar melhorias consistentes em diversas linguagens e escalas de modelos, evitando o esquecimento catastrófico associado ao ajuste fino supervisionado padrão.