Technische Samenvatting: CROCO – Cross-Lingual Contrastive Preference Tuning op Zelfgegenereerde Data

Probleemstelling

Het afstemmen van Large Language Models (LLM's) op menselijke voorkeuren is een kritieke laatste fase van post-training, doorgaans bereikt via Direct Preference Optimization (DPO). Hoewel recente vooruitgang heeft aangetoond dat DPO kan worden toegepast op zelfgegenereerde steekproeven (met behulp van een reward model om de eigen outputs van het beleid te scoren) in plaats van menselijke annotaties, zijn deze methoden uitsluitend in het Engels gevestigd.

Het uitbreiden hiervan naar een meertalige setting brengt aanzienlijke uitdagingingen met zich mee. Eerdere werk op het gebied van meertalige voorkeursafstemming vertrouwt op vertaling-gebaseerde signalen, maakt gebruik van capaciteitskloven tussen het Engels en andere talen als impliciete beloningen, of herschikt verliezen voor ruisige paren. Het blijft echter een open vraag of het specifieke mechanisme van contrastieve voorkeurstuning op zelfgeneraties – waarbij voorkeursparen worden geconstrueerd op basis van relatieve beloningsscores binnen een verdeling – overdraagbaar is over talen zonder taal-specifieke voorkeursannotaties. Bovendien is het onduidelijk of een reward model (RM) dat uitsluitend is getraind op Engelse voorkeuren, effectief antwoorden in andere talen kan rangschikken om meertalige afstemming te sturen.

Methodologie: CROCO

De auteurs stellen CROCO (Cross-Lingual Contrastive Preference Tuning on Self-Generations) voor, een kader dat de "sweet spot" voorkeursconstructie (Xiao et al., 2025) uitbreidt naar meerdere talen.

Kernmechanisme

1. Zelfgeneratie: Voor een gegeven prompt $x$ in een doeltaal $\ell$ genereert het beleidsmodel $\pi_\theta$ $K$ kandidaat-antwoorden ($Y_x$).
2. Beloningsscore: Een extern, kant-en-klaar Reward Model (RM) scoort deze antwoorden. Cruciaal is dat het RM is getraind op Engelse voorkeuren maar is gebouwd op een meertalig basismodel (bijv. Qwen3-8B).
3. Constructie van Contrastparen: In plaats van het hoogst-scorende antwoord te koppelen aan het absoluut laagste, selecteert de methode een "sweet spot" om gecontroleerde contrastiviteit te induceren:
   • Gekozen ($y_c$): Het antwoord met de maximale beloning.
   • Verworpen ($y_r$): Het antwoord waarvan de beloning het dichtst bij $\mu_x - 2\sigma_x$ ligt (waarbij $\mu$ en $\sigma$ het gemiddelde en de standaardafwijking zijn van de beloningsverdeling voor die prompt).
4. Training: Het model wordt fijngetuned met DPO op deze geconstrueerde paren. De auteurs evalueren twee regimes:
   • Eentalig: Onafhankelijk tunen op data voor elke taal.
   • Meertalig: Gezamenlijk tunen op de vereniging van data over alle talen.

Experimentele Opstelling

• Modellen: Twee modellen van verschillende schalen werden getest: EuroLLM-9B (9B parameters) en aya-3B (3B parameters).
• Data: 20.000 instructie-tuning instanties uit het Dolci-Instruct-SFT corpus werden vertaald naar zes Europese talen (Deens, Nederlands, Frans, Duits, Italiaans, Spaans) met behulp van TranslateGemma-27B.
• Reward Model: Skywork-Reward-V2-Qwen3-8B, een op Engelse voorkeuren getraind RM met een meertalige basis.
• Basislijnen: Standaard Supervised Fine-Tuning (SFT) op vertaalde data, SFT alleen op de hoogst-beloonde antwoorden (Max-R), en bestaande methoden voor meertalige voorkeurstuning (ICR, MAPO).

Belangrijkste Bijdragen

1. Cross-Lingual Transfer van Contrastieve Tuning: Het paper toont aan dat contrastieve voorkeurstuning op zelfgeneraties effectief overdraagbaar is over talen. DPO op gepaarde zelfgeneraties presteert beter dan SFT-basislijnen en bestaande meertalige methoden, terwijl standaard SFT op vertaalde data leidt tot catastrofaal vergeten.
2. Eliminatie van Taal-specifieke Annotatie: De studie toont aan dat meertalige voorkeurstuning geen taal-specifieke voorkeursannotaties vereist. Een enkel-talig RM (op een meertalige basis) produceert consistente rangschikkingen binnen de taal die winsten drijven in de meeste talen.
3. Robuustheid over Schalen en Taken: De methode verbetert de prestaties op zowel gestructureerde taken (EuroEval) als open-ended generatie (m-ArenaHard 2.1). Het komt overeen met of overtreft het basismodel in 6/7 talen voor EuroLLM-9B en 4/7 voor aya-3B op gestructureerde taken, en wint tegen de basis in alle 11 geëvalueerde talen bij open-ended generatie.
4. Ablatie-insights:
   • Noodzaak van On-Policy: De winsten vereisen on-policy data. Off-policy antwoorden (gegenereerd door een ander model) verminderen de voordelen, en online voorkeursoptimalisatie faalt om te verbeteren ten opzichte van de offline variant bij gebruik van een extern RM.
   • Prompt-taal: De prompt-taal moet overeenkomen met de taal van het gekozen antwoord voor optimale prestaties.
   • Vertalingsnut: Hoewel SFT verslechtert met vertaalde data, blijft het contrastieve signaal in DPO informatief zelfs wanneer vertaling ruis toevoegt, aangezien het vertrouwt op relatieve beloningskloven in plaats van absolute doelen.

Resultaten

• EuroEval (Gestructureerde Taken):
  • SFT-falen: Zowel eentalige als meertalige SFT op vertaalde data veroorzaakten catastrofaal vergeten, met prestatiedalingen variërend van 0,1 tot 11,3 punten.
  • DPO-succes: Gepaarde DPO was niet-negatief in 12/14 instellingen voor aya-3B en verbeterde de basislijn in 10/14 instellingen voor EuroLLM-9B. De grootste winst was +3,6 punten voor EuroLLM-9B in het Italiaans (eentalig).
  • Vergelijking: Gepaarde DPO was de enige methode die gemiddeld over alle talen niet-negatief bleef, en presteerde beter dan ICR en MAPO, die vaak de prestaties verslechterden.
• m-ArenaHard 2.1 (Open-Ended Generatie):
  • Gepaarde DPO behaalde lengte-gereguleerde (LC) winpercentages tussen 54,5% en 58,4% tegen de EuroLLM-9B basis over alle 7 talen.
  • Voor aya-3B varieerden de LC winpercentages van 55,5% tot 66,3%, met twee-cijferige winsten in de meeste talen.
  • De methode slaagde erin de prestatiekloof tussen de basismodellen en grotere referentiemodellen (Gemma3-12B en Gemma3-4B) in de meeste talen te verkleinen.
• Generalisatie: De methode generaliseerde positief naar houd-out talen (Noors, Portugees, Zweeds) in EuroEval, terwijl meertalige SFT de prestaties verslechterde op alle houd-out datasets.

Betekenis en Claims

Het paper stelt dat CROCO een veelbelovende richting biedt voor meertalige voorkeurstuning door aan te tonen dat de relatieve beloningskloof een robuust signaal is dat overdraagbaar is over talen, zelfs wanneer het reward model uitsluitend is getraind op Engelse voorkeuren.

De auteurs stellen dat de afhankelijkheid van het DPO-doel van de relatieve ordening van gepaarde antwoorden (in plaats van absolute kalibratie) het toelaat om vertalingsruis en cross-lingual mis-calibratie te tolereren. Deze bevinding suggereert dat hoogwaardige meertalige afstemming kan worden bereikt zonder de prohibitieve kosten van per-taal voorkeursannotatie, mits on-policy zelfgeneraties worden gebruikt om contrastparen te construeren.

Het werk benadrukt dat on-policy data een kritiek component is, aangezien het contrastieve signaal alleen informatief is wanneer gepaarde antwoorden voortkomen uit de eigen verdeling van het beleid. Bovendien stelt het vast dat offline DPO met een vast reward model superieur is aan online DPO in deze setting, aangezien laatstgenoemde een feedbacklus creëert die bias van het reward model versterkt in plaats van echte voorkeuren te leren.

Uiteindelijk betoogt het paper dat een enkel op het Engels getraind reward model, wanneer toegepast op zelfgegenereerde meertalige data via constructie van contrastparen, voldoende is om consistente verbeteringen te drijven over diverse talen en modelschalen, en het catastrofaal vergeten te vermijden dat geassocieerd is met standaard supervised fine-tuning.