Reinforcement Learning with Semantic Rewards Enables Low-Resource Language Expansion without Alignment Tax

Technische Samenvatting: Versterkend Leren met Semantische Beloningen voor Uitbreiding naar Taalbronnen met Beperkte Data

1. Probleemstelling

De uitbreiding van Large Language Models (LLM's) naar talen met beperkte data gaat vaak gepaard met een "alignementbelasting": verbeteringen in de doeltaal komen ten koste van catastrofale vergetelheid in algemene capaciteiten (bijvoorbeeld prestaties in talen met veel data). De auteurs stellen dat deze afweging voortkomt uit de rigiditeit van Supervised Fine-Tuning (SFT). SFT vertrouwt op teacher-forced, token-level likelihood-maximalisatie op smalle, vertekende data-distributies. Dit dwingt imitatie van oppervlaktevormen af, wat leidt tot overmoedige parameter-updates die representatieve capaciteit agressief herverdelen, waardoor vooringestelde kennis wordt verstoord en algemene competentie verslechtert.

2. Methodologie: Alignement in de Semantische Ruimte

Het artikel stelt een paradigma-shift voor van token-level distributiematching naar alignement in de semantische ruimte, waarbij behoud van betekenis prioriteit krijgt boven rigide imitatie van oppervlaktevormen. Dit wordt geoperationaliseerd via een tweestaps trainingsframework aangedreven door Group Relative Policy Optimization (GRPO).

Tweestaps Trainingsparadigma:

1. Cold-Start SFT: Een lichtgewicht supervised fine-tuning-stap (5.000 voorbeelden, 2 epochen) wordt uitgevoerd om minimale output-competentie in de doeltaal op te zetten (bijvoorbeeld correct gebruik van het schrift en basisconsistentie). Dit zorgt ervoor dat het model niet-degenererende output kan genereren voordat versterkend leren begint.
2. Versterkend Leren met Semantische Beloningen: Startend vanuit het cold-start-beleid ondergaat het model GRPO-optimatie. In plaats van token-level likelihood wordt het model geoptimaliseerd met embedding-level semantische beloningen.
   • Doel: Het model verkent diverse linguïstische realisaties die semantische equivalentie behouden ten opzichte van referentieteksten, in plaats van specifieke token-sequenties na te bootsen.
   • Stabiliteit: GRPO integreert trust-region-beperkingen (via relatieve vergelijkingen binnen een bemonsterde groep kandidaten) om beleidsdrift te beperken, waardoor destructieve interferentie met vooringestelde representaties wordt voorkomen.

Ontwerp van Beloningen:
De beloningsfunctie $R(y, y^*)$ combineert twee componenten:

• Semantische Similariteit ($R_{sim}$): Berekend met cosinus-similariteit tussen zins-embeddings van de gegenereerde output $y$ en de referentie $y^*$, afgeleid van een tweetalig embedding-model (aangepast van CINO/XLM-R). Een threshold-and-rescale-vormgevingsfunctie wordt toegepast om het leren te focussen op betekenisvolle verbeteringen boven minimale toereikendheid.
• Taalconsistentie ($R_{lang}$): Een op regels gebaseerde harde beperking (met gebruik van Unicode-bereiken en regex) die output met gemengde talen of afwijkende talen bestraft, zodat optimalisatie strikt binnen de ruimte van de doeltaal met beperkte data blijft.

3. Belangrijkste Bijdragen

• Paradigma van Alignement in de Semantische Ruimte: De auteurs stellen voor om behoud van betekenis te ontkoppelen van imitatie van oppervlaktevormen door gebruik te maken van GRPO met embedding-level beloningen.
• Mitigatie van Alignementbelasting: De aanpak toont aan dat aanzienlijke winsten voor talen met beperkte data kunnen worden behaald terwijl de verslechtering van algemene capaciteiten (alignementbelasting) die typisch wordt gezien bij SFT, vrijwel wordt geëlimineerd.
• Superieure Semantische Kwaliteit: De methode produceert output die semantisch superieur is en door LLM-beoordelaars wordt verkiest boven SFT-baselines, zelfs wanneer n-gram-overlap (BLEU/ROUGE) lager is.
• Overdraagbare Representaties: Het artikel valideert dat semantisch RL robuustere en overdraagbaardere representaties oplevert, wat blijkt uit sterkere few-shot generalisatie naar downstream-taken in vergelijking met supervisiete methoden.

4. Experimentele Resultaten

De aanpak werd geëvalueerd op Tibetaans-Chinese Machinevertaling (MT) en Tibetaanse Koptekstgeneratie (HG).

• Takenprestatie versus Alignementbelasting:
  • Machinevertaling: Hoewel sterke SFT hogere referentie-gebaseerde BLEU-scores behaalde (0,6006 versus 0,4519 voor RL), leed het aan een aanzienlijke alignementbelasting, met een daling van de CMRC (Chinese leesbegrip)-scores met ongeveer 5,15 punten. Daarentegen behield de RL-methode algemene capaciteiten (CMRC-scores verbeterden of bleven stabiel) terwijl het een hoge semantische similariteit bereikte.
  • Koptekstgeneratie: RL bereikte vergelijkbaar behoud van algemene capaciteiten als SFT, maar werd door LLM-beoordelaars verkiest in 51,2% van de paarwijze vergelijkingen versus 35,1% voor SFT, ondanks lagere ROUGE-L-scores.
• Few-Shot Transfer: In een transfer-test van MT naar HG (met slechts 1.000 HG-voorbeelden) bereikte het RL-geïnitialiseerde model een hogere semantische similariteit (0,5690 versus 0,5456) dan het SFT-geïnitialiseerde model, wat aangeeft dat RL meer generaliseerbare, semantisch onderbouwde kenmerken leert in plaats van taakspecifieke oppervlaktepatronen.
• Beloningsablatie: Experimenten bevestigden dat het combineren van embedding-similariteit met taalconsistentie cruciaal is. Het toevoegen van op BLEU gebaseerde beloningen verzwakte de prestaties en bracht de rigiditeit van token-level matching terug.

5. Betekenis en Claims

Het artikel stelt dat Versterkend Leren met Semantische Beloningen een veiligere en betrouwbaardere weg biedt voor inclusieve uitbreiding naar talen met beperkte data. Door het alignementdoel te verschuiven van distributiematching naar betekenisgericht alignement, stelt de methode modellen in staat nieuwe linguïstische capaciteiten te verwerven zonder de destructieve interferentie die typisch is voor onbeperkte likelihood-maximalisatie.

De auteurs concluderen dat dit paradigma een schaalbare oplossing biedt voor het uitbreiden van LLM's naar slecht ondersteunde talen onder omstandigheden van datatekort, en effectief de spanning oplost tussen taakanpassing en behoud van algemene competentie. De studie suggereert dat referentie-gebaseerde metrieken vaak falen in het vastleggen van ware semantische kwaliteit in settings met beperkte data, en dat alignement in de semantische ruimte menselijke voorkeuren en overdraagbaarheid beter vastlegt.