Language Chain in Alignment: Cross-Lingual Ranking Preference Optimization

Grote taalmodellen zijn de motoren achter de moderne kunstmatige intelligentie, in staat om verhalen te schrijven, problemen op te lossen en vragen te beantwoorden op een manier die menselijke conversatie nabootst. Om deze systemen werkelijk nuttig te laten zijn, moeten ze niet alleen begrijpen wat een persoon vraat, maar ook reageren op een manier die aansluit bij menselijke waarden en verwachtingen. Dit proces, bekend als alignment (afstemming), houdt meestal in dat het model duizenden voorbeelden van goede en slechte antwoorden krijgt te zien, zodat het kan leren de behulpzame antwoorden te verkiezen. Er is echter een aanzienlijk probleem ontstaan: hoewel deze modellen uitzonderlijk goed zijn in het volgen van deze regels in het Engels, struikelen ze vaak wanneer ze in andere talen hetzelfde moeten doen. Wanneer een gebruiker een vraag stelt in het Koreaans, Indonesisch of Swahili, kan het model in het Engels antwoorden, of kan het een reactie genereren die grammaticaal correct is maar onzinnig of onbehulpzaam. Deze kloof laat miljarden mensen zonder toegang tot het volledige potentieel van deze hulpmiddelen, wat een wereld creëert waarin hoogwaardige AI-assistentie een voorrecht is dat primair is voorbehouden aan Engelstaligen.

Onderzoekers aan de Korea University hebben een nieuwe methode ontwikkeld om deze kloof te overbruggen, waardoor modellen kunnen leren van hun sterktes in het Engels en die wijsheid kunnen toepassen op andere talen. Hun aanpak, genaamd Cross-Lingual Ranking Preference Optimization, of CRPO, behandelt taalverwerving niet als een reeks geïsoleerde lessen, maar als een verbonden keten. In plaats van een model simpelweg te leren om het beste antwoord in één taal en het beste antwoord in een andere taal afzonderlijk te kiezen, creëert de methode een gestructureerde hiërarchie die ze met elkaar verbindt. Stel je een leraar voor die weet dat een leerling uitblinkt in wiskunde in het Engels, maar moeite heeft met wiskunde in het Frans; in plaats van de twee vakken vanaf nul te onderwijzen, gebruikt de leraar de sterke Engelse wiskundievaardigheden van de leerling als gids om hem de Franse concepten te helpen begrijpen. Op vergelijkbare wijze gebruikt CRPO het robuuste begrip van het model over wat een goed antwoord in het Engels maakt om het gedrag in andere talen te sturen, waardoor wordt gewaarborgd dat de kwaliteit van de reactie hoog blijft, ongeacht de gebruikte taal.

De kerninnovatie ligt in de manier waarop het model wordt getraind om antwoorden te vergelijken. Traditionele methoden kijken vaak naar slechts twee opties tegelijkertijd: een goed antwoord en een slecht antwoord. Deze binaire benadering werkt goed voor het Engels, maar slaagt er niet in de complexiteit te vatten die nodig is wanneer meerdere talen betrokken zijn. De nieuwe methode breidt dit zicht uit door vier opties tegelijkertijd te bekijken: een goed antwoord in de doeltaal, een slecht antwoord in de doeltaal, een goed antwoord in het Engels en een slecht antwoord in het Engels. De onderzoekers ontwierpen een specifiek rankingsysteem waarbij het model wordt geleerd om een goed antwoord in de doeltaal het hoogst te waarderen, gevolgd door een goed antwoord in het Engels, dan een slecht antwoord in de doeltaal, en tot slot een slecht antwoord in het Engels. Deze structuur dwingt het model te beseffen dat hoewel het spreken van de juiste taal belangrijk is, de kwaliteit van de inhoud er nog belangrijker toe doet. Het leert dat een hoogwaardige reactie in het Engels nog steeds beter is dan een kwalitatief minderwaardige reactie in de doeltaal, maar dat het ultieme doel het produceren van een hoogwaardige reactie in de doeltaal is.

Om dit idee te testen, pasten de onderzoekers de methode toe op drie verschillende grote taalmodellen en trainden ze deze op vijf talen met variërende niveaus van beschikbare data: Chinees, Indonesisch, Koreaans, Swahili en Bengalees. Ze vergeleken hun nieuwe methode met standaardtechnieken die eerder zijn gebruikt om meertalige prestaties te verbeteren. De resultaten toonden een duidelijk en consistent voordeel voor de nieuwe aanpak. In bijna elke test waren de modellen die met deze methode waren getraind beter in het opvolgen van instructies en het verstrekken van nuttige informatie in de doeltalen. Bijvoorbeeld, wanneer ze werden gevraagd vragen in het Swahili of Bengalees te beantwoorden—talen waar data schaars is en modellen meestal moeite mee hebben—produceerde de nieuwe methode aanzienlijk betere resultaten dan de oudere methoden. In sommige gevallen was de verbetering spectaculair, waarbij de modellen winrates tegen de standaard baseline bereikten die de zestig procent overschreden in specifieke configuraties, zoals Swahili met het Llama-3 model, terwijl de oudere methoden vaak niet eens het evenwichtpunt haalden.

De studie keek ook dieper naar waarom deze methode zo goed werkte. Door de interne berekeningen van de modellen te onderzoeken, ontdekten de onderzoekers dat de nieuwe aanpak meer deed dan alleen het onderdrukken van slechte antwoorden; het stimuleerde actief het genereren van goede antwoorden. In veel eerdere pogingen om taalproblemen op te lossen, leerden modellen fouten te vermijden, maar leerden ze niet noodzakelijkerwijs hoe ze hoogwaardige inhoud konden produceren. De nieuwe methode vergrootte echter de waarschijnlijkheid dat het model de best mogelijke reactie kiest terwijl een sterke voorkeur voor de juiste taal behouden blijft. Dit creëerde een stabieler en betrouwbaarder systeem waarbij het model met vertrouwen behulpzame inhoud in een van de ondersteunde talen kon genereren. De onderzoekers controleerden ook of het trainen van het model in deze andere talen de prestaties in het Engels niet schaadde. Ze ontdekten dat de modellen in het Engels zelfs iets beter presteerden, wat suggereert dat de methode het algemene begrip van het model versterkte in plaats van alleen de focus te verschuiven.

Dit werk vormt een belangrijke stap naar het werkelijk mondiaal maken van kunstmatige intelligentie. Door aan te tonen dat de kennis van een model in één taal effectief kan worden overgedragen om de prestaties in een andere taal te verbeteren, hebben de onderzoekers een blauwdruk geleverd voor het bouwen van meer inclusieve AI-systemen. De bevindingen suggereren dat de barrière voor hoogwaardige meertalige AI niet een gebrek aan data is, maar een gebrek aan de juiste trainingsstrategie. Met deze nieuwe aanpak begint de kloof tussen Engelstalige gebruikers en de rest van de wereld te sluiten, wat een toekomst biedt waarin geavanceerde AI-assistentie beschikbaar is voor iedereen, ongeacht de taal die zij spreken. Het succes van deze methode over diverse talen, van veel gesproken talen zoals het Chinees tot minder rijke talen zoals het Swahili, geeft aan dat de oplossing robuust en schaalbaar is, wat de weg vrijmaakt voor een nieuwe generatie taalmodellen die in elke taal even bekwaam zijn als in het Engels.