Native Multilingual Chain-of-Thought Reasoning in Low-Resource Southeast Asian Languages

Stel je een wereld voor waarin je favoriete videogamepersonage alleen Engels kan spreken, ongeacht welke taal jij spreekt. Als je een vraag in het Spaans stelt, begrijpt het personage de woorden wel, maar zodra hij begint uit te leggen, schakelt hij plotseling terug naar het Engels voor de moeilijke denkstukken. Dit is niet zomaar een glitch; het is een grote hindernis in de wereld van Kunstmatige Intelligentie, specifiek voor "Large Language Models" (LLM's). Dit zijn de superintelligente computerbreinen die verhalen kunnen schrijven, wiskundige problemen kunnen oplossen en met ons kunnen chatten. Om echt goed te worden in het oplossen van complexe puzzels, gebruiken ze een truc genaamd "Chain-of-Thought", wat lijkt op het fluisteren van hun stapsgewijze denkproces naar zichzelf voordat ze het uiteindelijke antwoord geven. Het probleem is dat voor veel talen over de hele wereld—vooral die met minder digitale middelen, zoals die in Zuidoost-Azië—deze AI-breinen de neiging hebben om te "collapsen" en hun gedachten in het Engels te fluisteren, zelfs als je hen vraagt om in het Thais, Vietnamees of Indonesisch na te denken. Dit zorgt ervoor dat de AI minder aanvoelt als een behulpzame lokale vriend en meer als een verre, alleen Engels sprekende tutor, wat een groot probleem is voor onderwijs en eerlijkheid.

Hier komen onderzoekers Sean Gip Lim, William Chandra Tjhi en Hai Leong Chieu kijken, die besloten een brug te bouwen voor deze AI-breinen. Ze creëerden een slimme trainingsmethode genaamd OSCD (Onramp-Sequence Cross-Distillation). Denk aan een tweetalige coach die niet alleen het uiteindelijke antwoord vertaalt, maar ook de interne "denknotities" van de AI in de lokale taal herschrijft terwijl de juiste oplossing intact blijft. Normaal gesproken, wanneer je een AI een nieuwe taal probeert te leren, raakt het in de war en vergeet het hoe slim te zijn in de oorspronkelijke taal (een probleem dat "catastrophic forgetting" wordt genoemd). Maar deze nieuwe methode gebruikt een speciale "vertaler-agent" om de denkstappen te verwisselen en een "semantische lijm" om ervoor te zorgen dat het brein van de AI de logica nog steeds begrijpt, alleen in een andere taal.

De onderzoekers testten dit op enkele van de moeilijkste wiskundepuzzels die beschikbaar zijn, zoals de AIME25 en HMMT25-wedstrijden, die lijken op de Olympische Spelen voor wiskundeproblemen. Ze namen krachtige AI-modellen die geweldig waren in Engelse wiskunde maar slecht waren in het denken in Zuidoost-Aziatische talen, en gaven ze een korte, intense trainingssessie met slechts 70.000 voorbeelden (wat piepklein is vergeleken met de miljoenen die normaal nodig zijn). De resultaten waren indrukwekkend: de modellen werden niet alleen beter in het beantwoorden van de vragen; ze begonnen ook daadwerkelijk te denken in de lokale talen. Sterker nog, de modellen verbeterden hun vermogen om deze wiskundeproblemen op te lossen terwijl ze in de doeltaal bleven met wel 3,2 keer. Nog spannender is dat ze dit voor elkaar kregen zonder hun oorspronkelijke Engelse slimheid te verliezen. De studie suggereert dat we door dit gebruik te maken van deze "vertaler-agent" en de "semantische lijm", AI eindelijk het vermogen kunnen geven om natuurlijk te redeneren in talen die achtergesteld zijn, waardoor geavanceerde technologie toegankelijk wordt voor iedereen, niet alleen voor Engelstaligen.