AdaR: A Framework for Equipping LLMs with Adaptive Reasoning
Het AdaR-framework verbetert de robuustheid en generalisatie van het wiskundig redeneren van grote taalmodellen door ze te trainen met Reinforcement Learning op automatisch gesynthetiseerde, logisch equivalente queries om schijncorrelaties te bestraffen en adaptief redeneren te stimuleren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het uitgestrekte landschap van kunstmatige intelligentie zijn grote taalmodellen opgekomen als krachtige hulpmiddelen die in staat zijn om complexe problemen op te lossen, van het schrijven van poëzie tot het debuggen van code. Onder hun meest indrukwekkende prestaties is wiskundig redeneren, waarbij deze systemen een vraag ontleden in een reeks logische stappen om tot een oplossing te komen. Jarenlang hebben onderzoekers deze vaardigheid gevierd, uitgaande van de veronderstelling dat wanneer een model een probleem correct oplost, het ook werkelijk de logica erachter begrijpt. Een nadere blik onthult echter een problematisch gebrek: veel van deze modellen zijn eigenlijk niet aan het redeneren door het probleem. In plaats daarvan zijn ze vaak patronen uit hun trainingsdata aan het memoriseren. Ze leren specifieke getallen of zinsneden te associëren met bepaalde antwoorden, net als een student die het antwoordmodel voor een oefentoets uit het hoofd leert zonder de onderliggende wiskunde te begrijpen. Wanneer de toets licht verandert — wanneer de getallen anders zijn of de bewoording is aangepast — struikelen deze modellen vaak, omdat ze niet kunnen adapteren omdat hun "redeneren" nooit echt was.
Dit is de centrale uitdaging die wordt aangepakt door een nieuwe studie van onderzoekers van Nanjing University en Meituan, die een framework genaamd AdaR hebben ontwikkeld om machines te leren hoe ze adaptief kunnen denken. Het team ontdekte dat de kern van het probleem ligt in wat zij "spuriële redenering" noemen. Dit gebeurt wanneer een model vertrouwt op oppervlakkige verbindingen, zoals de specifieke waarde van een getal in een vraag, in plaats van op de structurele logica van het probleem zelf. Om dit te illustreren: stel je een model voor dat getraind is om een probleem op te lossen waarbij een getal tot de macht drie wordt verheven. Als de trainingsdata altijd het getal 3 gebruikten, zou het model simpelweg "tot de macht drie verheffen" kunnen outputten zodra het een vermenigvuldigingsprobleem ziet, ongeacht de werkelijke getallen die betrokken zijn. Als het probleem verandert en een ander getal betreft, faalt het model omdat het nooit de regel van het kwadrateren heeft geleerd; het heeft alleen geleerd het patroon van het getal 3 te herkennen. De onderzoekers ontdekten dat zelfs geavanceerde modellen, die briljant presteren op standaardtests, lijden onder deze broosheid en niet in staat zijn hun vaardigheden te generaliseren naar nieuwe, licht afwijkende scenario's.
Om dit op te lossen, creëerden de onderzoekers een systeem dat het model dwingt om de logica te leren in plaats van de getallen. Ze begonnen met het nemen van bestaande wiskundige problemen en braken deze af tot hun kernstructuur, of sjabloon. Vervolgens gebruikten ze een computerprogramma om automatisch duizenden nieuwe versies van deze problemen te genereren door de specifieke getallen te veranderen, terwijl de logische stappen exact hetzelfde bleven. Cruciaal was dat ze niet alleen een taalmodel vroegen om de nieuwe antwoorden te raden; ze schreven uitvoerbare code om de juiste antwoorden met absolute zekerheid te berekenen. Dit garandeerde dat elk nieuw probleem dat ze creëerden geldig was en een geverifieerde oplossing had. Vervolgens onderwierpen ze hun modellen aan een rigoureus trainingsproces met behulp van deze nieuwe, gevarieerde problemen. In plaats van het model simpelweg het juiste antwoord te tonen, gebruikten ze een methode die het model alleen beloonde wanneer het de gehele set van gevarieerde problemen correct kon oplossen. Als het model vertrouwde op memorische patronen, zou het falen op de nieuwe getallen en een straf krijgen. Als het de werkelijke logica leerde, zou het succesvol zijn over alle variaties en een beloning ontvangen.
De resultaten van deze aanpak waren opmerkelijk. Wanneer getest op zowel bekende als volledig nieuwe soorten wiskundige problemen, vertoonden de modellen die getraind waren met dit adaptieve framework significante verbeteringen. Gemiddeld steeg hun prestatie met meer dan acht punten vergeleken met andere methoden, een substantiële winst in de wereld van kunstmatige intelligentie. Belangrijker nog, de modellen werden veel robuuster. Ze konden omgaan met veranderingen in de getallen van een probleem zonder in te storten, wat bewees dat ze de onderliggende regels hadden geleerd in plaats van slechts specifieke voorbeelden te memoriseren. De onderzoekers observeerden ook een verandering in hoe de modellen "denken". Vóór deze training hadden de modellen de neiging om zich te concentreren op de specifieke getallen in een vraag, waarbij ze de structuur negeerden. Na de training verschoof hun aandacht naar de structuur van het probleem zelf, waardoor ze onbekende variabelen met dezelfde logische zorgzaamheid konden behandelen als bekende getallen. Deze verschuiving suggereert dat de modellen een vorm van algebraïsch denken ontwikkelden, waarbij ze problemen behandelen als systemen van relaties in plaats van lijsten met feiten om te onthouden.
De studie onderzocht ook hoe verschillende soorten veranderingen het leerproces beïnvloedden. Ze ontdekten dat het veranderen van de getallen in de problemen veel effectiever was bij het leren van het model om te redeneren dan het simpelweg anders formuleren van de vragen. Dit geeft aan dat de sleutel tot adaptief redeneren het blootstellen van het model aan een grote verscheidenheid aan numerieke scenario's is, waardoor het gedwongen wordt om op logica te vertrouwen om de verschillen te navigeren. De onderzoekers merkten op dat hoewel de methode goed werkte, het ook beperkingen had; het vereiste dat de problemen oplosbaar waren door een computerprogramma, wat betekende dat het het beste geschikt was voor wiskunde- en logica-taken in plaats van meer abstracte velden zoals het bewijzen van complexe stellingen. Bovendien hing het succes van de methode af van het feit dat het model al over een solide basis van wiskundige kennis beschikte. Het systeem kon niet vanuit het niets redeneren aanleren aan een model dat niets wist; het kon alleen het redeneren verfijnen van een model dat al over de basisbouwstenen beschikte.
Uiteindelijk biedt dit werk een duidelijk pad voorwaarts om kunstmatige intelligentie betrouwbaarder te maken. Door weg te bewegen van eenvoudige memorisering naar adaptief redeneren, hebben de onderzoekers aangetoond dat het mogelijk is om modellen te bouwen die met het onverwachte om kunnen gaan. De bevindingen suggereren dat de toekomst van intelligente systemen niet alleen ligt in het groter of sneller maken van hen, maar in het leren begrijpen van de regels die de wereld beheersen, in plaats van alleen de specifieke voorbeelden die ze eerder hebben gezien. Naarmate deze modellen meer geïntegreerd raken in ons dagelijks leven, van het oplossen van financiële vergelijkingen tot het plannen van complexe logistiek, zal het vermogen om te adapteren aan nieuwe informatie zonder te falen essentieel zijn. Het AdaR-framework biedt een blauwdruk voor het bereiken hiervan, waarbij het breekbare, patroonherkennende machines transformeert in flexibele, logische denkers die in staat zijn om door een wereld te navigeren die voortdurend verandert.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.