Iterative In-Context Learning to Enhance LLMs Abstract Reasoning: The Case-Study of Algebraic Tasks

Dit paper introduceert een iteratieve in-context learning-methode met geselecteerde voorbeelden die de generalisatievermogen van grote taalmodellen verbetert bij abstracte algebraïsche taken, waarbij blijkt dat eenvoudigere voorbeelden soms effectiever zijn dan complexere.

De kern

🧠 De "Reken-Reparatie": Hoe we AI helpen om slim te denken

Stel je voor dat je een zeer intelligente robot hebt die alles kan lezen en schrijven. Hij kent alle boeken ter wereld. Maar als je hem een heel simpel rekensommetje geeft dat net even anders is dan wat hij in zijn boeken heeft gelezen, faalt hij. Hij denkt: "Oh, dit is een som, dus ik doe wat ik altijd doe," terwijl hij eigenlijk een nieuwe regel moet volgen.

Dit is precies het probleem dat deze onderzoekers van de Universiteit van Padua en andere instellingen hebben onderzocht. Ze wilden weten: Hoe kunnen we een AI helpen om echt na te denken over nieuwe, vreemde regels, in plaats van alleen maar te gissen?

1. Het Probleem: De "Oude Gewoonte"

De AI (Large Language Models of LLM's) is getraind op de wereld zoals die is. In de echte wereld geldt: vermenigvuldigen gaat altijd voor optellen.

• Voorbeeld: 3 + 2 * 4.
• AI denkt: 2 * 4 = 8, dan 3 + 8 = 11. (Dit is correct volgens de standaard).

Maar in dit onderzoek gaven ze de AI een nieuwe, gekke regel: "Vandaag is optellen belangrijker dan vermenigvuldigen!"

• De som is nog steeds: 3 + 2 * 4.
• De AI moet nu denken: 3 + 2 = 5, dan 5 * 4 = 20.

De AI faalt hier vaak op. Hij blijft vastzitten in zijn oude gewoontes. Het is alsof je iemand vraagt om met je linkerhand te schrijven, terwijl hij al 20 jaar met zijn rechterhand heeft getraind.

2. De Oplossing: De "Slimme Leraar"

De onderzoekers bedachten een nieuwe manier om de AI te trainen, zonder hem opnieuw te programmeren. Ze noemen dit Iterative In-Context Learning.

Stel je voor dat je een student bent die een moeilijke toets moet maken.

• De oude manier: Je krijgt een boekje met 50 voorbeelden van sommen die je al kent. Je probeert de nieuwe som te maken. Je faalt.
• De nieuwe manier (van dit onderzoek):
  1. Je probeert een som. Je maakt een fout.
  2. De "Leraar" (de computer) kijkt naar je fout.
  3. De Leraar pakt precies die fout en maakt er een voorbeeld van: "Kijk hier, je deed dit verkeerd. Hier is hoe je het stap voor stap moet doen."
  4. Deze nieuwe, verbeterde voorbeelden worden aan de volgende vraag toegevoegd.

Dit is als een tutor die alleen kijkt naar waar je vastloopt. In plaats van je 50 willekeurige voorbeelden te geven, geeft hij je de juiste voorbeelden die je net hebt gemist. Zo leer je sneller.

3. Het Grote Geheim: Makkelijke Voorbeelden werken beter!

Het meest verrassende wat ze ontdekten, is een beetje tegenintuïtief.

Je zou denken: "Om een moeilijke som op te lossen, heb ik moeilijke voorbeelden nodig."
Maar de onderzoekers ontdekten dat de AI beter presteerde als ze hem makkelijke voorbeelden gaven (zoals sommen met maar één haakje), in plaats van moeilijke, complexe voorbeelden.

De Analogie:
Stel je voor dat je een marathonloper bent die een steile berg moet beklimmen.

• Als je traint met andere steile bergen (moeilijke voorbeelden), raak je misschien uitgeput of raak je in paniek.
• Als je traint met een vlak stukje gras (makkelijke voorbeelden) en je leert daar de techniek van het lopen, kun je die techniek veel makkelijker toepassen op de steile berg.

De AI leerde de regels beter door te kijken naar simpele voorbeelden, en kon die regels dan toepassen op de moeilijke taken.

4. Wat hebben ze bewezen?

Ze hebben dit getest met verschillende AI-modellen (zoals Gemini en DeepSeek) en 5 verschillende sets met wiskundige puzzels.

• Resultaat: Zonder hulp faalden de AI's vaak.
• Met hun methode: De AI's werden veel slimmer. Ze konden de gekke regels volgen.
• De les: Het helpt niet om de AI te vullen met meer informatie. Het helpt om de AI te vullen met de juiste informatie: voorbeelden van fouten die zijn gecorrigeerd, en soms zelfs voorbeelden die makkelijker zijn dan de uiteindelijke taak.

Conclusie

Deze studie laat zien dat AI's soms "stug" zijn en vastlopen in oude patronen. Maar als we ze op een slimme manier uitleggen waar ze fout gaan (net als een goede leraar), en we gebruiken simpele voorbeelden om de basis te leggen, kunnen ze verrassend goed omgaan met nieuwe, abstracte regels.

Het is alsof we de AI niet hoeven te herschrijven, maar alleen hoeven te leren hoe ze moet leren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Iterative In-Context Learning to Enhance LLMs Abstract Reasoning: The Case-Study of Algebraic Tasks" in het Nederlands.

Probleemstelling

Grote Taalmodellen (LLMs) vertonen opmerkelijke prestaties in diverse NLP-taken, maar missen vaak het vermogen tot systematische en compositieve generalisatie. Ze presteren goed wanneer testdata lijkt op trainingsdata, maar falen vaak bij het toepassen van regels op uit-distributie (out-of-distribution) voorbeelden of bij het hanteren van nieuwe, niet-standaard logische structuren.

Specifiek richt dit paper zich op wiskundig redeneren. Traditionele benchmarks evalueren vaak basisrekenkunde of specifieke wiskundige modellen. Dit paper onderzoekt echter de beperkingen van "vanilla" (algemene) LLMs bij het vereenvoudigen van algebraïsche uitdrukkingen waarbij de operator-prioriteit is omgekeerd: in plaats van dat vermenigvuldiging voorafgaat aan optelling (standaard), moet optelling eerst worden uitgevoerd. Deze taak vereist dat het model zijn vooraf getrainde wiskundige priors moet overschrijven en strikt nieuwe regels moet toepassen, wat een strenge test is voor systematisch redeneren.

Methodologie: Iteratieve In-Context Learning

De auteurs stellen een nieuwe iteratieve few-shot prompting-strategie voor om de generalisatiecapaciteiten van LLMs te verbeteren. De aanpak bestaat uit twee fasen:

1. Iteratieve Synthese van Shots (Few-shot Synthesis):

   • In plaats van willekeurige voorbeelden te kiezen, gebruikt de methode een feedbacklus. Een "Prompt Agent" queryt het LLM met een dataset van calibratie-expressies.
   • Als het LLM het juiste antwoord geeft, wordt er geen shot gegenereerd.
   • Cruciaal: Als het LLM een fout maakt, genereert de agent een nieuw shot dat bestaat uit de originele expressie en de correcte, stap-voor-stap oplossing (Chain-of-Thought) volgens de niet-standaard regels.
   • Deze foutgedreven selectie zorgt ervoor dat de set van few-shot voorbeelden (shots) zich focust op de zwakke punten van het model en geleidelijk complexere of edge-cases omvat. Dit simuleert een curriculum learning-achtig proces waarbij het model leert van zijn eigen fouten.

2. Evaluatie (Few-shot Prompting):

   • De gegenereerde set van shots (maximaal 10, gebaseerd op verzadigingspunten in de experimenten) wordt gebruikt om het LLM te prompten voor de daadwerkelijke testtaken.
   • De auteurs testen verschillende prompt-formaten (PV1: lijstformaat, PV2: tekstregels) en shot-selectiestrategieën:
     • Random: Willekeurige shots uit dezelfde distributie als de testdata.
     • IS (Iterative Selection): Shots geselecteerd via de iteratieve methode binnen dezelfde distributie.
     • ISe (Iterative Selection easy): Shots geselecteerd via de iteratieve methode, maar getrokken uit een eenvoudigere dataset (out-of-distribution ten opzichte van de testdata).

Experimenteel Opzet

• Datasets: Er zijn 5 synthetische datasets gegenereerd met toenemende moeilijkheidsgraad, gecontroleerd door twee parameters: diepte (aantal geneste haakjes) en complexiteit (aantal operatoren in subexpressies).
• Modellen: Geëvalueerd op vier modellen:
  • Gemini 2.0 Flash (GMN2.0) en Gemini 2.0 Flash Thinking (GMN2.0-R).
  • DeepSeek Chat (DS-C) en DeepSeek Reasoner (DS-R).
• Taken: Vereenvoudiging van algebraïsche expressies met de omgekeerde prioriteit (optelling vóór vermenigvuldiging).

Belangrijkste Resultaten

1. Beperkte Basale Vaardigheden: Zelfs geavanceerde LLMs presteren slecht op deze niet-standaard wiskundige taken in een zero-shot setting, wat aantoont dat ze moeite hebben met het overschrijven van getrainde priors.
2. Effectiviteit van Iteratieve Selectie: De voorgestelde iteratieve shot-selectie (IS) verbetert de prestaties aanzienlijk ten opzichte van willekeurige few-shot prompting.
3. De "Eenvoudige Shots" Paradox (Belangrijkste Inzicht):
   • De resultaten tonen aan dat modellen vaak beter presteren wanneer ze worden getraind met shots die afkomstig zijn van een eenvoudigere dataset (ISe) dan met shots die complex zijn en overeenkomen met de testdistributie.
   • Dit suggereert dat het leren van fundamentele regels via eenvoudige voorbeelden een sterkere generalisatie naar complexe uit-distributie taken mogelijk maakt dan het blootstellen aan complexe voorbeelden die het model misschien niet volledig begrijpt.
4. Verzadigingseffect: De prestaties stabiliseren rond de 10 shots. Het toevoegen van meer dan 50 shots leidt tot afnemende meerwaarde of zelfs prestatiedalingen, waarschijnlijk door cognitieve overbelasting van het model.
5. Rol van Redeneringsmodules: Modellen met een expliciet redeneringsmodule (zoals GMN2.0-R en DS-R) presteren over het algemeen beter, maar zijn ook gevoeliger voor de keuze van de prompt en de shots. Toch kunnen basismodellen (zoals GMN2.0) door slimme shot-selectie (ISe) de prestaties van de zwaardere redeneringsmodellen benaderen.

Bijdragen

1. Nieuwe Strategie: Een innovatieve, iteratieve, foutgedreven methode voor het synthetiseren van compacte sets van in-context voorbeelden die fungeren als een "training" voor de prompt.
2. Synthetische Datasets: De creatie en publicatie van 5 synthetische datasets voor algebraïsche expressies met niet-standaard operatorvolgorde, specifiek ontworpen om systematische generalisatie te testen.
3. Empirisch Bewijs: Het aantonen dat LLMs beperkingen hebben bij wiskundig redeneren buiten hun trainingsdistributie, en dat deze beperkingen kunnen worden verzacht door het gebruik van eenvoudige, iteratief geselecteerde voorbeelden in plaats van complexe, willekeurige voorbeelden.
4. Open Source: Het vrijgeven van alle datasets, prompts, scripts en shot-sets om reproduceerbaarheid en verder onderzoek te faciliteren.

Betekenis en Toekomstperspectief

Dit onderzoek onderstreept dat de huidige generatie LLMs kwetsbaar is voor systematische generalisatie in abstracte domeinen. De voorgestelde methode biedt een lichtgewicht, computerefficiënt alternatief voor het opnieuw trainen van modellen, waarbij de kwaliteit van de voorbeelden (gebaseerd op fouten en eenvoud) belangrijker is dan de kwantiteit.

De bevindingen dat eenvoudige voorbeelden beter generaliseren naar complexe taken, hebben grote implicaties voor het ontwerp van prompt-engineering en curriculum learning. Toekomstig werk richt zich op het uitbreiden naar complexere wiskundige structuren (zoals matrices en polynomen), het integreren van soft constraints via fine-tuning, en het toepassen van deze methoden op hogere niveaus van wiskundige taken zoals het oplossen van vergelijkingen en het genereren van bewijzen.