Training with Pseudo-Code for Instruction Following

Dit paper introduceert een trainingsmethode waarbij LLM's worden gefinetuned met instructies die zijn aangevuld met pseudo-code, wat leidt tot aanzienlijke verbeteringen in het volgen van instructies en redeneertaken zonder de prestaties op andere gebieden te schaden.

De kern

Stel je voor dat je een zeer slimme, maar soms wat verwarde assistent hebt. Je noemt hem "AI". Je geeft hem een opdracht, bijvoorbeeld: "Schrijf een verhaal over een kat, maar gebruik geen komma's en begin elke zin met een hoofdletter."

Helaas, deze AI is vaak te druk met het begrijpen van de woorden in je zin, dat hij de structuur van je opdracht vergeet. Hij schrijft misschien een mooi verhaal, maar vergeet de "geen komma's" regel of begint een zin met een kleine letter. Het is alsof je iemand vraagt om een taart te bakken, en hij doet het, maar vergeet de oven aan te zetten of gebruikt zout in plaats van suiker, omdat hij de instructies niet stap-voor-stap heeft gevolgd.

De onderzoekers van dit paper hebben een slimme oplossing bedacht: Laten we de AI leren om eerst in "computer-taal" te denken voordat hij antwoordt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Grote Verwarring"

Grote AI-modellen zijn fantastisch in het praten, maar soms slecht in het volgen van complexe regels. Als je zegt: "Doe A, dan B, en zorg dat C niet gebeurt," raakt de AI soms de draad kwijt. Het is als een kok die een recept leest, maar halverwege de pan verbrandt omdat hij de volgorde van de stappen niet goed in zijn hoofd had.

2. De Oplossing: De "Schets" (Pseudo-code)

In plaats van de AI direct te laten antwoorden, trainen ze hem om eerst een schets te maken. Denk aan een architect die niet direct begint met bouwen, maar eerst een plattegrond tekent.

• Normaal: Je vraagt de AI: "Maak een lijst van 3 dieren." De AI denkt: "Oké, dieren..." en schrijft er een paar op.
• Met deze nieuwe methode: De AI denkt eerst: "Oké, ik moet een functie maken die heet maak_lijst. Die functie moet 3 keer een dier kiezen en ze in een lijst zetten. Geen komma's, alleen punten."

Deze "schets" noemen ze pseudo-code. Het is geen echte programmeertaal die een computer direct uitvoert, maar het ziet er wel zo uit. Het dwingt de AI om zijn gedachten te ordenen in logische blokken: Eerst dit, dan dat, en vergeet die regel niet.

3. De Training: Oefenen met de Schets

De onderzoekers hebben de AI niet gewoon verteld "denk in schetsen". Ze hebben hem getraind met duizenden voorbeelden.

• Ze gaven de AI een opdracht.
• Ze lieten de AI eerst de "schets" (pseudo-code) schrijven.
• Daarna liet de AI het echte antwoord zien.

Het is alsof je een student leert wiskunde. Je zegt niet alleen: "Het antwoord is 10." Je zegt: "Schrijf eerst de formule op (de schets), en pas daarna het antwoord." Door dit te doen, leert de AI dat de structuur van de opdracht net zo belangrijk is als het antwoord zelf.

4. Waarom is dit zo slim?

• Geen extra werk voor jou: Jij, de gebruiker, hoeft geen computercode te leren. Je geeft gewoon je normale opdracht in het Nederlands. De AI doet het "denken in schetsen" vanzelf in zijn hoofd (of beter gezegd: in de eerste regels van zijn antwoord).
• Minder fouten: Omdat de AI eerst de regels in zijn "schets" heeft vastgelegd, vergeet hij ze minder vaak. Het is alsof hij een checklist heeft voordat hij begint.
• Beter in moeilijke taken: Het werkt vooral goed bij opdrachten met veel regels (bijvoorbeeld: "Schrijf een verhaal, maar gebruik geen woorden met de letter 'e', en maak het 100 woorden lang"). De "schets" helpt de AI om die regels niet uit het oog te verliezen.

5. Het Resultaat

De onderzoekers hebben dit getest op twaalf verschillende taken, van wiskunde tot logische puzzels.

• De AI's die deze methode leerden, volgden instructies 8% tot 21% beter dan AI's die dit niet leerden.
• Ze werden niet dommer in andere dingen (zoals wiskunde of alledaagse kennis); ze werden juist soms zelfs slimmer.

Samenvattend

Stel je voor dat je een zeer getalenteerde, maar wat ongeduldige assistent hebt. In plaats van hem direct te laten werken, leer je hem eerst een bouwtekening te maken. Hij tekent de stappen op: "Eerst de muren, dan het dak, en vergeet de ramen niet."

Door deze gewoonte aan te leren, maakt hij veel minder fouten, houdt hij zich beter aan de regels, en levert hij een veel betere "taart" op. En het beste van alles? Jij hoeft alleen maar te vragen, en hij doet de rest.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Training with Pseudo-Code for Instruction Following" in het Nederlands:

Probleemstelling

Ondanks de snelle vooruitgang in de capaciteiten van Large Language Models (LLMs), worstelen deze modellen nog steeds met het volgen van relatief eenvoudige en eenduidige instructies, vooral wanneer deze een compositional structuur hebben (bijv. geneste instructies, meerdere beperkingen of complexe volgorde). Bestaande methoden om dit op te lossen, zoals het gebruik van pseudo-code tijdens de inferentie (inference-time prompting), hebben praktische beperkingen:

• Het schrijven van pseudo-code is tijdrovend en niet intuïtief voor niet-expert gebruikers.
• Few-shot demonstraties met code zijn vaak fragiel.
• Benaderingen zoals Chain-of-Code vereisen externe code-uitvoering of emulatie, wat de implementatie bemoeilijkt.

Het doel van dit onderzoek is om een trainingsbenadering te ontwikkelen die LLMs beter leert om instructies te volgen zonder afhankelijk te zijn van complexe inferentie-strategieën of externe tools.

Methodologie

De auteurs stellen een trainings-tijd benadering voor waarbij LLMs worden gefinetuned op instructie-tuning data die is verrijkt met pseudo-code representaties van natuurlijke taal-instructies.

1. Data Constructie Pipeline:
Omdat het handmatig schrijven van pseudo-code voor grote datasets te duur is, ontwikkelen de auteurs een geautomatiseerde pipeline bestaande uit drie fasen:

• Generate: Een krachtig LLM (Mixtral-8x7B) wordt gebruikt met een 1-shot prompt (gebaseerd op handgeschreven voorbeelden) om een pseudo-code programma te genereren dat de natuurlijke taal-instructie omschrijft.
• Evaluate: Het gegenereerde pseudo-code programma wordt gebruikt om de inferentie te draaien. Het resultaat wordt vergeleken met de ground-truth output van de originele natuurlijke taal-instructie.
• Repair: Als het pseudo-code resultaat fout is, maar de natuurlijke taal-instructie wel correct werkt, wordt een LLM-judge ingeschakeld om feedback te geven en het pseudo-code programma te verbeteren. Dit proces wordt iteratief herhaald om de kwaliteit te verhogen.

2. Training Setup:

• De modellen worden getraind om eerst de instructie in pseudo-code te herschrijven en vervolgens het antwoord te genereren.
• De training data bestaat uit paren van: [Natuurlijke Taal Instructie] -> [Pseudo-code Representatie] + [Antwoord].
• Er wordt gebruikgemaakt van een mix van datasets uit de Tulu v2 verzameling (o.a. Code Alpaca, SNI v2, WizardLM, CoT).
• Er wordt bewust geen Chain-of-Thought (CoT) redenering in de pseudo-code zelf opgenomen; de focus ligt puur op het structureren van de instructie.

3. Geëvalueerde Modellen:
Het onderzoek omvat zes base-modellen (7-8B parameters), waaronder Llama 3.1, Mistral, Qwen2.5, Granite (IBM) en Olmo.

Belangrijkste Bijdragen

1. Trainings-tijd Integratie: Een nieuwe methode om instructie-following te verbeteren door modellen te leren instructies te vertalen naar een gestructureerde pseudo-code tussenstap tijdens het trainingsproces, zonder inferentie-time prompting nodig te hebben.
2. Schaalbare Data Pipeline: Een geautomatiseerd "generate-evaluate-repair" systeem dat hoge kwaliteit pseudo-code supervisie genereert voor bestaande instructie-datasets.
3. Uitgebreide Evaluatie: Een robuuste evaluatie over zes base-modellen en twaalf benchmarks, die aantoont dat deze methode prestaties verbetert op instructie-following zonder in te leveren op andere vaardigheden.

Resultaten

De resultaten tonen aanzienlijke verbeteringen aan op verschillende fronten:

• Instructie-Following: Modellen getraind met pseudo-code (PC) presteren significant beter dan hun tegenhangers getraind met alleen natuurlijke taal (NL). Er wordt een relatieve winst van 8% tot 21% behaald op benchmarks zoals IFEval, KCIF, ComplexBench en FollowBench.
  • Specifiek: PC-modellen zijn beter in het hanteren van geneste instructies, compositional constraints (en/chain/selectie) en distractors (instructies die geen invloed mogen hebben).
• Redenering en Wiskunde: De prestaties op wiskundige taken (GSM8K, MathQA) en commonsense redenering (ARC, HellaSwag, PiQA) worden grotendeels behouden of zelfs verbeterd (gemiddeld tot 30% winst over alle benchmarks).
• Code Taken: Ondanks dat de training alleen gericht was op instructie-structuur en niet op oplossingsstappen, verbeteren de modellen ook op code-generatie taken (HumanEvalPack), wat suggereert dat het structureren van instructies in code-vorm ook de code-reasoning ten goede komt.
• Vergelijking met Inferentie-time: De getrainde modellen presteren beter dan baselines die gebruikmaken van inference-time code prompting (zoals voorgesteld door Puerto et al., 2024), wat aantoont dat het in het model "inbranden" van deze vaardigheid effectiever is dan het gebruik van few-shot voorbeelden tijdens het gebruik.

Significantie en Toekomstperspectief

Dit paper biedt een krachtige en schaalbare oplossing voor een fundamenteel probleem in LLM's: het volgen van complexe instructies.

• Gebruiksgemak: Voor de eindgebruiker is de interactie identiek aan standaard natuurlijke taal; het model voert intern de "pseudo-code" stap uit zonder dat de gebruiker dit hoeft te specificeren.
• Efficiëntie: Het elimineert de noodzaak voor externe code-emulators of complexe prompting-strategieën tijdens het gebruik.
• Toekomst: De auteurs suggereren dat hybride benaderingen (combinatie van NL en pseudo-code) of het toepassen van deze techniek op grotere modellen en pre-training verdere verbeteringen kunnen opleveren. Ook wordt er gewezen op potentie voor toepassingen in tool-calling en multi-turn dialogen.

Kortom, het trainen van LLM's om instructies eerst te vertalen naar een gestructureerde pseudo-code vorm, resulteert in robuustere modellen die complexere taken nauwkeuriger uitvoeren, terwijl ze hun algemene redeneervermogen behouden.