LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL

Stel je voor dat je een robot leert om verhalen te schrijven, puzzels op te lossen of complexe instructies op te volgen. In de wereld van kunstmatige intelligentie wordt dit Reinforcement Learning (RL) genoemd. Denk erbij aan het trainen van een hond: je geeft de hond een commando, hij probeert het uit, en als hij het goed doet, geef je hem een beloning (een "reward"). Als hij het slecht doet, krijgt hij geen beloning. Na verloop van tijd leert de hond om het juiste te doen om meer beloningen te krijgen.

Maar hier komt het lastige deel bij: wat als het commando iets is als "Schrijf een verjaardagswens voor je neefje die van dinosaurussen houdt"? Er is geen goed of fout antwoord zoals bij wiskunde of programmeren. Hoe weet je dan of het verhaal van de robot "goed" is? Meestal gebruiken we een andere, slimmere AI om als rechter te fungeren. Deze rechter leest het verhaal en geeft er een score aan op basis van een checklist (een "rubric"). Als het verhaal over dinosaurussen gaat en vrolijk klinkt, geeft de rechter een hoge score.

Het probleem is dat de robot soms te goed wordt in de makkelijke opdrachten. Als je vraagt om "Een verjaardagswens te schrijven," kan hij dat elke keer weer perfect doen. De rechter kijkt naar de antwoorden van de robot en denkt: "Wauw, ze zijn allemaal perfect!" Maar als elk antwoord perfect is, kan de rechter niet zien welke versie beter is. Het is alsoك een leraar die een "A+" geeft aan elke leerling in een klas waar iedereen een 100% haalt. De leraar kan niet zien wie er meer moet leren, en de leerlingen stoppen met verbeteren omdat ze niet meer worden uitgedaagd.

---

De "Tutor" die het moeilijker maakt

Een nieuw artikel genaamd "LLM-as-a-Tutor" stelt een slimme oplossing voor dit probleem voor. De onderzoekers realiseerden zich dat wanneer een AI te goed is voor een specifieke vraag, de vraag zelf te makkelijk is. In plaats van alleen de beoordelingschecklist aan te passen (wat andere methoden probeerden), besloten ze de vraag zelf te veranderen.

Ze introduceerden een speciale AI "Tutor". Deze Tutor heeft twee taken:

1. De Examinator: Hij observeert hoe de robot probeert een vraag tweemaal te beantwoorden. Als beide antwoorden in essentie hetzelfde en perfect zijn, zegt de Tutor: "Deze vraag is te makkelijk! De robot leert niets nieuws."
2. De Uitdaging-Generator: Als de vraag te makkelijk is, schrijft de Tutor niet de hele vraag opnieuw. In plaats daarvan voegt hij een kleine, specifieke regel toe aan het einde van de vraag.

Denk aan een videogame. Als je het "Easy" niveau van een dinosaurussen-game te snel uitspeelt, geeft het spel je niet meteen een compleet ander spel. Het voegt alleen een nieuwe regel toe: "Nu moet je een rode edelsteen verzamelen terwijl je speelt." Het spel gaat nog steeds over dinosaurussen, maar nu is het moeilijker. De robot moet harder werken om de beloning te krijgen.

Hoe het in de praktijk werkt

De onderzoekers testten dit idee met een robot die instructies opvolgt. Ze begonnen met eenvoudige prompts, zoals "Schrijf een verjaardagswens."

• De Oude Manier: De robot schrijft een wens, de rechter geeft er een score aan, en de robot krijgt een beloning. Maar als de robot al geweldig is in het schrijven van wensen, blijft hij steeds hetzelfde doen, en verandert de score nooit.
• De Tutor Manier: De Tutor ziet dat de robot te goed is in de simpele wens. Hij voegt een beperking toe: "Schrijf een verjaardagswens voor je neefje die van dinosaurussen houdt, en zorg ervoor dat je een T-Rex met een feestmuts vermeldt."

Plotseling moet de robot harder nadenken. Sommige robots vergeten misschien de muts; anderen krijgen de dinosaurus misschien fout. Nu kan de rechter het verschil zien! Eén antwoord is beter dan het andere. De robot krijgt een duidelijk signaal over hoe hij kan verbeteren.

Wat ze ontdekten

Het artikel suggereert dat deze "Tutor"-methode erg goed werkt. Toen ze dit testten op drie verschillende sets complexe instructies (zoals het schrijven van e-mails, het oplossen van logische puzzels en het volgen van strikte formatteringregels), scoorden robots die getraind werden met de Tutor beter dan robots die met de oude methoden werden getraind.

De onderzoekers ontdekten dat:

• Het toevoegen van beperkingen beter werkt dan herschrijven: Het is beter om een kleine, specifieke regel aan de oorspronkelijke vraag toe te voegen dan de vraag weg te gooien en een compleet nieuwe, verwarrende vraag te schrijven.
• Het schaalt op: Naarmate de robot slimmer wordt, voegt de Tutor automatisch meer en meer regels toe om hem uitgedaagd te houden.
• Het het "saaie" probleem oplost: Het hoofddoel was om te voorkomen dat de robot vastloopt op gemakkelijke taken waarbij hij niet meer kan leren. Door de taken net moeilijk genoeg te maken, blijft de robot steeds slimmer worden.

Waarom dit belangrijk is

Dit gaat niet alleen over verjaardagswensen of dinosaurussen. Dit gaat over hoe we AI leren om nuttig te zijn in de echte wereld. Als we willen dat AI goed is in het opvolgen van complexe instructies — zoals een arts helpen bij het schrijven van een rapport of een student helpen bij het leren van een nieuw onderwerp — moeten we ervoor zorgen dat de AI altijd net genoeg wordt uitgedaagd om te leren, maar niet zo veel dat hij het opgeeft.

Het artikel suggereert dat door een AI als een "Tutor" te laten optreden om deze kleine uitdagingen toe te voegen, we een zelfverbeterend systeem kunnen creëren. De AI leert zichzelf beter te worden door constant de grens van wat hij kan te vinden en er net een klein beetje overheen te gaan. Het is een beetje alsof je een personal trainer hebt die naar je workout kijs en zegt: "Oké, je deed tien push-ups gemakkelijk? Laten we er elf doen, maar houd deze keer de positie drie seconden vast." Dat extra beetje inspanning is wat je sterker maakt.