Governance Records as Supervision: Verifier-Selected Self-Training for Structured Workflow Repair

In de wereld van kunstmatige intelligentie wordt een model vaak beoordeeld op hoe goed het een gesprek kan voeren of een verhaal kan schrijven. Maar bij veel praktische taken in de echte wereld is het doel niet om goed te klinken, maar om correct te zijn volgens een strikte set regels. Stel je een robot voor die blokken op een tafel moet verplaatsen om een toren te bouwen. De robot kan de juiste woorden gebruiken, maar als hij een blok probeert op te tillen dat al een ander blok omhoog houdt, mislukt het plan. De fout is geen kwestie van stijl; het is een mechanische fout die een computer direct kan controleren. Jarenlang hebben onderzoekers deze controles alleen gebruikt om slechte plannen af te wijzen en het opnieuw te proberen, wat tijd en energie verspilt. Een nieuwe onderzoeksvraag stelt een andere vraag: als een computer een fout kan herkennen en een correcte oplossing kan vinden, kan het die registratie van succes dan gebruiken om het model te leren het de eerste keer goed te doen, zonder dat het de volgende keer zo hard hoeft na te denken?

Deze vraag ligt aan de kern van recent werk door onafhankelijk onderzoeker Jesus Salas, die onderzocht of het digitale "papieren spoor" van een succesvolle taak een leraar kon worden. De studie richt zich op een specifiek type probleem waarbij de regels duidelijk zijn en de uitkomst door een machine kan worden geverifieerd. De onderzoeker gebruikte een bekende testomgeving die draait om het verplaatsen van blokken, waarbij een computerprogramma optreedt als scheidsrechter om te beslissen of een plan werkt. Het doel was om te zien of een groot, duur AI-model dat soms deze puzzels oplost, een paar correcte antwoorden kon genereren, en of die specifieke antwoorden gebruikt konden worden om een kleinere, snellere versie van hetzelfde model te trainen om ze betrouwbaar op eigen kracht op te lossen.

Het experiment begon met een groot AI-model dat bekend staat om zijn vermogen om na te "denken" voordat het antwoordt. Dit model kreeg een reeks puzzels met het verplaatsen van blokken. Het gaf niet altijd het juiste antwoord, maar in een paar dozijn pogingen slaagde het erin om plannen te produceren die het scheidsrechterprogramma als geldig accepteerde. De onderzoeker nam deze zeldzame, succesvolle plannen en gebruikte ze als trainingsset. Het doel was om hetzelfde AI-model te leren, maar dit keer in een modus waarin het geen tijd besteedt aan denken of redeneren, om diezelfde correcte plannen onmiddellijk te produceren. Het model kreeg de antwoorden niet vooraf gegeven; het leerde alleen van de weinige keren dat het zelfstandig op de juiste oplossing was gestuit.

Wanneer dit getrainde model werd getest op een nieuwe set van tachtig nieuwe puzzels die het nog nooit had gezien, waren de resultaten opmerkelijk. Het ongetrainde model, wanneer gevraagd de puzzels op te lossen zonder na te denken, slaagde slechts één keer. Het model dat geleerd had om te "denken" voordat het antwoordt, slaagde dertig keer. Maar het model dat getraind was op de enkele succesvolle plannen van de denkende versie, slaagde vijftig zeven keer. Het werd niet alleen beter; het werd aanzienlijk betrouwbaarder op deze specifieke test. Bovendien loste dit getrainde model de problemen veel sneller op en verbruikte het veel minder computerbronnen dan de versie die tijd besteedde aan redeneren. Het was in staat om in 57 van de 80 gevallen een geldig plan te produceren, terwijl de oorspronkelijke denkende versie dat deed in 30 van de 80 gevallen. Hoewel het getrainde model zeer efficiënt was, merkte de studie op dat het specifieke doel om te bewijzen dat het interfacefouten beter oploste dan het denkende model, niet werd behaald in de vooraf geregistreerde test, ook al bleef de output van het getrainde model in alle gevallen geldig qua formaat.

Om te waarborgen dat deze verbetering voortkwam uit de kwaliteit van de gekozen antwoorden, en niet alleen uit het hebben van meer voorbeelden, voerde de onderzoeker een tweede test uit. Ze namen een verzameling geldige plannen gegenereerd door het model en verdeelden deze in drie groepen. Eén groep werd gekozen door het scheidsrechterprogramma, één door het model zelf dat blind koos, en één door een eenvoudige regel die de eerste beschikbare optie koos. Het model dat getraind was op de plannen gekozen door de scheidsrechter presteerde aanzienlijk beter dan het model dat getraind was op de plannen die het model voor zichzelf had gekozen. Dit bewees dat het oordeel van de scheidsrechter de doorslaggevende factor was. Het model leerde niet van elk succes; het leerde van het specifieke soort succes waarvan een onafhankelijke controleur had bevestigd dat het echt correct was.

De studie onderzocht ook wat er gebeurt als een veel slimmere AI-model als leraar optreedt. In dit scenario genereerde een krachtig redenerend model de correcte plannen, die vervolgens werden gebruikt om een kleiner, minder capabel model te trainen. Het kleinere model verbeterde spectaculair, van het oplossen van slechts twee puzzels naar vijftig één van de tachtig. De onderzoeker maakte echter een zorgvuldig onderscheid met het eerste experiment. In het eerste geval leerde het model zichzelf via zijn eigen zeldzame successen. In het tweede geval leerde het van een superieure leraar. Beide methoden werkten, maar de eerste liet zien dat een model zichzelf kon verbeteren zonder een slimmere vriend nodig te hebben, zolang het een manier had om zijn eigen werk te verifiëren.

Het onderzoek keek ook naar de grenzen van deze aanpak. De verbeteringen waren reëel en meetbaar, maar ze waren niet oneindig. Wanneer de onderzoekers probeerden het model herhaaldelijk te trainen op zijn eigen nieuwe successen, stopten de winsten uiteindelijk. Het model bereikte een punt waarop het niet meer kon leren van de beschikbare gegevens, wat suggereert dat er een plafond is aan hoeveel een model zichzelf kan verbeteren zonder nieuwe informatie. De studie merkte ook op dat hoewel het getrainde model uitstekend was in het volgen van de specifieke regels van de blokpuzzels, het geen algemene expert werd in alle soorten planning. Het werd een specialist voor de specifieke regels die het geleerd had.

Dit werk suggereert een nieuwe manier om AI-systemen te bouwen die zowel slim als efficiënt zijn. In plaats van te vertrouwen op een enorm, traag model om over elk probleem na te denken, kunnen we een groot model gebruiken om een paar correcte oplossingen te vinden, deze te verifiëren, en vervolgens een kleiner, sneller model te trainen om dat succes te repliceren. Het kleinere model wordt een specialist die routinetaken snel en accuraat kan afhandelen, terwijl het grotere model en het scheidsrechterprogramma stand-by staan voor de moeilijke gevallen die dieper nadenken vereisen. Het onderzoek laat zien dat de registratie van een succesvolle poging meer is dan alleen een logboek; het is een waardevolle bron die kan worden omgezet in een leraar, waardoor machines kunnen leren van hun eigen incidentele genialiteit en dit een consistente gewoonte kunnen maken.