Stel je voor dat je een superintelligente robot probeert te leren hoe hij een verhaal moet schrijven, een wiskundig probleem moet oplossen of een nieuwsartikel moet samenvatten. Je doet dit door hem een reeks instructies te geven, die wetenschappers een "prompt" noemen. Beschouw een prompt als een recept: als de instructies vaag of slordig zijn, kan de robot een taart bakken die naar zeep smaakt in plaats van naar chocolade. Lange tijd probeerden onderzoekers deze recepten te verbeteren door het hele recept telkens opnieuw vanaf nul te herschrijven wanneer de robot een fout maakte. Het was alsof je een hele taart weggooide omdat de glazuur een beetje af was, in de hoop dat de volgende poging perfect zou zijn. Deze methode, bekend als "monolithische" optimalisatie, werkte vaak goed voor één deel van de taak, maar verpestte per ongeluk een ander deel, waardoor de robot in de war raakte en de resultaten inconsistent waren.

De paper die je nu gaat lezen, pakt dit probleem aan met een nieuwe aanpak genaamd SAPO (Segment-level Automatic Prompt Optimization). In plaats van het hele recept weg te gooien, werkt SAPO als een meesterkok die de taart zorgvuldig proeft, precies identificeert welk ingrediënt fout is (misschien te veel zout, of te weinig suiker) en alleen dat deel repareert terwijl de perfecte delen ongemoeid laat. De auteurs testten deze methode op vijf verschillende soorten taken, van het beantwoorden van leesbegripvragen tot het oplossen van complexe wiskundige problemen, met behulp van twee verschillende robotbreinen (GPT-3.5-Turbo en GPT-4o-mini). Ze ontdekten dat door instructies op te delen in kleinere, beheersbare stukjes en alleen de zwakke plekken te repareren, ze veel betere resultaten konden behalen dan eerdere methoden, waarbij de prestaties op sommige taken met wel 7,25% verbeterden.

Het Recept voor een Betere Robot

Laten we kijken naar hoe dit werkt. Stel je voor dat je een robot een zeer lange, ingewikkelde instructiehandleiding geeft. In het verleden, als de robot het antwoord fout had, probeerde een automatische optimizer de gehele handleiding in één keer te herschrijven. Het is alsof je probeert een kapotte automotor te repareren door de hele auto te vervangen. Soms werkt die nieuwe auto geweldig voor het rijden, maar verschrikkelijk voor het parkeren. De oude methode maakte de robot vaak beter in het ene, maar slechter in het andere, een probleem dat de auteurs "prompt drifting" noemen.

De auteurs van deze paper, Nikita Kulin en hun team, stellen een slimmere manier voor. Ze realiseerden zich dat een goede instructiehandleiding niet slechts één groot blok tekst is; het is opgebouwd uit verschillende secties, zoals hoofdstukken in een boek. Ze breken de prompt af in vier specifieke "segmenten":

1. Rol: Wie hoort de robot te zijn? (bijv. "Je bent een behulpzame historicus.")
2. Context: Wat is het achtergrondverhaal of de situatie? (bijv. "Je praat met een student.")
3. Taken: Wat moet de robot precies doen? (bijv. "Vat deze tekst samen in drie zinnen.")
4. Outputformaat: Hoe moet het antwoord eruitzien? (bijv. "Geef me een opsomming met bullets.")

Het SAPO Detectivespel

De nieuwe methode, SAPO, behandelt deze vier segmenten als aanwijzingen in een detectivespel. Hier is het stapsgewijze proces dat ze gebruiken:

Eerst laat het systeem de robot een trainingssessie doorlopen met een reeks voorbeelden. Het bekijkt de resultaten en selecteert de top 5 beste voorbeelden (waar de robot het goed had) en de onderste 5 slechtste voorbeelden (waar de robot de mist in ging).

Vervolgens speelt het systeem detective. Het vraagt een tweede, slimmere robot (die optreedt als een rechter) om naar de top 5 en de onderste 5 voorbeelden te kijken en te ontdekken waarom de robot slaagde of faalde. Was de sectie "Rol" verwarrend voor de robot? Was de "Taak" te vaag? De rechter identificeert welke segmenten "sterk" waren (goed werkend in de goede voorbeelden) en welke "zwak" waren (problemen veroorzakend in de slechte voorbeelden).

Dan komt het magische deel: Constrained Synthesis. In plaats van de hele handleiding te herschrijven, genereert het systeem nieuwe versies van de prompt die de sterke segmenten precies zo laten als ze zijn en alleen de zwakke segmenten veranderen. Het is alsof je het perfecte chocoladebeslag behoudt, maar het verbrande glazuur vervangt door een verse lading. Dit zorgt ervoor dat de delen van de instructie die al goed werkten, niet per ongelcekelijk worden beschadigd.

Ten slotte test het systeem deze nieuw gedeeltelijk herziene prompts op een aparte set vragen (de validatieset). Als de nieuwe prompt het beter doet, wordt deze geaccepteerd. Zo niet, dan behoudt het systeem de oude prompt. Dit gebeurt herhaaldelijk totdat de robot zo goed mogelijk is.

De Resultaten: Een Duidelijke Winnaar

Het team heeft deze methode getest op vijf zeer verschillende uitdagingen:

• SQuADv2: Vragen beantwoorden op basis van een leespassage.
• TweetEval: Het classificeren van de stemming van tweets.
• XSUM: Nieuwsartikelen samenvatten.
• CommonGen: Zinnen creëren vanuit een lijst met woorden.
• GSM8K: Rekensommen met tekstvragen voor de basisschool oplossen.

Ze voerden deze tests uit op twee verschillende robotmodellen: GPT-3.5-Turbo en GPT-4o-mini. De resultaten waren zeer indrukwekkend. Wanneer vergeleken met andere populaire methoden die de hele prompt in één keer herschrijven (zoals APE, OPRO en EvoPrompt), scoorde SAPO consequent hoger op gemiddeld niveau.

Op het GPT-3.5-Turbo model verbeterde SAPO de gemiddelde score met 5,13% ten opzichte van de op één na beste methode. Op het geavanceerdere GPT-4o-mini model was de verbetering zelfs groter, met een sprong van 7,25% boven de concurrentie. De grootste winsten werden behaald bij taken die zeer strikte antwoorden vereisen, zoals de wiskundeproblemen (GSM8K) en het leesbegrip (SQuAD2), waar een piepkleine fout in de instructies kan leiden tot een volkomen fout antwoord.

Waarom Dit Belangrijk Is

De auteurs suggereren dat dit succes voortkomt uit het feit dat SAPO de "destructieve interferentie" stopt die optreedt wanneer je alles tegelijk verandert. Door de wijzigingen te lokaliseren tot alleen de zwakke delen van de prompt, behoudt het systeem de delen die al perfect werken. Het is een meer zorgvuldige, chirurgische aanpak van het onderwijzen van robots.

De paper merkt echter ook een paar beperkingen op. De huidige methode gebruikt een vaste set van vier segmenten. Hoewel dit goed werkt voor veel taken, is het misschien niet gedetailleerd genoeg voor elk specif kind type probleem. De auteurs suggereren dat toekomstige versies de robot automatisch nieuwe soorten segmenten kunnen laten ontdekken indien nodig, in plaats van vast te houden aan alleen deze vier.

Kortom, SAPO laat zien dat wanneer je een superintelligentie wilt onderwijzen, de beste manier om een fout te herstellen soms niet is om opnieuw te beginnen, maar om zorgvuldig te identificen wat er precies misging en alleen dat stukje te repareren. Het is een verschuiving van "alles herschrijven" naar "repareer wat kapot is", en voor nu lijkt dat de winnende strategie te zijn.