FOR-Prompting: From Objection to Revision via an Asymmetric Prompting Protocol

Dit paper introduceert FOR-Prompting, een asymmetrisch promptprotocol dat zonder extra training de prestaties van taalmodellen verbetert door een Defender, een Debater die kritische vragen stelt zonder directe oplossingen, en een Host te laten samenwerken voor iteratieve zelfherziening.

De kern

🛡️ FOR-Prompting: De Kunst van het Vragen in plaats van het Antwoorden

Stel je voor dat je een groot, complex probleem moet oplossen, zoals het plannen van een perfecte vakantie of het oplossen van een lastige wiskundepuzzel. Je vraagt een slimme computer (een AI) om een antwoord.

Normaal gesproken doet de AI dit zo:

1. De AI denkt na (vaak in een rechte lijn).
2. De AI geeft een antwoord.
3. Klaar.

Het probleem is: als de AI een foutje maakt, ziet ze dat vaak niet zelf. Ze blijft vastzitten in haar eigen denkpatroon.

FOR-Prompting (van From Objection to Revision) is een nieuwe manier om met deze AI te praten. Het is alsof je niet één persoon vraagt om het antwoord te geven, maar je een drie-koppig team opstelt.

🎭 Het Team: De Verdediger, De Vragende en De Gastheer

Het paper introduceert drie rollen die met elkaar werken:

1. De Verdediger (The Defender):

   • Vergelijking: Dit is de chef-kok in de keuken. Hij probeert het beste gerecht (het antwoord) te maken. Hij is degene die het werk doet.
   • Taak: Hij stelt een antwoord op en past het aan als er kritiek komt.

2. De Vragende (The Debater / Questioner):

   • Vergelijking: Dit is de kritische gast aan tafel. Maar hier is de truc: deze gast mag geen nieuwe gerechten koken en mag geen recepten geven. Hij mag alleen vragen stellen!
   • Taak: Hij zegt: "Weet je zeker dat dit zo werkt?", "Heb je aan de allergieën gedacht?", "Wat als het regent?". Hij duwt de chef-kok om na te denken, maar hij doet het werk niet voor hem.
   • Waarom is dit slim? Omdat de AI vaak denkt dat ze alles weet. Door iemand anders te laten twijfelen, wordt de chef-kok gedwongen om zijn eigen fouten te zien.

3. De Gastheer (The Host):

   • Vergelijking: Dit is de sommelier of de presentator.
   • Taak: Hij luistert naar de chef-kok en de kritische gast, vat alles samen en presenteert het definitieve, gepolijste resultaat aan jou. (Soms kan deze rol ook weglaten, dan is de chef-kok zelf de presentator).

🔄 Hoe werkt het in de praktijk?

In plaats van dat de AI in één keer een antwoord schrijft, gebeurt er een dans van vragen en antwoorden:

1. De Verdediger schrijft een eerste versie van het antwoord.
2. De Vragende leest het en zegt: "Wacht even, heb je dit overwogen?" (Hij geeft geen oplossing, hij stelt alleen een vraag).
3. De Verdediger denkt na over die vraag, ziet dat hij een fout had gemaakt, en schrijft het antwoord opnieuw.
4. Dit proces herhaalt zich een paar keer totdat het antwoord stevig staat.

🌟 Waarom is dit zo'n goed idee?

Het paper toont aan dat deze methode drie grote voordelen heeft:

1. Het werkt zelfs met "kleine" computers
Stel je voor dat je een slimme, maar kleine robot hebt (een goedkope AI). Die robot maakt vaak fouten in wiskunde.

• Normaal: De robot geeft een fout antwoord.
• Met FOR-Prompting: Je gebruikt een grote, slimme robot als "Vragende" (die alleen vragen stelt) en de kleine robot als "Verdediger". De grote robot vraagt: "Weet je zeker dat je dit getal goed hebt?" De kleine robot denkt na, corrigeert zichzelf en geeft het juiste antwoord.
• Conclusie: Je kunt goedkope, snelle AI's gebruiken voor zware taken, zolang ze maar een slimme "vraager" hebben die hen op het rechte pad houdt.

2. Het voorkomt "blind vertrouwen"
AI's hebben de neiging om te denken dat ze gelijk hebben, zelfs als ze het niet zijn. Door een externe stem die alleen vraagt ("Ben je zeker?"), wordt de AI gedwongen om zijn eigen aannames te controleren. Het is alsof je een spiegel voorhoudt in plaats van iemand anders de oplossing te laten geven.

3. Het is geweldig voor creatieve taken
Bij het plannen van een reis (zoals in het paper getest met een reis naar Rio de Janeiro) zorgt deze methode voor veel betere resultaten.

• De "Vragende" vraagt: "Wat als de trein stakingen heeft?" of "Is dit veilig voor een groep van zes?".
• De "Verdediger" voegt dan veiligheidsmaatregelen en alternatieven toe.
• Mensen die de resultaten beoordeelden, vonden de plannen van FOR-Prompting veel realistischer en completer dan de standaard antwoorden van de beste AI's.

🚀 De Kernboodschap

Het paper zegt eigenlijk: "Vragen is krachtiger dan antwoorden geven."

In plaats van dat we AI's laten vechten tegen elkaar (waarbij ze allebei hun eigen antwoord proberen te bewijzen), laten we ze samenwerken in een asymmetrisch spel. De één maakt het antwoord, de ander duwt met vragen om het antwoord sterker te maken.

Dit maakt AI's slimmer, betrouwbaarder en vooral: het werkt ook op apparaten die niet superkrachtig zijn, wat heel handig is voor de toekomst van technologie in onze telefoons en thuis.

Kort samengevat: FOR-Prompting is een slimme manier om een AI te dwingen om zichzelf te verbeteren, door een "vriendelijke maar kritische buurman" te spelen die alleen vragen stelt, zodat de AI haar eigen fouten ziet en corrigeert.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "FOR-Prompting: From Objection to Revision via an Asymmetric Prompting Protocol" in het Nederlands.

Probleemstelling

Bestaande prompting-protocollen voor Large Language Models (LLMs), zoals Chain of Thought (CoT) en Tree of Thought (ToT), organiseren interne redeneerprocessen maar missen een expliciet mechanisme voor extern vragen dat zelfcorrectie stimuleert zonder directe oplossingen aan te leveren.

• Beperkingen van bestaande methoden: Methodes zoals Self-Ask of Self-Reflection laten het model zichzelf vragen stellen en beantwoorden, wat kan leiden tot bevestigingsbias en "overdenken". Multi-agent systemen (zoals debatten) introduceren vaak externe oplossingen of alternatieve antwoorden, waardoor de oorsprong van de foutdetectie verwaterd raakt en het lastig is om het effect van puur "vragen" te isoleren van externe redenering.
• De kernvraag: Wat een antwoord verbetert, is vaak niet een ander antwoord, maar een goed gestelde vraag die hiaten, onuitgesproken aannames of over het hoofd geziene beperkingen blootlegt.

Methodologie: FOR-Prompting

De auteurs introduceren FOR-Prompting (From Objection to Revision Prompting), een asymmetrisch protocol dat de menselijke praktijk van "Human-in-the-Loop" (HITL) automatiseert, waarbij reviewers vragen stellen in plaats van het antwoord direct te corrigeren.

Het protocol bestaat uit drie rollen met strikte verantwoordelijkheden:

1. Defender (Verdediger): Stelt een antwoord voor en voert iteratieve revisies uit op basis van de ontvangen vragen. De Defender is de enige die het eindantwoord genereert en verantwoordelijk is voor de redeneerketen.
2. Debater/Vragensteller (Questioner): Stelt uitsluitend vraag-achtige bezwaren (verhelderende vragen, controlevragen, tegenvoorbeelden, constraint-checks). Cruciaal: de Debater levert nooit directe oplossingen of alternatieve antwoorden. Het doel is druk uit te oefenen om de Defender tot nadenken te stemmen.
3. Host (Optioneel): Synthetiseert de volledige interactiegeschiedenis en de definitieve revisies van de Defender om het uiteindelijke antwoord te genereren.

Werkingsprincipe:
Het proces is een iteratieve lus:

1. De Defender beantwoordt de oorspronkelijke vraag ($A_0$).
2. De Debater analyseert $A_0$ en stelt gerichte vragen ($O_1$) om hiaten op te sporen.
3. De Defender herwerkt het antwoord op basis van deze vragen ($A_1$).
4. Dit proces herhaalt zich tot een vooraf bepaald aantal rondes ($N$).
5. De Host (optioneel) vat de beste versie samen.

Dit ontwerp behoudt één verantwoordelijke redeneerketen (de Defender) en voorkomt dat externe agents hun eigen redenering injecteren, wat de interpretatie en accountability verbetert.

Belangrijkste Bijdragen

1. Conceptuele Innovatie: FOR-Prompting is het eerste prompting-protocol dat vragen (in plaats van antwoordvervanging) formaliseert als de exclusieve vorm van externe interventie. Dit scheidt het proces van "vragen" van "reviseren".
2. Protocolontwerp: Een lichtgewicht, rolgebaseerde interactielus die systematisch onderzoek mogelijk maakt naar vragen als mechanisme voor het verbeteren van redenering, zonder de noodzaak van training of toegang tot modelinterne parameters.
3. Empirische Validatie: Uitgebreide evaluatie op zowel commerciële (GPT-4o) als open-source modellen (LLaMA-3.2-1B), inclusief kruisvalidatie van rollen en toepassing op open-ended taken.

Resultaten

De auteurs voerden vier casestudies uit:

1. Benchmark (GSM8K - Wiskunde):

   • Op GPT-4o bereikte FOR-Prompting een nauwkeurigheid van 0.94, wat gelijkstaat aan CoT en Self-Ask en dicht bij Self-Consistency (0.95) ligt, maar significant beter is dan single-prompting (0.92).
   • Op het LLaMA-3.2-1B model (klein, open-source) presteerde FOR-Prompting aanzienlijk beter dan single-prompting (0.07 vs 0.23). Het bereikte een vergelijkbare nauwkeurigheid als CoT (0.23), wat aantoont dat zelfs kleine modellen profiteren van externe vraag-druk.

2. Asymmetrie en Rolwisseling:

   • Experimenten waarbij een klein model (LLaMA-1B) als Debater fungeerde en een groot model (GPT-4o) als Defender, resulteerden in een hoge nauwkeurigheid (0.93).
   • Omgekeerd (Groot als Debater, Klein als Defender) daalde de nauwkeurigheid drastisch naar 0.21.
   • Conclusie: De prestaties worden primair bepaald door de capaciteit van de Defender. Een klein model is echter zeer effectief als Questioner, wat een kostenefficiënte strategie biedt voor hybride pipelines.

3. Foutcorrectie:

   • In een gevalstudie met een triviale maar lastige vraag ("Hoeveel 'r's zitten er in 'strarrtrabbbery'?"), corrigeerde FOR-Prompting een foutief single-prompt antwoord (4 'r's) naar het juiste antwoord (5 'r's) door de Debater te vragen om handmatig te tellen en de spelling te verifiëren.

4. Open-ended Taken (Reisplanning):

   • Bij het genereren van een reisroute voor Rio de Janeiro, leverde FOR-Prompting meer complete, realistische en actieplannen op dan baselines.
   • Een blind menselijke voorkeurstest met 77 deelnemers toonde aan dat 74% de FOR-Prompting output prefereerde boven die van sterke frontier LLM-systemen (zoals GPT-4.1 en ChatGPT-5), vanwege de grotere volledigheid, realistische tijdsplanning en betere noodplanning.

Betekenis en Toekomstperspectief

FOR-Prompting biedt een schaalbare, model-onafhankelijke methode voor iteratieve verfijning zonder menselijke tussenkomst of training.

• Kostenefficiëntie: Het stelt kleine, lokale modellen in staat om complexe taken aan te pakken door gebruik te maken van een asymmetrische architectuur (klein model als vragensteller, groot model als redenaar).
• Interpretbaarheid: Omdat de Debater geen oplossingen aanreikt, blijft de oorsprong van de verbetering duidelijk bij de Defender, wat de accountability verhoogt.
• Toepassingsgebied: Het protocol is bijzonder waardevol voor taken die geen enkel "juist" antwoord hebben, zoals brainstormen, strategievorming en complex plannen, waar het blootleggen van blinde vlekken cruciaal is.

Het paper concludeert dat FOR-Prompting een praktische mechanisme biedt voor geautomatiseerde, iteratieve verbetering die de voordelen van externe druk combineert met de integriteit van een enkele redeneerketen, waardoor het een veelbelovende richting is voor zowel lokale als gehoste LLM-toepassingen.