RASPRef: Retrieval-Augmented Self-Supervised Prompt Refinement for Large Reasoning Models

Probleemstelling

Hoewel recente redeneringsmodellen (zoals DeepSeek R1 en OpenAI o1) uitstekende prestaties leveren op gestructureerde taken (bijv. wiskundige redenering, codegeneratie), blijft hun prestatie sterk afhankelijk van de formulering van de prompt. Het ontwerpen van effectieve prompts is momenteel een handmatig, iteratief proces dat niet goed schaalbaar is over verschillende taken of domeinen. Bestaande optimalisatiemethoden vereisen vaak gelabelde data, menselijke supervisie, of toegang tot de interne modelgewichten (wat niet mogelijk is bij gesloten API-modellen). Er is dus behoefte aan een methode die prompts automatisch kan verbeteren zonder menselijke annotatie en zonder de modelparameters aan te passen.

Methodologie: RASPRef

Het paper introduceert RASPRef (Retrieval-Augmented Self-Supervised Prompt Refinement), een raamwerk dat prompts behandelt als adaptieve componenten die iteratief worden verfijnd op basis van eerdere redeneertrajecten en zelftoetsende signalen. Het proces verloopt in vier hoofdstappen:

1. Retrieval van Relevante Trajecten:
   Voor een nieuwe invoer ($x$) zoekt het systeem in een opslag van eerdere redeneertrajecten naar vergelijkbare problemen. Deze trajecten bevatten de oorspronkelijke prompt, de gegenereerde redenering (Chain-of-Thought), en optionele feedbacksignalen.

2. Constructie van de Initiële Prompt:
   Op basis van de opgehaalde trajecten wordt een eerste versie van de prompt samengesteld. Deze bevat algemene instructies, richtlijnen die zijn gedistilleerd uit succesvolle redeneringen, en representatieve voorbeelden.

3. Zelftoetsende Evaluatie (Self-Supervised Evaluation):
   De model genereert meerdere antwoorden ($K$ samples) voor dezelfde invoer met de huidige prompt. De kwaliteit van de prompt wordt beoordeeld zonder ground-truth labels, gebruikmakend van vier signalen:

   • Consistentie ($C_{cons}$): Mate van overeenstemming tussen de uiteindelijke antwoorden van meerdere samples.
   • Verificatie ($C_{ver}$): Score van een lichtgewicht verificatiemodel dat de plausibiliteit en structuur beoordeelt.
   • Zelfkritiek ($C_{crit}$): Analyse van het model zelf over de kwaliteit van zijn redenering.
   • Retrieval-Alignement ($C_{ret}$): Mate waarin de redenering relevante elementen uit de opgehaalde trajecten hergebruikt.

4. Iteratieve Prompt-Refinement:
   Het model fungeert als een editor die de prompt zelf revisieert op basis van de evaluatiesignalen en de gegenereerde antwoorden. Het doel is om de prompt te optimaliseren voor duidelijkheid, structuur en foutvermijding. Dit proces herhaalt zich totdat de prompt stabiliseert of een computatiebudget is bereikt.

De doelstelling is wiskundig geformuleerd als het maximaliseren van een zelftoetsende kwaliteitsscore $Q(p; x)$ over de verdeling van testinvoeren.

Kernbijdragen

• Prompt als Optimalisatiedoel: In tegenstelling tot eerdere methoden die zich richten op het verbeteren van de modeloutput, behandelt RASPRef de prompt zelf als het object dat wordt geoptimaliseerd.
• Zelftoetsend en Label-vrij: Het systeem vereist geen menselijke labels of gespecialiseerde supervisie; het gebruikt interne consistentie en modelkritiek als feedback.
• Retrieval-gebaseerde Adaptiviteit: Het combineert Retrieval-Augmented Generation (RAG) met zelfverbetering, waardoor het systeem kan leren van zijn eigen geschiedenis en zich aanpast aan nieuwe taakinstanties.
• Interpreteerbaarheid: Omdat de optimalisatie plaatsvindt via natuurlijke taal-instructies (prompt-editing) en niet via gewichts-updates, blijven de verbeteringen transparant en interpreteerbaar.

Resultaten

De auteurs hebben een prototype getest op wiskundige redeneringstaken met behulp van het GSM8K-dataset (500 testvoorbeelden, met een index van 200 trainingsvoorbeelden voor retrieval).

• Vergelijking: Een statische prompt-baseline werd vergeleken met de retrieval-verrijkte prompt.
• Prestaties:
  • Statische prompting: 85,6% nauwkeurigheid.
  • Retrieval-augmented prompting: 95,0% nauwkeurigheid.
• Conclusie: Het gebruik van opgehaalde redeneertrajecten als context leidde tot een significante verbetering in de nauwkeurigheid, omdat het model beter in staat was om tussenstappen gestructureerd te organiseren en redeneringsfouten te verminderen.

Betekenis en Toekomstperspectief

RASPRef biedt een schaalbare en praktische strategie om de prestaties van redeneringsmodellen te verbeteren zonder model-finetuning of menselijke interventie.

• Schaalbaarheid: Het werkt volledig met API-toegang tot modellen (black-box), wat het toepasbaar maakt voor gesloten systemen.
• Robuustheid: Het kan helpen bij het generaliseren naar zeldzame of "long-tail" gevallen door diepere redeneerpatronen te herkennen in plaats van alleen oppervlakkige tekstovereenkomsten.
• Risico's: De auteurs waarschuwen voor het risico van overfitting als te veel refinement-rondes worden uitgevoerd op een te smal domein, en benadrukken het belang van het filteren van ruis in de opgeslagen trajecten.

Kortom, RASPRef demonstreert dat promptontwerp een kritieke factor blijft voor redeneringsmodellen en dat zelflerende, retrieval-gestuurde prompts een veelbelovende richting zijn voor toekomstige AI-systemen.