🤖 AI

TAPR: Enhancing LLM Performance with a Task-Aware Prompt Rewriter

Dit artikel introduceert TAPR, een Task-Aware Prompt Rewriter getraind via Group Relative Policy Optimization die gebruikersinputs herformuleert naar geoptimaliseerde prompts, wat de prestaties van downstream LLM's op taken zoals vraagbeantwoording en rekenkundige redenering aanzienlijk verbetert.

Oorspronkelijke auteurs: Oliver Savolainen, Emanuele Bastianelli, Hosein Azarbonyad

Gepubliceerd 2026-08-03

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Oliver Savolainen, Emanuele Bastianelli, Hosein Azarbonyad

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te praten met een super-slimme robot die bijna alles in de wereld weet. Deze robot wordt een Large Language Model (LLM) genoemd. Het is als een geniale bibliothecaris die elk boek ooit geschreven heeft gelezen, maar het heeft een eigenzinnige persoonlijkheid: het werkt alleen op zijn absoluut best wanneer je vragen stelt op een zeer specifieke, perfecte manier. Als je een vage vraag stelt zoals "Vertel me over de ruimte," kan het een saai, generiek antwoord geven. Maar als je vraagt: "Leg de levenscyclus van een ster uit aan een 10-jarige met een metafoor over bakken," kan dit het volledige potentieel ontgrendelen en kan het iets magischs geven.

Het probleem is dat het bedenken van die perfecte vragen moeilijk is. Het is alsof je een radio probeert af te stemmen om een helder station te vinden; als je de knop slechts een klein beetje verkeerd draait, krijg je alleen maar ruis. De meeste mensen zijn geen experts in "prompt engineering" (de kunst van het schrijven van perfecte instructies voor AI), dus blijven ze vaak steken met de ruis. Wetenschappers hebben geprobeerd een hulpje te bouwen dat je vragen automatisch kan repareren, waardoor jouw ruwe, slordige verzoeken worden omgezet in de perfecte, gepolijste instructies waar de robot van houdt. Dit artikel duikt in die exacte uitdaging: Kunnen we een kleine AI leren om een "prompt editor" te zijn die onze grote AI-vrienden beter laat presteren?

Maak kennis met TAPR: De AI-editor die je vragen hackt

In dit artikel introduceren de auteurs een nieuwe tool genaamd TAPR (Task-Aware Prompt Rewriter). Denk aan TAPR als een kleine, gespecialiseerde editor die tussen jou en de gigantische AI zit. Wanneer je een vraag typt, stuurt TAPR deze niet zoma van de vraag door; het herschrijft deze eerst. Het neemt jouw eenvoudige "Beantwoord de vraag" en transformeert het in een gedetailleerde, superduidelijke instructie die de grote AI precies vertelt hoe het moet denken, welk formaat het moet gebruiken en wat het moet vermijden.

Maar hoe leert TAPR om zo'n goede editor te zijn? De auteurs hebben het niet alleen geleerd door voorbeelden te tonen. In plaats daarvan gebruikten ze een methode genaamd Reinforcement Learning, wat lijkt op het trainen van een hond met snoepjes. Zo werkt de trainingslus:

De Herschrijving: TAPR neemt je oorspronkelijke vraag en herschrijft deze.
De Test: De grote AI (de "Task LLM") probeert de herschreven vraag te beantwoorden.
De Rechter: Een speciale "Judge AI" kijkt naar het antwoord en de herschreven vraag om te beslissen: "Hielp deze nieuwe vraag de grote AI om het juiste antwoord te geven? Is de vraag zelf duidelijk en goed geschreven?"
De Beloning: Als de Rechter zegt "Goed gedaan!", krijgt TAPR een digitale traktatie (een beloning). Als het antwoord fout was of de vraag verwarrend was, krijgt TapR geen traktatie.

Na verloop van tijd leert TAPR steeds betere vragen te schrijven omdat het die traktaties wil krijgen. De auteurs gebruikten een specifieke trainingstechniek genaamd GRPO (Group Relative Policy Optimization), die ze veel stabieler en effectiever vonden dan oudere methoden zoals PPO.

Wat hebben ze ontdekt?

Het team heeft TAPR getest op drie zeer verschillende soorten taken:

Vraagbeantwoording: Zoals vragen "Wie was de eerste Amerikaanse president?"
Samenvatting: Zoals een AI vragen om een lang nieuwsartikel samen te vatten.
Wiskundig redeneren: Zoals het oplossen van een lastig woordprobleem over het mengen van suiker en water.

De resultaten waren veelbelovend, hoewel het geen toverstaf is voor elke situatie.

Het Goede Nieuws: Wanneer TAPR (specifiek de versie gebaseerd op een model genaamd Phi-4-mini-instruct) werd getraind, verbeterde het de prestaties van de grote AI consistent. Bijvoorbeeld, op een wiskundetoets genaamd GSM8K, sprong de nauwkeurigheid van een lage 11,91% (wanneer het ongetrainde basismodel de herschrijving deed) naar 83,60% nadat TAPR was getraind. Op een test voor vraagbeantwoording genaamd Natural Questions steeg de nauwkeurigheid van 48,80% naar 59,20%.
Het "Geheime Sausje": De auteurs ontdekten dat TAPR leerde om prompts te schrijven die duidelijker en gestructureerder waren, en vaak "chain-of-thought" instructies bevatten (de AI vertellen om "stap voor stap te denken"). Dit maakte de grote AI veel slimmer in het oplossen van problemen.
De "Rechter"-factor: Een cruciaal onderdeel van hun succes was het gebruik van een LLM-as-a-Judge. In plaats van alleen te controleren of het antwoord woord voor woord overeenkwam met een tekstboek (wat onrechtvaardig kan zijn als het antwoord correct is maar anders geformuleerd), gebruikten ze een andere AI om de kwaliteit en de betekenis van het antwoord te beoordelen. Dit hielp TAPR om prompts te schrijven die echt betere antwoorden produceerden, niet alleen antwoorden die op een checklist leken te kloppen.

De Addertjes onder het gras: Het is nog niet perfect

De auteurs wijzen er voorzichtig op dat dit geen opgelost probleem is.

Inconsistentie: Soms maakte TAPR dingen beter, maar soms waren de resultaten gemengd of zelfs iets slechter. Bijvoorbeeld, bij sommige samenvattings-taken deed het ongetrainde "basismodel" het eigenlijk best goed, en was TAPR niet altijd beter.
Het "Selectie"-idee: De auteurs probeerden een truc waarbij TAPR vijf verschillende herschreven vragen genereerde en vervolgens de beste koos. Hoewel dit soms hielp, leidde het niet consistent tot betere resultaten en kostte het meer computerkracht. Ze vonden geen sterk bewijs dat TAPR een betere "rechter" van zijn eigen werk werd, simpelweg door getraind te worden om te schrijven.
De Kosten: Het trainen van TAPR kost tijd en rekenkracht. De auteurs suggereren dat hoewel het werkt, de extra kosten niet altijd de moeite waard zijn voor elke taak, vooral omdat eenvoudige, generieke prompts soms prima werken.

De Conclusie

Dit artikel suggereert dat we inderdaad een kleine AI kunnen leren om een prompt-editor te zijn die helpt om grote AI's beter te laten presteren. Door gebruik te maken van reinforcement learning en een slimme "Judge AI", leerde TAPR om vage vragen om te zetten in heldere, krachtige instructies. Hoewel het geen perfecte oplossing is die 100% van de tijd werkt, toont het een duidelijke weg vooruit: als we de kunst van het stellen van de juiste vragen kunnen automatiseren, kunnen we misschien het volledige potentieel van AI ontsluiten voor iedereen, niet alleen voor de experts. De auteurs concluderen dat dit een levensvatbare en effectieve techniek is, maar dat het nog meer verfijning nodig heeft om betrouwbaar te zijn in elk echt scenario.

Technische Samenvatting: TAPR – Task-Aware Prompt Rewriter

Probleemstelling

Grote taalmodellen (LLM's) bezitten een aanzienlijk potentieel, maar vereisen vaak zorgvuldig geformuleerde input-prompts om optimale prestaties te behalen. Deze vereiste vormt een barrière voor niet-expertgebruikers die niet over de expertise beschikken in prompt engineering om instructies te formuleren die het vermogen van het model volledig benutten. Bestaande optimalisatiemethoden vertrouwen grotendeels op handmatige, iteratieve aanpassingen of geautomatiseerde technieken die mogelijk niet-interpreteerbare prompts produceren of falen in het optimaliseren voor real-world bruikbaarheid door de afhankelijkheid van oppervlakkige metrieken (bijv. exacte overeenkomst). Er is behoefte aan een geautomatiseerd systeem dat ondergespecificeerde gebruikersqueries kan verfijnen tot heldere, robuuste instructies om betrouwbare prestaties bij downstream-taken te garanderen.

Methodologie

De auteurs stellen Task-Aware Prompt Rewriter (TAPR) voor, een framework ontworpen om gebruikersprompts automatisch te verfijnen en aan te passen voor LLM's. Het systeem bestaat uit een kleiner, gespecialiseerd "TAPR LLM" dat prompts herschrijft, die vervolgens worden uitgevoerd door een groter, bevroren "Task LLM".

Trainingsframework

De kern van de methodologie omvat het trainen van de TAPR LLM met behulp van Reinforcement Learning (RL) met Group Relative Policy Optimization (GRPO). De trainingspipeline werkt als volgt:

Input: De TAPR LLM ontvangt een initiële gebruikersprompt.
Herschrijven: Het genereert een herziene prompt.
Executie: De herziene prompt wordt gevoed aan de bevroren Task LLM om een taakoutput te genereren.
Beloningsberekening: Een gecombineerd beloningssignaal wordt berekend op basis van twee componenten:
- Taakprestatiebeloning ( $T$ ): In plaats van traditionele metrieken zoals exacte overeenkomst of ROUGE, maken de auteurs gebruik van een LLM-as-a-judge paradigma. Een apart beoordelingsmodel evalueert de semantische correctheid en kwaliteit van de reactie van de Task LLM ten opzichte van de grondwaarheid (ground truth).
- Promptkwaliteitsbeloning ( $Q$ ): Een specifieke beloning (gescoord van 0–5 door een LLM-beoordelaar) evalueert de herschreven prompt zelf, om te waarborgen dat deze voldoet aan principes van prompt engineering (bijv. helderheid, relevantie) en de oorspronkelijke intentie niet wijzigt of hallucinaties introduceert.
Optimalisatie: De gecombineerde beloning $R = \alpha T + \beta Q$ wordt gebruikt om de TAPR-policy bij te werken via GRPO.

Belangrijke Architecturale Keuzes

GRPO vs. PPO: De auteurs gebruiken Group Relative Policy Optimization (GRPO) in plaats van Proximal Policy Optimization (PPO). GRPO werkt de policy bij op basis van een groep gesamplede trajecten, waardoor de noodzaak voor een expliciete waarde-functie (critic) vervalt en het een grotere consistentie vertoont in deze specifieke toepassing.
Prompt Selectiemechanisme: Een optioneel mechanisme tijdens de inferentie staat de TAPR-modellen toe om meerdere kandidaat-prompts te samplen (bij een hogere temperatuur) en de beste te selecteren op basis van hun eigen oordeel, hoewel de paper opmerkt dat dit niet consequent verdere winst oplevert.
Evaluatie: Het systeem wordt geëvalueerd over diverse taken, waaronder Question Answering (Natural Questions, HotpotQA), Summarization (CNN/Daily Mail, SciTLDR) en Arithmetic Reasoning (GSM8K).

Belangrijkste Bijdragen

TAPR Framework: Introductie van een taakbewuste prompt rewriter getraind via reinforcement learning om prompts te optimaliseren met behulp van feedback afgeleid van zowel de kwaliteit van de herschreven prompt als de downstream taakprestatie.
LLM-as-a-Judge Integratie: De innovatieve toepassing van LLM-as-a-judge beloningen voor zowel de evaluatie van de taakoutput als de beoordeling van de promptkwaliteit. De auteurs tonen aan dat deze aanpak de trainingsstabiliteit en effectiviteit verbetert vergeleken met het uitsluitend vertrouwen op verifieerbare metrieken zoals exacte overeenkomst.
GRPO voor Prompt Herschrijven: De eerste exploratie van GRPO voor het verbeteren van prompt-herschrijfvaardigheden, waarbij wordt aangetoond dat het grotere consistentie bereikt en model collapse of stagnerende beloningen voorkomt die worden waargenomen bij bepaalde PPO-configuraties in deze context.
Empirische Validatie: Uitgebreide experimenten tonen aan dat door TAPR gegenereerde prompts leiden tot hogere nauwkeurigheid en betere samenvattingskwaliteit vergeleken met baseline prompts en herschrijvingen van basemodellen (ongetraind).

Experimentele Resultaten

De studie maakte gebruik van Phi-4-mini-instruct en LLaMA-3.2-3B-Instruct als TAPR-modellen en LLaMA-3.1-8B-Instruct als de Task LLM.

Question Answering: Op de Natural Questions (NQ) dataset presteerden TAPR-varianten significant beter dan het Base Model en de Baseline prompts. Voor Phi-4-mini-instruct verbeterde de nauwkeurigheid van 48,80% (Base) naar 59,20% (TAPR). Vergelijkbare winsten werden waargenomen op HotpotQA.
Summarization: Op CNN/Daily Mail en SciTLDR behaalden TAPR-varianten de hoogste LLM-as-a-judge scores. Opvallend genoeg behaalden de Phi-4-mini-instruct TAPR-varianten winstpercentages van tot wel 84,58% tegenover baseline prompts op SciTLDR.
Arithmetic Reasoning: Op GSM8K bereikte de TAPR-variant van Phi-4-mini-instruct een nauwkeurigheid van 83,60%, waarmee het de baseline "SOLUTION" prompt (82,38%) overtrof en drastisch beter presteerde dan het Base Model (11,91%), dat er niet in slaagde coherente oplossingen te genereren.
Ablatieonderzoeken:
- Promptkwaliteitsbeloning: Het verwijderen van deze beloning beperkte de voortgang van de training ernstig, waarbij modellen vaak terugvielen naar bijna de originele prompts, wat aangeeft dat de beloning cruciaal is voor het leren van effectief herschrijven.
- GRPO vs. PPO: GRPO vertoonde betrouwbare verbetering, terwijl PPO-varianten (met variërende hyperparameters) resulteerden in stagnerende beloningen of degeneratieve outputs.
- Supervised Fine-Tuning (SFT): Pre-training met SFT verbeterde de basisprestaties, maar vertaalde zich niet naar verbeterde resultaten tijdens de RL-training.

Betekenis en Claims

De paper claimt dat TAPR de levensvatbaarheid van geautomatiseerd prompt herschrijven demonstreert als een praktische techniek om het volledige potentieel van LLM's te ontsluiten, in het bijzonder voor kleinere modellen. Door een kleiner model te trainen om prompts te herschrijven, kan het systeem de downstream taakprestaties verbeteren zonder dat gebruikers over prompt engineering expertise hoeven te beschikken.

De auteurs benadrukken dat hun aanpak de beperkingen van traditionele evaluatiemetrieken aanpakt door LLM-as-a-judge te gebruiken om semantische correctheid en real-world bruikbaarheid te vangen. Zij argumenteren dat hoewel prompt engineering een openstaand en complex probleem blijft, hun methode consistent duidelijkere, instructievere en gedetailleerdere prompts produceert die aansluiten bij de best practices.

De paper behoudt echter een bescheiden toon met betrekking tot de beperkingen:

Inconsistentie: Verbeteringen zijn niet uniform over alle taken en modellen; in sommige gevallen presteren eenvoudige generieke prompts competitief tegenover geoptimaliseerde herschrijvingen.
Trainingsstabiliteit: RL voor tekstgeneratie is inherent instabiel en gevoelig voor hyperparameters.
Kosten-batenverhouding: De winsten van prompt herschrijven zijn nog niet consistent genoeg om de extra computationele kosten van training en inferentie volledig te compenseren.
Scope: De studie is beperkt tot kleinere, niet-redenerende modellen en specifieke benchmarks, wat suggereert dat toekomstig werk nodig is om deze methoden te valideren op grotere modellen en in diverse, real-world agentic workflows.

Concluderend stelt het werk vast dat een kleiner model, wanneer getraind met GRPO en gestuurd door semantische beloningen, effectief kan leren om prompts te herschrijven om de prestaties van grotere LLM's te verbeteren, wat een pad biedt om de afhankelijkheid van handmatige prompt engineering te verminderen.