Technische Samenvatting: Wat drijft interactieve verbetering door feedback?

Probleemstelling

Nu Large Language Models (LM's) steeds vaker worden ingezet als interactieve agenten die handelen, observeren en herzien, rijst een cruciale vraag: Wanneer drijft natuurlijke taal-feedback daadwerkelijk verbetering aan die verder gaat dan de winst die verkregen kan worden door herhaalde pogingen alleen?

In multi-turn settings kan een hogere uiteindelijke nauwkeurigheid worden verward met verschillende mechanismen:

1. Nuttige Feedback: De agent interpreteert en handelt correct op basis van diagnostische informatie.
2. Resampling/Computation: De agent genereert simpelweg meer pogingen, waarbij profiteert van verhoogde test-time compute (bijv. Best-of-N sampling of Chain-of-Thought).
3. Formaatcorrectie: De agent corrigeert output-formaatfouten in plaats van het onderliggende logische probleem op te lossen.

De huidige literatuur behandelt multi-turn verbetering vaak als bewijs voor de bruikbaarheid van feedback, zonder deze factoren van elkaar te onderscheiden. Bov�elijk blijft het onduidelijk of de bottleneck voor interactieve verbetering ligt bij het vermogen van de docent om nuttige feedback te genereren, of bij het vermogen van de student om deze te benutten.

Methodologie

De auteurs introduceren een gecontroleerd student-docent protocol dat ontworpen is om de specifieke bijdrage van feedback te isoleren van herhaalde sampling.

Experimentele Opzet

• Protocol: Een "didactische" interactielus waarbij een student-model een probleem probeert op te lossen. Als het fout is, geeft een docent-model natuurlijke taal-feedback (zonder het uiteindelijke antwoord te onthullen), en de student herzien zijn poging. Dit herhaalt zich tot $K=10$ beurten.
• Omgevingen: Vier verifieerbare redeneer-benchmarks werden gebruikt:
  • Omni-MATH: Wiskunde op Olympiade-niveau.
  • Codeforces: Competitief programmeren.
  • BBEH Linguini: Een taak die vereist nieuwe regels te leren.
  • ARC-AGI1: Abstract redeneren grid-puzzels.
• Modellen: Dertien open-weight modellen uit vier families (Gemma4, Llama3, Qwen3.5, GPT-OSS) variërend van 1B tot 120B parameters.
• Dense Matrix Design: Elk model werd geëvalueerd in zowel de student- als de docent-rol over alle omgevingen, wat een $13 \times 13$ interactiematrix creëert. Dit maakt het mogelijk om de marginale effecten van student en docent te isoleren.
• Baselines & Controles:
  • Zelf-verfijning (Self-refinement): De student probeert het probleem opnieuw op te lossen zonder enige externe feedback (controleert voor herhaalde pogingen).
  • Zelf-feedback (Self-feedback): De student genereert zijn eigen feedback (controleert voor de aanwezigheid van een feedbackbericht).
  • Beste Feedback (Best Feedback): De student wordt gekoppeld aan de sterkste beschikbare docent.
• Ablaties: De studie varieerde de lengte van de interactiegeschiedenis ($h \in \{1..5\}$) en de toegang van de docent tot geprivilegieerde informatie (bijv. grondwaarheid-oplossingen, executie-traces) om hun selectieve impact te testen.

Metrieken

• acc@K: Nauwkeurigheid bij beurt $K$.
• Raw/Normalized Gain: $acc@K - acc@1$ en $\frac{acc@K - acc@1}{1 - acc@1}$, waarbij verbetering ten opzichte van de initiële poging wordt geïsoleerd.
• AUC: Oppervlakte onder de curve van de cumulatieve nauwkeurigheid over de beurten.

Belangrijkste Bijdragen

1. Gecontroleerd Evaluatiekader: Een zero-shot student-docent evaluatieprotocol dat de feedback-specifieke winsten scheidt van de voordelen van herhaalde sampling en zelf-verfijning.
2. Disentanglement van Mechanismen: Empirisch bewijs dat multi-turn verbetering niet synoniem is met het gebruik van feedback; zelf-feedback biedt vaak weinig extra boven ongeleide zelf-verfijning.
3. Student-Centrische Bottleneck: Een demonstratie dat interactieve prestaties primair worden gedreven door het vermogen van de student om feedback te gebruiken, in plaats van de identiteit van de docent, hoewel de keuze van de docent wel significant blijft voor een vaste student.
4. Selectieve Waarde van Geprivilegieerde Informatie: Bevindingen dat langere geschiedenissen en geprivilegieerde docent-informatie (bijv. grondwaarheid-antwoorden) niet universeel voordelig zijn, maar fungeren als gerichte interventies afhankelijk van taakcomplexiteit en modelcapaciteit.

Belangrijkste Resultaten

1. Feedback-specifieke Winsten zijn Beperkt Zonder Sterke Sturing

• Zelf-feedback vs. Zelf-verfijning: Het toevoegen van een feedbackbericht gegenereerd door hetzelfde model (zelf-feedback) produceerde inconsistente resultaten vergeleken met ongeleide zelf-verfijning. In sommige omgevingen (bijv. BBEH Linguini) bood zelf-feedback geen voordeel ten opzichte van simpelweg opnieuw proberen.
• Impact van Externe Docent: De sterkste winsten kwamen voort uit het koppelen van studenten aan hoogwaardige externe docenten. "Best feedback" condities voegden 9,2 tot 16,6 procentpunten toe aan $acc@10$ ten opzichte van zelf-verfijning, wat suggereert dat nuttige feedback corrigerende informatie moet bieden die verder gaat dan generieke herhaling.
• Front-loaded Winsten: Marginale verbeteringen waren sterk aan de voorkant geconcentreerd (front-loaded); de eerste feedback-geconditioneerde poging was verantwoordelijk voor 30–58% van de totale winst, met afnemende rendementen in latere beurten.

2. Interactieve Prestaties zijn Student-afhankelijk

• Dominantie van Student-identiteit: In de dichte modelmatrix verklaarde de identiteit van de student 77,1%–96,5% van de variatie in winst per paar. De identiteit van de docent verklaarde slechts 1,3%–12,4%.
• Distinctieve Capaciteiten: Het initiële oplosvermogen van een model ($acc@1$) voorspelt niet het vermogen om te verbeteren door feedback ($ngain$). Bijvoorbeeld, GPT-OSS-120B begon vaak met een hogere $acc@1$, maar vertoonde in bepaalde omgevingen een lagere feedback-adherentie dan Gemma4-31B.
• Docent-competentie: De single-turn taakprestatie van een docent is slechts een gedeeltelijke voorspeller van diens interactieve onderwijskundige vermogen. In 28,9%–41,4% van de vergelijkbare paren fungeerde een zwakkere oplosser als een effectievere docent voor een specifieke student.

3. Context en Geprivilegieerde Informatie zijn Selectief

• Geschiedenislengte: Het vergroten van de zichtbare geschiedenis van 1 naar 5 beurten leverde bescheiden winsten op (bijv. +0,094 AUC op Omni-MATH), maar was sterk afhankelijk van de modelcapaciteit. Sterkere docenten benutten geschiedenis beter om herhaalde fouten te diagnosticeren.
• Geprivilegieerde Informatie: Het geven van toegang tot grondwaarheid-antwoorden of oplossingen aan docenten verbeterde de uitkomsten niet uniform.
  • BBEH Linguini: Toonde het grootste voordeel (AUC steeg van 0,151 naar 0,331 met toegang tot het antwoord).
  • Codeforces/Omni-MATH: De voordelen waren marginaal of niet aanwezig, waarschijnlijk omdat de docent al voldoende context had (bijv. executie-traces) of omdat de taakstructuur het antwoord minder kritiek maakte voor de diagnose.
• Leakage (Informatielekken): Zelfs met geprivilegieerde toegang was de informatie-lek van docent naar student laag (<5%), wat aangeeft dat docenten over het algemeen de beperking naleefden om de oplossing niet te onthullen.

Betekenis en Claims

Het artikel betoogt dat het veld de manier waarop het feedback-gebaseerde agenten evalueert, moet veranderen:

• Evaluatie-rigor: Multi-turn winsten moeten altijd worden afgezet tegen herhaalde-poging-baselines (zelf-verfijning) om te garanderen dat verbeteringen echt door feedback worden gedreven.
• Identificatie van de Bottleneck: De primaire beperking in interactieve verbetering is vaak het vermogen van de student om feedback te verwerken, en niet louter de beschikbaarheid van feedback of de kracht van de docent.
• Strategische Inzet: Langere interactiegeschiedenissen en geprivilegieerde docent-informatie moeten worden behandeld als gerichte interventies voor specifieke bottlenecks, in plaats van standaardverbeteringen, aange_zien ze de computationele kosten en contextuele druk verhogen zonder gegarandeerde rendementen.

De auteurs concluderen dat hoewel feedback een krachtig instrument is, de effectiviteit ervan afhankelijk is van het vermogen van de student om diagnostische informatie te vertalen naar actiegerichte correcties, een capaciteit die aanzienlijk varieert tussen verschillende modelarchitecturen en groottes.