Learning to Learn from Language Feedback with Social Meta-Learning

Probleemstelling

Grote Taalmodellen (LLMs) hebben moeite om effectief te leren van corrigerende feedback binnen een conversatieve context. Bestaande modellen reageren vaak passief op ambiguïteit en soliciteren zelden proactief om feedback, wat dialogen statisch en eenzijdig maakt. Dit beperkt hun aanpassingsvermogen en legt een zware last op de gebruiker voor het formuleren van perfecte prompts (prompt engineering). Bestaande post-training methoden focussen voornamelijk op redeneren in één keer (single-turn) en statische taakprestaties, waardoor het potentieel van contextuele feedback en adaptief leren wordt gemist.

Methodologie: Social Meta-Learning (SML)

De auteurs introduceren Social Meta-Learning (SML), een finetuning-methode die is geïnspireerd op het menselijke vermogen om te leren van anderen. Het doel is om LLMs te trainen om te leren hoe ze van taalfeedback moeten leren in een interactieve setting.

1. Formulering als POMDP:
Het leerproces wordt gemodelleerd als een deels waarneembare Markov-besluitproces (POMDP):

• Student: Het model dat getraind wordt (de agent).
• Leraar: Een gefixeerd model (kan hetzelfde of sterker zijn) dat beschikt over "privékennis" (bijv. het juiste antwoord of outputs van een verifieerder).
• Asymmetrie: Er is een informatie-asymmetrie; de leraar weet meer dan de student. De student moet proactief informatie opvragen om het probleem op te lossen.
• Dynamiek: Statistische taken (zoals wiskundeproblemen) worden omgezet in interactieve, pedagogische dialogen.

2. Trainingsstrategieën:
De auteurs vergelijken twee benaderingen:

• Offline RL (Supervised Fine-Tuning - SFT): Er wordt een dataset gegenereerd van succesvolle dialogen (waar de student het juiste antwoord vond na feedback). Het model wordt vervolgens gesuperviseerd op deze succesvolle trajecten.
• Online RL (GRPO): Het model wordt direct geüpdatet op basis van beloningen (rewards) die worden verkregen tijdens het genereren van conversaties. Ze gebruiken het GRPO-algoritme (Group Relative Policy Optimization), waarbij een groep van oplossingen wordt gegenereerd en geoptimaliseerd op basis van relatieve voordelen binnen die groep.

3. Q-priming (Twee-staps training):
Om het gedrag van het stellen van vragen te stimuleren (cruciaal voor het omgaan met ambiguïteit), introduceren ze Q-priming:

• Een voorafgaande SFT-fase waarbij het model expliciet wordt getraind op dialogen met ingevoegde vragen.
• Vragen worden synthetisch gegenereerd door het model de privékennis van de leraar te geven en te vragen om een informatieve query te formuleren.
• Dit creëert een dataset met voorbeelden van effectieve, informatiezoekende vragen, waarna online RL dit gedrag verfijnt.

Experimentele Opzet

• Domeinen: Wiskunde (Omni-MATH dataset) en Programmeren (OpenCodeInstruct, LiveCodeBench).
• Baselines: Single-turn SFT, Single-turn RL, en een variant met een 4x grotere groepsgrootte om de generatiekosten te controleren.
• Evaluatie:
  • In-domein: Leren van feedback binnen hetzelfde domein als training.
  • Cross-domein: Transfer van wiskunde naar coderen en vice versa.
  • Ambiguïteit: "Lost-in-Conversation" benchmark, waar problemen gefragmenteerd ("sharded") worden onthuld over meerdere beurten.

Belangrijkste Resultaten

1. Online RL is superieur: Online RL (GRPO) levert aanzienlijk betere resultaten op dan offline SFT voor het leren van taalfeedback. Modellen getraind met online RL generaliseren beter naar testproblemen.
2. Cross-Domein Generalisatie: Het vermogen om van feedback te leren is een overdraagbare vaardigheid. Een model getraind op wiskundeproblemen met SML presteert beter bij het leren van feedback op coderingstaken, en andersom.
3. Omgaan met Ambiguïteit: Modellen getraind met SML (zelfs alleen op volledig gespecificeerde problemen) presteren beter op onvolledig gespecificeerde taken. Ze maken minder voortijdige antwoordpogingen en vragen vaker om verduidelijking.
4. Effect van Q-priming: De toevoeging van Q-priming versterkt het gedrag van het stellen van vragen aanzienlijk. Modellen met Q-priming zijn meer dan 5 keer zo waarschijnlijk om een verduidelijkende vraag te stellen in plaats van een veronderstellend antwoord te geven.
5. Leraar Sterkte: Het trainen met een sterkere leraar tijdens de inferentie verbetert de prestaties, maar het trainen met een sterkere leraar heeft weinig extra effect op de leercurve van de student. Een "peer-level" leraar is voldoende om de vaardigheid te leren.
6. Lange Conversaties: Modellen getraind op dialogen van maximaal 4 beurten kunnen effectief leren in dialogen van 10 beurten tijdens de testfase, wat wijst op goede generalisatie naar langere interacties.

Bijdragen en Significantie

• Nieuwe Finetuning Methodologie: De paper introduceert SML als een schaalbare methode om LLMs te transformeren van statische instructievolgers naar collaboratieve assistenten die leren van contextuele feedback.
• Verschuiving in Interactie: Het werk toont aan dat conversatie kan worden geframed als een "in-context learning" omgeving. Dit vermindert de last op de gebruiker om perfecte prompts te schrijven.
• Robuustheid en Menselijke Compatibiliteit: Door modellen te leren om proactief om informatie te vragen in plaats van te gokken, worden AI-systemen robuuster, nuttiger en beter compatibel met menselijke conversatiestijlen.
• Toekomstige Richting: Hoewel de huidige resultaten zijn behaald in verifieerbare domeinen (wiskunde/code), biedt deze aanpak een pad naar AI-systemen die kunnen omgaan met subjectieve, open-ended taken en dynamische gebruikersintenties.

Kortom, deze studie bewijst dat het simuleren van sociale meta-learning via pedagogische dialogen een krachtige manier is om LLMs te leren hoe ze effectief kunnen samenwerken met gebruikers en feedback kunnen gebruiken om complexe problemen op te lossen die in één keer niet oplosbaar zijn.