Peer-Predictive Self-Training for Language Model Reasoning

Titel: Peer-Predictive Self-Training (PST) voor Redenering in Taalmodellen

1. Het Probleem

De continue zelfverbetering van grote taalmodellen (LLM's) zonder externe supervisie (zoals gelabelde data, reward-modellen of een "teacher-student" hiërarchie) blijft een groot open probleem. Bestaande methoden voor post-training zijn vaak afhankelijk van externe feedbacksignalen, wat de schaalbaarheid en aanpasbaarheid beperkt, vooral wanneer de "ground truth" (de juiste oplossing) duur, onvolledig of niet beschikbaar is.
Bij redeneertaken (zoals wiskundige problemen) bestaat er een fundamentele asymmetrie: modellen kunnen vaak moeite hebben om een correct antwoord te genereren, maar hebben wel het vermogen om een correct redeneertraject te herkennen of te verifiëren wanneer het hen wordt aangeboden. Bestaande zelftrainingsmethoden (self-training) lijden vaak onder "confirmation bias", waarbij fouten worden versterkt omdat het model op zijn eigen onbetrouwbare voorspellingen leert.

2. Methodologie: Peer-Predictive Self-Training (PST)

De auteurs stellen Peer-Predictive Self-Training (PST) voor, een labelloos fine-tuning-framework waarbij meerdere taalmodellen collaboratief verbeteren door een geaggregeerd antwoord van de groep te gebruiken als intern trainingssignaal.

Kerncomponenten van PST:

• Cross-model Generatie: Een set van $N$ heterogene taalmodellen ($M_1, ..., M_N$) genereert antwoorden sequentieel op een gegeven prompt. Het laatste model in de volgorde produceert een antwoord ($y_N$) dat is geconditioneerd op alle eerdere antwoorden. Dit $y_N$ fungeert als een "crowd-based" intern referentiepunt (een geaggregeerd antwoord).
• Peer-Predictive Score (via PMI): In plaats van $y_N$ als een harde pseudo-label te behandelen, meet PST hoe informatief elk tussenliggend antwoord ($y_i$) is voor het finale geaggregeerde antwoord. Dit wordt berekend met Pointwise Mutual Information (PMI):
  $$r_i = \log p_{\theta_i}(y_N | x, y_i) - \log p_{\theta_i}(y_N | x)$$
  Een hoge $r_i$ betekent dat het antwoord $y_i$ de kans op het finale antwoord $y_N$ sterk verhoogt, wat suggereert dat $y_i$ goed is afgestemd op de collectieve "wijsheid".
• Gewogen Zelftraining: De update-stap voor elk model wordt gewogen op basis van deze PMI-score. De gewichtsparameter $\alpha_i$ wordt berekend via een sigmoid-functie:
  $$\alpha_i = \sigma(-r_i / \tau)$$
  • Hoge PMI (goed afgestemd): $\alpha_i$ is laag $\rightarrow$ kleine update (het model hoeft niet veel te veranderen).
  • Lage PMI (misalignement): $\alpha_i$ is hoog $\rightarrow$ grote update (het model wordt gestimuleerd om zich aan te passen aan de collectieve beslissing).
• Dynamische Permutatie: De volgorde van de modellen wordt elke epoch gewijzigd (gerandomiseerd), zodat elk model de rol van "aggregator" (het laatste model) en "generator" (eerste modellen) afwisselt. Dit voorkomt positiesbias en zorgt voor een eerlijke verdeling van de leerlast.

3. Belangrijkste Bijdragen

• Nieuw Framework: PST introduceert een volledig ongesuperviseerde methode die gebruikmaakt van "wijshheid van de menigte" (wisdom of crowds) en peer-predictie om trainingsignalen te genereren zonder externe labels.
• Theoretische Onderbouwing: Het paper legt een theoretisch verband met de complexiteitstheorie. Het toont aan dat verifiëren (controleren of een pad correct is) computatieel eenvoudiger is (vaak in de complexiteitsklasse $TC_0$) dan het genereren van een correct pad (vaak $P$-hard of $NL$-hard). Hierdoor kan een geaggregeerde groep van modellen een sterker verificatiesignaal bieden dan een individueel model, zelfs als ze allemaal moeite hebben met generatie.
• Afwijking van Bestaande Paradigma's: In tegenstelling tot methoden die afhankelijk zijn van een sterke "teacher" of externe reward-modellen, vertrouwt PST uitsluitend op kruislingse interactie en wederzijdse voorspelbaarheid tussen modellen van vergelijkbare of verschillende schalen.

4. Resultaten

De auteurs hebben PST geëvalueerd op wiskundige redeneerbenchmarks (SimulEq, MATH-500-Numeric, en MultiArith) met drie verschillende model families: Gemma-2-2B, LLaMA-3.2-1B, en Qwen-2.5-1.5B.

• Prestatieverbetering: PST leidt tot een consistente stijging in exact-match nauwkeurigheid van 2,2% tot 4,3% ten opzichte van de originele modellen.
• Vermindering van de Generator-Verifier Gap (GV-Gap): De gemiddelde kloof tussen wat een model genereert en wat het kan verifiëren, neemt af met 26% tot 40%. Dit bevestigt dat modellen leren om hun generatie te aligneren met sterkere verificatiesignalen van hun peers.
• Ablatie Studies:
  • PST werkt ook bij modellen van dezelfde familie maar verschillende groottes (bijv. 1B vs 3B), wat aantoont dat het geen simpele "distillation" van een sterk naar een zwak model is, maar een coöperatief proces.
  • Vergelijkingen met Supervised Fine-Tuning (SFT) en Group Relative Policy Optimization (GRPO) tonen aan dat PST superieur is, zelfs zonder gebruik van externe datasets of reward-modellen.
• Schalbaarheid: Experimenten met grotere modellen (Gemma 3, LLaMA 3.1, Qwen 2.5) tonen vergelijkbare verbeteringen, wat de schaalbaarheid van de methode bevestigt.

5. Betekenis en Toekomstperspectief

Dit paper biedt een veelbelovende richting voor de toekomstige ontwikkeling van LLM's:

• Onafhankelijkheid: Het bewijst dat zelfverbetering mogelijk is zonder dure externe supervisie of menselijke feedback, wat cruciaal is voor schaalbare AI.
• Redenering: Het benut de inherente asymmetrie tussen generatie en verifiëren, wat een effectieve strategie is voor complexe redeneertaken.
• Toekomst: De auteurs wijzen op kansen voor verdere uitbreiding naar langere interactierondes (debatten), toepassing op andere domeinen (zoals kennisvragen), en het verkennen van alternatieve signalen voor peer-predictie.

Kortom, PST demonstreert dat een groep taalmodellen, door samen te werken en elkaars output te evalueren via statistische correlatie (PMI), gezamenlijk kan leren en verbeteren zonder dat er een externe leraar nodig is.