Self-Evaluation Is Already There: Eliciting Latent Judge Calibration in Base LLMs with Minimal Data
Dit artikel toont aan dat basis grote taalmodellen reeds over een latente bekwaamheid beschikken om externe beoordelaarsscores te voorspellen, die effectief ont Claus en verfijnd kunnen worden tot een overdraagbare zelfevaluatievaardigheid via de voorgestelde Self-Evaluation Elicitation (SEE) methode met minimale data.
Oorspronkelijke auteurs:XiuYu Zhang, Yi Shan, Junfeng Fang, Zhenkai Liang
Oorspronkelijke auteurs: XiuYu Zhang, Yi Shan, Junfeng Fang, Zhenkai Liang
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een groot taalmodel (LLM) voor als een getalenteerde maar ietwat verlegen student die al een enorme bibliotheek aan boeken heeft gelezen (pre-training). De paper stelt de vraag: Kan deze student raden hoe een strenge docent hun essay zou beoordelen voordat de docent het zelfs maar heeft gezien?
De onderzoekers ontdekten dat de student het antwoord eigenlijk al weet. Zelfs zonder speciale training kan het model "voelen" hoe goed zijn eigen schrijfwerk is, hoewel de inschattingen een beetje wazig en overmoedig zijn.
Om dit op te lossen, hebben ze een methode uitgevonden genaamd Self-Evaluation Elicitation (SEE). Denk aan een studiesessie van twee stappen die heel weinig tijd kost:
De oefenronde (RL): De student schrijft een essay en probeert het vervolgens direct zelf te beoordelen. Een "docent" (een externe AI-beoordelaar) beoordeelt het ook. De student krijgt punten, niet alleen voor het schrijven van een goed essay, maar ook voor het accuraat beoordelen van zichzelf.
De gerichte correctie (Distillation): Dit is het slimme gedeelte. De onderzoekers nemen de oefenessays van de student en zeggen: "Je hebt het essay perfect geschreven, dus verander geen enkel woord ervan. Maar je zelfbeoordeling was fout. Laten we jouw cijfer gewoon uitgummen en het juiste cijfer van de docent op die plek opschrijven."
Door deze cyclus slechts 160 keer te herhalen (een piepkleine hoeveelheid data vergeleken met de duizenden die normaal gesproken nodig zijn), leert het model de score van de docent met hoge precisie te voorspellen.
De belangrijkste conclusie: De paper betoogt dat het vermogen om kwaliteit te beoordelen niet iets is dat we vanaf nul moeten leren. Het is als een verborgen spier die het model al heeft; we hoeven het alleen maar met een paar lichte oefeningen te "eliciteren" (naar voren te brengen). Eenmaal getraind, kan het model betrouwbaar voorspellen hoe goed zijn antwoorden zijn, zonder dat hij elke keer de docent om hulp hoeft te vragen.
Probleem Large language models (LLM's) worden steeds vaker geëvalueerd door andere LLM's die als rechter fungeren. Een cruciale openstaande vraag is of een model kan voorspellen hoe een externe rechter de scores van zijn eigen open eind-outputs zal geven, met name in scenario's waar geen verifieerbare grondwaarheid bestaat. Hoewel recent werk modellen heeft getraind om scalaire correctheid te voorspellen op verifieerbare taken (bijv. wiskunde), blijft het onduidelijk of basismodellen over de latente capaciteit beschikken om kwaliteitsscores met meerdere attributen van externe rechters te benaderen in open scenario's, en of deze capaciteit uitgebreide training vereist of slechts elicitatie.
Methodologie De auteurs stellen Self-Evaluation Elicitation (SEE) voor, een lichtgewicht, cyclische procedure die is ontworpen om latente zelfevaluatiecapaciteiten naar boven te halen met minimale data. SEE wisselt af tussen twee fasen:
Calibration-Coupled RL: Het model genereert een respons gevolgd door een inline zelfevaluatieblok dat scores bevat voor vijf attributen (behulpzaamheid, correctheid, coherentie, complexiteit, bewoording/verbositeit). Een externe rechter scoort dezelfde respons. De beloningsfunctie combineert een kwaliteitsterm (gebaseerd op evaluatieve attributen) en een niet-lineaire kalibratieterm (gebaseerd op de Mean Absolute Error tussen voorspelde en werkelijke scores over alle vijf de attributen). Deze fase optimaliseert de volledige respons met behulp van GRPO.
Masked Judge Distillation: Gebruikmakend van rollouts verzameld tijdens de RL-fase, wordt het model via supervised learning gefinetuned. Cruciaal is dat de loss alleen wordt toegepast op de zelfevaluatie-tokens, waarbij de voorspelde scores van het model worden vervangen door de werkelijke scores van de rechter, terwijl de antwoord-tokens ongewijzigd blijven. Deze fase maakt gebruik van gestratificeerde round-robin sampling om dekking te garanderen over het volledige spectrum van score-bins, wat voorkomt dat het model alleen gemiddelde voorspellingen leert.
Kernbijdragen
Herformulering van Zelfevaluatie: Het artikel toont aan dat basis-LLM's de scores van externe rechters al in een aanzienlijke mate benaderen vóór gerichte training, wat zelfevaluatie herformuleert als een probleem van elicitatie in plaats van acquisitie.
Data-efficiëntie: SEE bereikt superieure kalibratie en kwaliteitsbehoud met slechts 160 unieke voorbeelden, ongeveer 31 keer minder dan een standaard reinforcement learning-baseline (Adapted RLCR).
Robuustheid en Lokalisatie: De geëliciteerde zelfevaluatie is scherp gelokaliseerd binnen de eigen tokenverdeling van het model (de score van de rechter verschijnt frequent in de top-5 voorspelde tokens) en generaliseert robuust naar held-out rechters die niet tijdens de training zijn gezien.
Resultaten Geëvalueerd op Qwen3-4B-Base over drie open-eind benchmarks (LC AlpacaEval 2.0, Arena-Hard-Auto v2.0, WildBench v2) en HelpSteer2 validatie:
Baseline Prestaties: Het ongetrainde basismodel voorspelt de scores van de rechter al met een kalibratiescore van 0.50–0.70, wat aanzienlijk boven de kans is.
Verbetering: Na 15 cycli verbetert SEE de held-out kalibratie met 0.25–0.66 Mean Absolute Error (MAE) vergeleken met het basismodel, waarbij het Adapted RLCR overtreft dat aanzienlijk meer data gebruikt.
Kwaliteitsbehoud: In tegenstelling tot methoden die de antwoordkwaliteit kunnen verslechteren om de kalibratie te verbeteren, behoudt SEE de antwoordkwiteit of verbetert deze zelfs licht, terwijl de zelfvoorspelling wordt aangescherpt.
Generalisatie: Wanneer opnieuw gescoord door verschillende rechters (Claude Sonnet 4.6, Gemini 3.1 Flash-Lite), behoudt het SEE-model zijn superieure rangschikking ten opzichte van baselines, wat aangeeft dat de geleerde capaciteit een overdraagbaar begrip van kwaliteit is in plaats van overfitting op een specifieke rechter.
Significantie Het artikel betoogt dat rechter-gealigneerde zelfevaluatie grotendeels een "readout-probleem" is, waarbij post-training dient om bestaande capaciteiten naar boven te brengen en te versterken in plaats van nieuwe te installeren. Door de zelfevaluatie-tokens te isoleren tijdens distillatie, demonstreert SEE dat specifieke evaluatieve gedragingen kunnen worden verfijnd zonder de generatieve distributie van het model te verstoren. Dit suggereert dat dure, grootschalige trainingsruns niet noodzakelijk zijn om modellen af te stemmen op de voorkeuren van een rechter, wat een efficiënter pad biedt naar betrouwbare zelfbeoordeling.