Technische Samenvatting: Het verkleinen van de generatie-verificatiekloof met zwakke verifiers

Probleemdefinitie

De implementatie van Large Language Models (LM's) staat voor een kritieke bottleneck in verificatie: het vermogen om het juiste antwoord accuraat te scoren en te selecteren uit een verzameling gegenereerde kandidaten. Hoewel "orakel"-verifiers (bijv. formele stellingbewijzers zoals Lean of menselijke experts) correcte antwoorden perfect kunnen identificeren, zijn zij vaak niet schaalbaar of beperkt in reikwijdte. Daartegenover staan algemene "zwakke" verifiers—zoals LM-judges en reward models—die wel schaalbaar zijn, maar lijden onder ruis, inconsistente scores, slechte kalibratie en een hoog aantal fout-positieven.

Deze discrepantie creëert een generatie-verificatiekloof: een LM kan een correct antwoord genereren binnen een set kandidaten (hoge Pass@K), maar een zwakke verifier faalt er vervolgens in dit te identificeren, wat resulteert in een lage Success Rate. Het paper stelt dat hoewel individuele zwakke verifiers imperfect zijn, een pool van diverse verifiers complementaire signalen bevat die, indien correct geaggregeerd, deze kloof kunnen dichten zonder dat er voor elke inferentiestap grondwaarheid-labels nodig zijn.

Methodologie: Het Weaver-framework

De auteurs introduceren Weaver, een framework ontworpen om meerdere zwakke, imperfecte verifiers te aggregeren tot één sterke, verenigde verifier zonder te vertrouwen op supervised fine-tuning op grote datasets met grondwaarheid. Weaver past technieken van Weak Supervision (WS) aan voor de verificatie-setting, waarbij drie specifieke uitdagingen worden aangepakt: inconsistente outputformaten, kwalitatief lage verifiers en het gebrek aan gelabelde data voor het leren van gewichten.

1. Gewogen versus Ongewogen Ensembles

Het paper stelt eerst vast dat het ongewogen middelen van verifier-scores suboptimaal is omdat de nauwkeurigheid van verifiers aanzienlijk varieert (met een verschil tot 37,5% in success rates). Hoewel gewogen ensembles die getraind zijn op gelabelde data de ongewogen middeling met wel 11,2 procentpunt kunnen overtreffen, is dergelijke data schaars in realistische inferentie-scenario's.

2. Aanpassing van Weak Supervision

Weaver maakt gebruik van een latent variable graphical model om de nauwkeurigheid van verifiers te schatten en hun outputs te combineren.

• Input Transformatie: Verifier-outputs (continue scores, logits of binaire stemmen) worden genormaliseerd naar $[0,1]$ en gebinariseerd tot stemmen $\bar{s}_{ijk} \in \{0,1\}$.
• Filtering: Om de stabiliteit van het WS-algoritme te waarborgen, filtert Weaver verifiers uit met extreme marginale distributies (bijv. die bijna altijd voor "ja" of "nee" stemmen), die weinig signaal bieden en de identificeerbaarheid van het model kunnen breken.
• Latent Variable Model: Het framework modelleert de werkelijke correctheid $Y$ als een latente variabele en verifier-stemmen $S_k$ als observeerbare variabelen. Er wordt uitgegaan van conditionele onafhankelijkheid ($S_i \perp S_j | Y$).
• Parameter Schatting: In plaats van gelabelde data te gebruiken om gewichten te leren, gebruikt Weaver moment matching. Het construeert een objectieve functie gebaseerd op de gezamenlijke waarschijnlijkheden van verifier-paren en hun marginalen (afgeleid van de ongelabelde testset) om de nauwkeurigheidsparameters ($w_{k,1}$ en $w_{k,0}$) te schatten via gradiëntafdaling. Deze geschatte nauwkeurigheden dienen als de gewichten voor de uiteindelijke ensemble-score.

3. Distillatie voor Efficiëntie

Het draaien van een ensemble van meer dan 30 verifiers voor elke query is computationeel onhaalbaar. Om dit te mitigeren, trainen de auteurs een compacte 400M-parameter cross-encoder (ModernBERT-Large) met behulp van de posterieure waarschijnlijkheden die door Weaver worden gegenereerd als "pseudolabels". Dit gedistilleerde model leert de selectiestrategie van het ensemble na te bootsen.

Belangrijkste Resultaten

Prestatiewinst

Geëvalueerd op redeneer- en wiskundige benchmarks (MATH500, GPQA Diamond, MMLU College/Pro) met Llama 3.3 70B Instruct als generator en een ensemble van 33 reward models en LM-judges:

• Kloof Reductie: Weaver verbetert de success rate ten opzichte van de standaard Pass@1 (First Sample) met 17,9% voor 8B-modellen en 14,5% voor 70B-modellen.
• State-of-the-Art Vergelijking: Door een niet-redenerende 70B generator met Weaver te gebruiken, bereikt het systeem een gemiddelde nauwkeurigheid van 87,7%, wat in de buurt komt van o3-mini van OpenAI (86,7%) en GPT-4o (69,0%) aanzienlijk overtreft. Deze prestatie wordt behaald zonder parameter fine-tuning of post-training interventies, uitsluitend door test-time scaling.
• Superioriteit t.o.v. Baselines: Weaver presteert 13,5% beter dan majority voting en 17,1% beter dan ongewogen ensembles.

Schaalbaarheidseigenschappen

• Aantal Verifiers: De prestaties schalen met het aantal verifiers, waarbij Weaver consequent 2,4% tot 10,1% beter presteert dan ongewogen middeling naarmate er meer modellen worden toegevoegd.
• Computationele Efficiëntie: De gedistilleerde 400M cross-encoder behoudt 98,7% van de volledige ensemble-nauwkeurigheid van Weaver, terwijl de inferentie-computatiekosten met 99,97% worden verminderd (een besparing van ~35 exaFLOPs per query naar ~1 exaFLOP).

Betekenis en Claims

Het paper claimt dat Weaver een pad aantoont naar schaalbare, label-efficiënte en compute-efficiënte verificatie. De primaire bijdragen zijn:

1. Gewogen Aggregatie: Het bewijs dat gewogen ensembles van zwakke verifiers individuele verifiers en majority voting substantieel overtreffen, mits de gewichten effectief worden geleerd.
2. Ongesuperviseerde Gewicht-lering: Het ontwikkelen van een principieel aanpak om de nauwkeurigheid van verifiers te schatten met behulp van weak supervision, wat effectieve ensemble-weging mogelijk maakt zonder kostbare grondwaarheid-annotaties.
3. Compute-Nauwkeurigheid Trade-off: Het aantonen dat het distilleren van een complex verifier-ensemble naar een lichtgewicht cross-encoder bijna alle winst in nauwkeurigheid behoudt terwijl de computationele kosten met drie ordes van grootte worden verminderd.

De auteurs concluderen dat het strategisch combineren en distilleren van zwakke verifiers zorgt voor verbeterde datafiltering, model alignment en inferentie-besluitvorming, waardoor de generatie-verificatiekloof effectief wordt verkleind zonder dat het basis-generator model opnieuw getraind hoeft te worden.