FUSE: Ensembling Verifiers with Zero Labeled Data

Probleemstelling

De prestaties van grote taalmodellen (LLMs) worden steeds vaker verbeterd door test-time scaling, waarbij technieken zoals Best-of-N (BoN) sampling worden gebruikt. Hierbij worden $N$ antwoorden gegenereerd voor een enkele query, en selecteert een "verifier" (een beoordelingsmodel) het beste antwoord.

Het huidige probleem is dat het verkrijgen van grondwaarheid (ground truth) labels door menselijke experts tijdrovend en duur is. In de praktijk worden daarom vaak imperfecte LLM-verifiers of reward-modellen gebruikt. Wanneer men meerdere van deze imperfecte verifiers combineert (ensembles) om de betrouwbaarheid te verhogen, ontstaan er twee uitdagingen:

1. Onbekende kwaliteit: Zonder grondwaarheid is het moeilijk om te weten welke verifiers betrouwbaar zijn en welke niet.
2. Afhankelijkheid: Traditionele methoden voor het combineren van verifiers (zoals gemiddelden of meerderheidsstemming) gaan vaak uit van onafhankelijkheid tussen de verifiers. In werkelijkheid zijn LLM-verifiers echter vaak conditioneel afhankelijk (ze maken vergelijkbare fouten), wat de prestaties van simpele aggregatieregels sterk beïnvloedt.

Bestaande semi-supervised methoden vereisen een klein deel gelabelde data (bijv. 5% van de vragen), wat een beperking blijft. Het doel is een methode te ontwikkelen die geen enkele gelabelde data nodig heeft om een effectief ensemble te bouwen.

---

Methodologie: FUSE (Fully Unsupervised Score Ensembling)

FUSE is een methode die de scores van meerdere verifiers op een data-adaptieve manier aggregeert zonder gebruik te maken van grondwaarheid. De aanpak is gebaseerd op statistische literatuur over crowdsourcing en spectrale algoritmen, maar past deze aan voor de realiteit van LLM-verifiers.

De methode bestaat uit drie hoofdstappen (zoals gevisualiseerd in Figuur 2 van het paper):

1. Adaptieve Score-transformatie (Triplet Conditional Independence)

Traditionele spectrale methoden (zoals die van Jaffe et al., 2015) vereisen de aanname van Triplet Conditional Independence (TCI): gegeven de grondwaarheid, zijn de scores van drie willekeurige verifiers onderling onafhankelijk. In LLM-scenario's is deze aanname vaak onwaar.

• Innovatie: FUSE introduceert een empirische maatstaf voor de schending van TCI die berekend kan worden zonder labels.
• Proces: Het algoritme zoekt een transformatie $g_\tau$ (bijvoorbeeld het binariseren van scores met specifieke drempelwaarden) die deze TCI-schending minimaliseert. Door de ruwe scores te transformeren naar een ruimte waar de TCI-aanname beter geldt, kan de spectrale schattingsmethode betrouwbaar worden toegepast.

2. Schatting van Verifier-Kwaliteit (Method of Moments)

Zodra de scores zijn getransformeerd, past FUSE een Method of Moments (MoM) schatter toe (gebaseerd op Jaffe et al., 2015).

• Het berekent momenten (gemiddelde, covariantie, en derdemomenten) van de scoresmatrix.
• Onder de (nu beter geldende) TCI-aanname kunnen hieruit de sensitiviteit ($\psi$) en specificiteit ($\eta$) van elke verifier worden afgeleid.
• Dit resulteert in schattingen van de kwaliteit van elke verifier voor een specifieke query, puur op basis van de onderlinge correlaties in de scores.

3. Constructie van het Ensemble (Pseudo-labels)

Met de geschatte kwaliteiten ($\hat{\psi}, \hat{\eta}$) bouwt FUSE een ensemble:

• Pseudo-labels: In plaats van de sterke aanname van Joint Conditional Independence (JCI) te maken (die vaak onhoudbaar is), gebruikt FUSE de geschatte kwaliteiten om pseudo-labels te genereren voor de antwoorden. Dit gebeurt door de posterior-kans op correctheid te schatten op basis van combinaties van drie verifiers.
• Optimalisatie: Deze pseudo-labels worden gebruikt om een parametriseerbaar aggregatiemodel (bijvoorbeeld logistische regressie) te trainen. Het model leert welke gewichten of regels het beste werken om de geschatte correctheid te maximaliseren.
• Selectie: Het finale ensemble kiest het antwoord met de hoogste voorspelde correctheid.

---

Belangrijkste Bijdragen

1. Zero-Shot Ensembling: FUSE is de eerste methode die een hoogwaardig ensemble van verifiers kan bouwen zonder enige grondwaarheid labels, terwijl het presteert op niveau met of beter dan semi-supervised methoden.
2. Omgaan met Afhankelijkheid: Door de TCI-aanname adaptief te verifiëren en te corrigeren via score-transformatie, overbrugt FUSE de kloof tussen theoretische spectrale methoden en de complexe, afhankelijke realiteit van LLM-verifiers.
3. Generalisatie: De methode werkt zowel met discrete (binair) als continue (reële) scores en is toepasbaar op diverse domeinen (wiskunde, wetenschap, redenering).
4. Validatie op Frontier Benchmarks: Het paper valideert de methode niet alleen op standaard benchmarks, maar ook op extreem moeilijke, nog niet verzadigde benchmarks zoals Humanity's Last Exam en de IMO Shortlist.

---

Resultaten

De auteurs hebben FUSE getest op diverse datasets en vergelijkingen gemaakt met baselines (meerderheidsstemming, naive ensemble, en semi-supervised methoden zoals WEAVER).

• Prestaties op Standaard Benchmarks (Saad-Falcon et al. data):

  • FUSE presteert concurrerend met of beter dan semi-supervised methoden (zoals WEAVER en logistische regressie) die 5% gelabelde data gebruiken.
  • In de 70B-parameter setting behaalde FUSE bijvoorbeeld 64.4% op GPQA Diamond, vergeleken met 64.1% voor WEAVER.
  • FUSE overtreft consistent simpele unsupervised baselines (naive ensemble en majority vote) met grote marges (bijv. +12% tot +17% verbetering).

• Extreme Moeilijkheid (Humanity's Last Exam):

  • Op deze zeer moeilijke dataset (waar zelfs state-of-the-art modellen worstelen) presteerde FUSE met 54.3% nauwkeurigheid.
  • Dit was beter dan de "Oracle Best Verifier" (53.5%) en de semi-supervised logistische regressie (53.4%).
  • Opmerkelijk: De "naive ensemble" presteerde hier slechter dan willekeurige selectie, wat aantoont dat FUSE inderdaad complexe patronen leert die simpele middeling niet kan vangen.

• Homogene Verifiers (IMO Shortlist):

  • In een setting met zeer vergelijkbare verifiers (waar naive ensemble bijna optimaal is), presteerde FUSE gelijk aan de naive ensemble, maar bleef superieur aan andere data-afhankelijke methoden die faalden door overfitting of slechte aannames.

• Robuustheid: FUSE presteerde goed in "mixed" settings met heterogene taken, waar semi-supervised methoden vaak last hadden van distributieveranderingen (distribution shift).

---

Betekenis en Toekomstperspectief

FUSE heeft een significante impact op het veld van Large Language Models:

• Kostenefficiëntie: Het elimineert de noodzaak van dure menselijke annotatie voor het trainen of fine-tunen van verifiers, wat de schaalbaarheid van test-time computing drastisch verhoogt.
• Toepassingsgebied: De techniek is niet beperkt tot BoN-selectie. Het kan worden gebruikt voor:
  • Unsupervised Model Ranking: Het rangschikken van modellen zonder grondwaarheid.
  • Audit van Benchmarks: Het detecteren van fouten in bestaande datasets door inconsistenties tussen geschatte en verwachte correctheid te vinden.
  • Data Filtering: Het selecteren van hoogwaardige synthetische data voor training zonder menselijke tussenkomst.

Het paper concludeert dat FUSE bewijst dat het volledige potentieel van unsupervised methoden verder reikt dan de huidige grenzen, en dat het mogelijk is om betrouwbare verificatie te bereiken zonder de "gouden standaard" van menselijke labels.