📊 statistics

FUSE: Ensembling Verifiers with Zero Labeled Data

Die Arbeit stellt FUSE vor, eine Methode zur Verbesserung der Verifikationsqualität von LLM-Ausgaben durch das Ensembling von Verifizierern ohne Zugriff auf gelabelte Ground-Truth-Daten, indem sie die bedingten Abhängigkeiten zwischen den Verifizierern kontrolliert, um spektrale Algorithmen zu optimieren.

Ursprüngliche Autoren: Joonhyuk Lee, Virginia Ma, Sarah Zhao, Yash Nair, Asher Spector, Regev Cohen, Emmanuel J. Candès

Veröffentlicht 2026-04-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Joonhyuk Lee, Virginia Ma, Sarah Zhao, Yash Nair, Asher Spector, Regev Cohen, Emmanuel J. Candès

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

FUSE: Wie man eine Gruppe von „falschen" Prüfern zu einem perfekten Ergebnis führt – ohne dass jemand die Lösung kennt

Stell dir vor, du hast einen sehr schwierigen Mathe-Rätseltest. Du hast keine Lösungsschlüssel (das wäre zu teuer oder dauert zu lange), aber du hast 10 verschiedene Lehrer, die jede Antwort bewerten sollen. Das Problem: Keiner dieser Lehrer ist perfekt. Manche sind gut in Algebra, aber schlecht in Geometrie. Andere sind manchmal selbstbewusst, aber falsch. Und manche machen sogar die gleichen Fehler, weil sie sich gegenseitig beeinflussen.

Wie findest du die eine richtige Antwort aus 100 Versuchen, ohne zu wissen, welche Antwort wirklich richtig ist?

Das ist genau das Problem, das die Forscher mit ihrer Methode namens FUSE lösen. Hier ist die Erklärung in einfachen Worten:

1. Das Problem: Der „Blinde" Prüfer

Normalerweise, wenn man KI-Modelle trainiert oder testet, braucht man einen „Goldstandard" – also jemanden, der die richtige Antwort kennt, um zu sagen: „Ja, das ist gut" oder „Nein, das ist Unsinn". Aber das kostet Zeit und Geld.

Also nutzt man oft mehrere KI-Modelle als Prüfer (Verifizierer). Aber wenn man einfach nur den Durchschnitt ihrer Meinungen nimmt (wie eine Jury, die abstimmt), kann das schiefgehen. Wenn drei Prüfer alle denselben Fehler machen, gewinnt die falsche Antwort trotzdem.

2. Die Lösung: FUSE (Der „Detektiv" unter den Prüfern)

FUSE ist wie ein cleverer Detektiv, der die Prüfer beobachtet, ohne die Lösung zu kennen. Er nutzt zwei geniale Tricks:

Trick 1: Der „Dreier-Test" (Triplet Conditional Independence)

Stell dir vor, du hast drei Prüfer: Anna, Ben und Clara.

Wenn Anna und Ben beide sagen „Das ist falsch", und Clara sagt „Das ist richtig", wer hat recht?
FUSE schaut sich an, wie oft diese Prüfer zusammen Fehler machen.
Die Analogie: Stell dir vor, du hast drei Freunde, die dir sagen, ob es regnet. Wenn Anna und Ben beide sagen „Es regnet", aber Clara sagt „Es scheint die Sonne", und du weißt, dass Anna und Ben oft zusammen lügen (weil sie sich absprechen), dann vertraust du Clara.
FUSE berechnet mathematisch, welche Prüfer sich gegenseitig „verderben" und welche unabhängig voneinander arbeiten. Er passt die Bewertungen der Prüfer so an, als würde er ihre „Augen" schärfen, damit sie unabhängiger urteilen können.

Trick 2: Die „Pseudo-Lösung" (Fake-Labels)

Da FUSE die echte Lösung nicht kennt, erfindet er vorübergehend eine „vermutete Lösung".

Er nutzt die Daten der Prüfer, um zu sagen: „Okay, basierend auf dem, was Anna, Ben und Clara sagten, sehen wir aus, als wäre Antwort Nr. 5 die richtige."
Diese „vermutete Lösung" ist nicht perfekt, aber sie ist gut genug, um ein Muster zu erkennen.
Dann nimmt FUSE diese Muster und trainiert einen kleinen Algorithmus (wie einen einfachen Lehrer), der lernt: „Wenn Anna und Ben beide hoch bewerten, ist es meistens gut. Wenn Clara das Gegenteil sagt, ist es oft falsch."

3. Das Ergebnis: Besser als die Hälfte der Experten

In den Tests hat FUSE gezeigt, dass es ohne eine einzige echte Lösung fast genauso gut oder sogar besser ist als Methoden, die 5 % der Lösungen kennen (halbierte Überwachung).

Bei einfachen Aufgaben: FUSE ist wie ein erfahrener Schiedsrichter, der die Meinungen von 33 verschiedenen Schiedsrichtern kombiniert, um den perfekten Entscheid zu treffen.
Bei extrem schweren Aufgaben (wie „Humanity's Last Exam"): Selbst wenn die Aufgaben so schwer sind, dass selbst die besten KI-Modelle oft raten müssen, findet FUSE die richtige Antwort, indem es die Schwächen der einzelnen Prüfer ausgleicht.

Warum ist das so wichtig?

Stell dir vor, du willst ein neues Medikament entwickeln. Du kannst nicht jeden Patienten testen (zu teuer). Stattdessen hast du 100 verschiedene Labore, die Tests machen. Keines ist perfekt.

Ohne FUSE: Du nimmst den Durchschnitt aller Labore. Wenn alle Labore denselben Fehler im Messgerät haben, ist das Ergebnis falsch.
Mit FUSE: Du analysierst, welche Labore sich gegenseitig beeinflussen und welche unabhängig sind. Du gewichtest die Labore neu. Plötzlich hast du ein Ergebnis, das so gut ist, als hättest du einen perfekten Chef-Laborleiter, der die Lösung kennt – obwohl du niemanden hast, der die Lösung kennt!

Zusammenfassung

FUSE ist wie ein Zaubertrick für Daten. Es nimmt eine Gruppe von unvollkommenen, manchmal widersprüchlichen Meinungen und verwandelt sie in eine extrem zuverlässige Entscheidung – ganz ohne dass jemand die „richtige Antwort" im Voraus weiß. Es ist ein großer Schritt, um KI-Systeme sicherer und effizienter zu machen, ohne Millionen von Dollar für menschliche Prüfer auszugeben.

1. Problemstellung

Die Leistungsfähigkeit von Large Language Models (LLMs) wird zunehmend durch Test-Time Scaling (Skalierung zur Laufzeit) verbessert, insbesondere durch Methoden wie Best-of-N (BoN) Sampling. Dabei werden $N$ Antworten für eine Abfrage generiert, und ein „Verifizierer" (Verifier) bewertet diese, um die beste Antwort auszuwählen.

Das zentrale Problem liegt in der Qualität dieser Verifizierer:

Fehlende Ground Truth: In der Praxis ist es oft zu teuer oder zeitaufwendig, Ground-Truth-Labels (korrekte Antworten) für jede Abfrage zu erhalten. Daher müssen unvollkommene LLM-basierte Verifizierer oder Reward-Modelle verwendet werden.
Ungleiche Qualität und Abhängigkeiten: Verifizierer haben unterschiedliche Stärken, die von der spezifischen Abfrage abhängen können. Zudem sind ihre Fehler oft nicht unabhängig voneinander (bedingte Abhängigkeiten).
Versagen einfacher Methoden: Herkömmliche Aggregationsmethoden wie einfache Mehrheitsentscheidungen (Majority Vote) oder ungewichtete Durchschnitte (Naive Ensemble) scheitern oft, wenn Verifizierer stark variieren oder korrelierte Fehler machen.
Limitierung bestehender unüberwachter Methoden: Bestehende unüberwachte Ensemble-Methoden (z. B. basierend auf Jaffe et al., 2015) gehen von strengen Annahmen aus (z. B. bedingte Unabhängigkeit der Verifizierer), die in realen LLM-Szenarien oft nicht erfüllt sind und zu schlechten Ergebnissen führen.

Das Ziel ist es, eine Methode zu entwickeln, die die Qualität der Verifizierer-Ensembles verbessert, ohne Zugriff auf Ground-Truth-Labels zu benötigen.

2. Methodik: FUSE (Fully Unsupervised Score Ensembling)

FUSE ist ein Verfahren, das Scores mehrerer Verifizierer in einer datenadaptiven Weise aggregiert, um die korrekteste Antwort auszuwählen. Es basiert auf zwei Hauptbausteinen, die statistische Konzepte aus dem Crowdsourcing und unüberwachten Ensemble-Learning adaptieren:

A. Triplet Conditional Independence (TCI) und adaptive Transformation

Das Paper baut auf der Arbeit von Jaffe et al. (2015) auf, die Sensitivität und Spezifität von Klassifikatoren ohne Labels schätzen kann, unter der Annahme der Triplet Conditional Independence (TCI). TCI besagt, dass die Ausgaben von drei Verifizierern bedingt unabhängig sind, gegeben die Ground Truth.

Das Problem: In LLM-Verifizierungsszenarien ist TCI oft verletzt (Verifizierer sind korreliert).
Die Lösung von FUSE: Statt TCI als feste Annahme zu treffen, führt FUSE eine empirische Messgröße für TCI-Verletzungen ein.
1. Transformation: FUSE transformiert die rohen Scores der Verifizierer (z. B. durch Binarisierung mit schwellenwertbasierten Transformationen $g_\tau$ ), um die TCI-Verletzung zu minimieren. Dies wird durch Koordinatenabstieg optimiert, um die Schwellenwerte $\tau^*$ zu finden, die die Varianz der TCI-Verletzung minimieren.
2. Schätzung: Auf den transformierten Scores wird der Momenten-Schätzer (Method-of-Moments, MoM) von Jaffe et al. angewendet, um die Sensitivität ( $\psi$ ) und Spezifität ( $\eta$ ) jedes Verifizierers abzuschätzen.

B. Pseudo-Labels und Optimierung des Ensembles

Anstatt eine starre Gewichtung (wie bei der Maximum-Likelihood-Schätzung unter Joint Conditional Independence) zu verwenden, nutzt FUSE die geschätzten Qualitäten, um Pseudo-Labels zu konstruieren.

Posterior-Schätzung: Unter der TCI-Annahme wird die Wahrscheinlichkeit der Korrektheit einer Antwort basierend auf den Schätzungen von $\psi, \eta$ und der Klassenungleichgewichtung berechnet. Da TCI nur für Triplets gilt, wird die Posterior-Wahrscheinlichkeit durch Mittelung über alle möglichen Triplets geschätzt.
Optimierung: Diese geschätzten Posterior-Wahrscheinlichkeiten dienen als Pseudo-Labels, um einen parametrisierten Aggregator (z. B. logistische Regression) zu trainieren. Das Ziel ist es, die Parameter $\theta$ zu finden, die die geschätzte Genauigkeit maximieren:
$\hat{\theta} = \arg \max_\theta \sum_{i=1}^N (2\hat{p}(r_i) - 1) \hat{f}_\theta(V_{i\cdot})$
Dabei ist $\hat{p}(r_i)$ die geschätzte Wahrscheinlichkeit, dass Antwort $r_i$ korrekt ist.

Dieser Ansatz umgeht die starke Annahme der Joint Conditional Independence (JCI), die in der Praxis selten gilt, und erlaubt die Nutzung beliebiger parametrischer Modelle zur Score-Aggregation.

3. Schlüsselbeiträge

Zero-Shot Ensembling: FUSE erreicht hohe Genauigkeit bei der Auswahl der besten Antwort, ohne auch nur ein einziges Ground-Truth-Label zu benötigen.
Robustheit gegen Abhängigkeiten: Durch die adaptive Transformation der Scores und die Verwendung von Pseudo-Labels ist FUSE robust gegenüber Verletzungen der bedingten Unabhängigkeitsannahmen, die andere unüberwachte Methoden scheitern lassen.
Leistungsfähigkeit: FUSE konkurriert in Tests mit halbüberwachten Methoden (die 5% der Daten gelabelt haben) und schlägt diese in vielen Szenarien, während es einfache unüberwachte Baselines (Majority Vote, Naive Ensemble) deutlich übertrifft.
Skalierbarkeit: Die Methode funktioniert sowohl bei konventionellen Benchmarks als auch bei extrem schwierigen, „gesättigten" Benchmarks (Frontier-LLMs).

4. Ergebnisse

Die Autoren evaluierten FUSE auf drei verschiedenen Datensätzen mit unterschiedlichen Schwierigkeitsgraden:

Standard-Benchmarks (Saad-Falcon et al., 2025b):
- Auf Datensätzen wie GPQA, MATH500 und MMLU (mit Llama 8B und 70B Generatoren) erreicht FUSE eine Best-of-100 Genauigkeit, die mit der halbüberwachten Methode WEAVER vergleichbar ist und diese in vielen Fällen sogar übertrifft.
- FUSE schlägt die unüberwachten Baselines (Majority Vote, Naive Ensemble) deutlich (z. B. +10 bis +17% Verbesserung auf GPQA 8B).
- In gemischten Szenarien (Heterogenität der Aufgaben) zeigt FUSE eine bessere Stabilität als halbüberwachte Methoden, wenn die Trainingslabels nur aus einer Teilmenge der Domänen stammen.
Extrem schwierige Szenarien (Humanity's Last Exam):
- Auf einem Subsample von 649 Fragen, die für aktuelle Frontier-Modelle noch unlösbar sind, übertrifft FUSE alle Baselines (einschließlich WEAVER und logistischer Regression) und erreicht 54,3% Genauigkeit (vs. 53,4% bei logistischer Regression).
- Interessanterweise performt hier das „Naive Ensemble" schlechter als eine zufällige Auswahl, was die extreme Schwierigkeit und die Notwendigkeit einer intelligenten Gewichtung unterstreicht.
IMO Shortlist (Hohe Homogenität):
- Auf einem Subset von IMO-Aufgaben, wo Verifizierer ähnlich stark und fast unabhängig sind, erreicht FUSE das Niveau eines „Naiven Ensembles" (das hier als Oracle fungiert), während andere datenabhängige Methoden dahinter zurückbleiben. Dies zeigt, dass FUSE auch in homogenen Settings funktioniert.

5. Bedeutung und Ausblick

Praktische Relevanz: FUSE löst das Problem, dass Ground-Truth-Labels oft nicht verfügbar sind, und ermöglicht dennoch eine hochqualitative Verifizierung von LLM-Ausgaben. Dies ist entscheidend für das Training von RL-Systemen (Reinforcement Learning) und die Auswahl synthetischer Daten.
Theoretischer Fortschritt: Die Arbeit verbindet erfolgreich die Literatur zu unüberwachtem Ensemble-Learning mit der modernen LLM-Verifizierung und passt die theoretischen Annahmen (TCI vs. JCI) an die Realität von LLM-Verifizierern an.
Zukünftige Anwendungen: Die Autoren sehen Potenzial für Anwendungen wie das unüberwachte Ranking von Modellen, die Auditierung von Benchmarks (Erkennung von Label-Fehlern) und das Filtern von Trainingsdaten.

Zusammenfassend demonstriert FUSE, dass durch geschickte statistische Modellierung und adaptive Transformationen die volle Leistungsfähigkeit unüberwachter Methoden weit über den aktuellen Stand hinausgehen kann, ohne auf teure menschliche Annotationen angewiesen zu sein.