Technische Zusammenfassung: Aktives Testen großer Sprachmodelle mittels approximativer Neyman-Allokation

Problemstellung

Die Evaluierung großer Sprachmodelle (LLMs) und multimodaler Modelle ist zu einem wiederkehrenden, kostspieligen Engpass geworden. Während Modelle durch Pre-Training, Post-Training und Testzeit-Paradigmen skalieren, steigen die Rechenkosten pro Inferenz. Gleichzeitig übersteigt die Komplexität der Zielaufgaben oft die Fähigkeiten standardisierter Annotatoren, was teure Domänenexperten für die Beschriftung erforderlich macht.

Bestehende aktive Testansätze, die darauf abzielen, die Leistung der gesamten Population aus einer kleinen, informativen Teilmenge von Daten zu schätzen, sind primär für Klassifizierungsaufgaben konzipiert. Diese Methoden verlassen sich typischerweise auf:

1. Klassifizierungsähnliche Entropie: Nutzung der tokenweisen prädiktiven Entropie (PE) als Unsicherheitssignal.
2. LURE-Schätzer: Wichtigkeitsgewichtete Schätzer, die eine Neujustierung der Datenselektoren oder Zugriff auf interne Modellaktivierungen/Logits erfordern (oft in Black-Box-API-Umgebungen nicht verfügbar).

Die Autoren identifizieren, dass diese bestehenden Pipelines bei modernen generativen Aufgaben versagen, weil:

• Semantische vs. Oberflächen-Unsicherheit: Die tokenweise PE vermischt Unsicherheit über die Bedeutung mit Unsicherheit über die Oberflächenform (Paraphrasierung). Semantisch äquivalente Generationen mit unterschiedlichen Formulierungen blähen die Entropie auf, ohne echte Schwierigkeit widerzuspiegeln.
• Übermäßiges Selbstvertrauen: Moderne LLMs sind systematisch übermäßig selbstbewusst und kollabieren die tokenweise Entropie in einen schmalen Bereich niedriger Entropie, was das Akquisitionssignal abschwächt.
• Instabilität des Schätzers: Der Mechanismus der Wichtigkeitsgewichtung des LURE-Schätzers verstärkt Diskrepanzen zwischen Surrogat- und Zielmodell, was zu Varianz statt zu deren Reduktion führt.

Methodik

Die Arbeit schlägt ein neuartiges, trainingfreies und theoretisch unverzerrtes Rahmenwerk für aktives Testen vor, das auf generative und multimodale Aufgaben zugeschnitten ist. Die Methode, detailliert in Algorithmus 1 beschrieben, läuft in vier Schritten ab:

1. Signalgenerierung durch Surrogatmodelle

Anstatt sich auf die internen Zustände des Zielmodells zu verlassen, verwendet die Methode ein kleineres, günstigeres Surrogatmodell ($g$), um für jede Eingabe in der Evaluierungspopulation $D$ $k$ Antworten zu generieren.

• Semantische Entropie (SE): Um das Problem der tokenweisen versus bedeutungsebenen Unsicherheit zu adressieren, gruppiert die Methode die Generationen des Surrogats in Äquivalenzklassen der Bedeutung. Sie berechnet die Shannon-Entropie über die Wahrscheinlichkeiten dieser Klassen. Dies erfasst Unsicherheit bezüglich der Antwort und nicht der Formulierung.
• Selbstkonsistenz-Score (SC): Ein sekundäres Signal, das die Übereinstimmung unter den Generationen des Surrogats misst. Ein hoher SC zeigt Konsens (einfachere Instanzen) an, während ein niedriger SC Uneinigkeit anzeigt.

2. Stratifizierung

Die Evaluierungspopulation $D$ wird basierend auf der semantischen Entropie des Surrogatmodells in $H$ Schichten (Strata) unterteilt.

• Eine Basisschicht ($D_0$) wird für Instanzen erstellt, bei denen $SE = 0$ ist (hochgradig sicher).
• Verbleibende Instanzen ($SE > 0$) werden mittels gleichquantiler Binning-Verfahren in Gruppen eingeteilt.
• Dies erzeugt Schichten, in denen die Varianz des Zielverlusts erwartungsgemäß relativ homogen ist.

3. Approximative Neyman-Allokation

Die klassische Neyman-Allokation minimiert die Schätzvarianz, indem sie Beschriftungen proportional zur Schichtgröße ($N_h$) und zur Standardabweichung der Schicht ($\sigma_h$) zuweist. Da $\sigma_h$ jedoch ohne Beschriftung der gesamten Population unbekannt ist:

• Proxy-Strategie: Die Methode approximiert $\sigma_h$ mittels des mittleren Selbstkonsistenz-Scores ($p_h$) des Surrogats innerhalb jeder Schicht.
• Allokationsformel: Das Beschriftungsbudget $m_h$ für Schicht $h$ wird wie folgt zugewiesen:
  $$m_h \propto N_h \cdot \sqrt{p_h(1 - p_h) + \delta}$$
  wobei $\delta$ ein Glättungsversatz ist, um einen Kollaps zu verhindern, wenn $p_h \to 1$. Dies ermöglicht der Methode, mehr Budget an Schichten zu vergeben, bei denen das Surrogat hohe Unsicherheit anzeigt (niedrige Selbstkonsistenz), ohne Zielbeschriftungen zu benötigen.

4. Schätzung

Die Methode zieht $m_h$ Items aus jeder Schicht gleichverteilt und beschriftet sie mit dem Zielmodell. Sie fasst die Ergebnisse mittels eines Horvitz-Thompson-Schätzers zusammen, der für das Risiko der endlichen Population als theoretisch unverzerrt nachgewiesen ist.

Hauptbeiträge

1. Erste unverzerrte Pipeline für aktives Testen generativer Modelle: Nach Kenntnis der Autoren ist dies die erste Methode, die einen theoretisch unverzerrten, beschriftungseffizienten Schätzer speziell für die Evaluierung generativer Sprache und Multimodalität bietet, der trainingfreies Arbeiten und den Einsatz ausschließlich über APIs unterstützt.
2. Surrogatgesteuerte semantische Entropie: Die Einführung eines neuen Algorithmus, der semantische Entropie aus Surrogatmodellen nutzt, um den Stichprobenprozess zu strukturieren und semantische Unsicherheit effektiv von Variationen der Oberflächenform zu entkoppeln.
3. Proxy-Neyman-Allokation: Eine neuartige Allokationsstrategie, die Signale der semantischen Entropie mit einer varianzbewussten Budgetverteilung koppelt und damit die Notwendigkeit eliminiert, Selektoren neu zu trainieren oder auf interne Modelllogits zuzugreifen.

Empirische Ergebnisse

Die Methode wurde über vier Benchmarks (MMLU-Redux, MMLU-Pro, GPQA-Diamond, MMBench) unter Verwendung verschiedener Open-Source- (Qwen-3.5-Serie) und proprietärer (GPT-5.4-Serie) Modellpaare evaluiert.

• Leistung: Die Methode übertrifft konsequent Gleichverteiltes Sampling (Uniform Sampling) und proportionale Allokation. Im repräsentativen Setting ($M=70$) erreichte sie eine Reduktion des mittleren quadratischen Fehlers (MSE) von bis zu 28% im Vergleich zum Gleichverteilten Sampling.
• Oracle-Nähe: Die Methode folgt eng der Leistung von Oracle-Neyman (dem theoretischen Optimum, das vollständige Kenntnis der Zielvarianzen erfordert) und zeigt, dass der surrogatgesteuerte Proxy Varianzinformationen effektiv erfasst.
• Budgeteinsparungen: Bei gleicher Präzision erzielte die Methode durchschnittlich 22,9% Einsparungen bei den Kosten für Expertenbeschriftungen über die Benchmarks hinweg. Die Einsparungen reichten von 15,0% (MMBench) bis 28,0% (MMLU-Redux).
• Ablationsstudien:
  • Stratifizierung: Adaptive SE-Stratifizierung (Isolierung von Null-SE-Clustern) schnitt besser ab als Equal-Width-, k-Means- und Standard-Quantile-Binning.
  • Allokation: Die Proxy-Neyman-Strategie übertraf Equal-, Proportional- und Power-Allokationsregeln signifikant, was bestätigt, dass varianzbewusste Allokation entscheidend ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass aktives Testen für generative Modelle einen fundamentalen Wandel von tokenbasierten Metriken zu bedeutungsbasierten Metriken erfordert. Indem die Autoren von klassifizierungsähnlicher Entropie zu semantischer Entropie übergehen und instabile wichtigkeitsgewichtete Schätzer durch stratifizierte Horvitz-Thompson-Schätzung ersetzen, demonstrieren sie, dass nahezu optimale Evaluierungseffizienz ohne Neujustierung oder Zugriff auf Black-Box-Innenleben erreichbar ist.

Die Arbeit adressiert einen kritischen praktischen Engpass: die steigenden Kosten für Expertenannotation bei komplexen Schlussfolgerungsaufgaben. Durch die Reduzierung der erforderlichen Expertenbeschriftungen um durchschnittlich ~23% bei gleichzeitiger Wahrung der Evaluierungspräzision bietet die Methode eine skalierbare Lösung für die kontinuierliche Evaluierung großskaliger generativer Modelle.

Anerkannte Einschränkungen:

• Die Methode stützt sich derzeit auf Benchmarks mit überprüfbaren Ground-Truth-Antworten (geschlossene oder parsbare Antworträume). Die Erweiterung auf offene Generation bleibt aufgrund von Evaluierungsrauschen herausfordernd.
• Der Ansatz setzt den Zugriff auf ein Surrogatmodell voraus, das günstiger als das Zielmodell ist, aber mit der Ziel-Schwierigkeit korreliert, was den Einsatz in Szenarien einschränken kann, in denen kein geeignetes Surrogat existiert.