🤖 AI

Submodular Benchmark Selection

Dieser Artikel formalisiert die Auswahl einer kleinen, informativen Teilmenge korrelierter Benchmarks zur Evaluierung großer Sprachmodelle als submodulares Maximierungsproblem unter einem multivariaten Gaußschen Modell und zeigt, dass ein gieriger Ansatz für die gegenseitige Information bei kleinen Teilchengrößen entropiebasierten Methoden für die Imputation überlegen ist.

Ursprüngliche Autoren: Alexander Smola

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alexander Smola

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Gastronomiekritiker, der versuchen soll, jedes Gericht an einem riesigen, endlosen Buffet zu probieren, um herauszufinden, welcher Koch der Beste ist. Sie haben 57 verschiedene Gerichte (Benchmarks) zu probieren. Doch jedes einzelne zu probieren dauert ewig, kostet ein Vermögen, und Ihr Magen kann nur eine bestimmte Menge vertragen.

Das Problem? Viele Gerichte schmecken sich sehr ähnlich. Wenn Sie die würzige Pasta lieben, werden Sie wahrscheinlich auch die würzigen Nudeln lieben. Sie sind „korreliert". Die große Frage lautet also: Welche kleine Handvoll Gerichte müssen Sie tatsächlich probieren, um die ganze Geschichte zu kennen?

Dieser Artikel von Alex Smola bietet ein mathematisches Rezept, um genau dieses Problem zu lösen. Er behandelt die Bewertungen verschiedener KI-Modelle auf verschiedenen Tests wie Zutaten in einer riesigen Suppe und nutzt einen Zweig der Mathematik namens submodulare Optimierung (was einfach eine ausgefallene Art zu sagen ist: „abnehmender Grenznutzen"), um die beste Teilmenge auszuwählen.

Hier ist die Aufschlüsselung ihres Ansatzes mit einfachen Analogien:

1. Die zwei Strategien: „Der vielfältige Probierer" vs. „Der Verbindende"

Die Autoren schlagen zwei verschiedene Wege vor, um Ihre kleine Teilmenge von Benchmarks auszuwählen. Betrachten Sie sie als zwei verschiedene Einkaufslisten für dieses Buffet.

Strategie A: Der „vielfältige Probierer" (Maximierung der Entropie)
- Das Ziel: Gerichte auswählen, die sich alle stark voneinander unterscheiden.
- Die Analogie: Sie möchten ein würziges Gericht, ein süßes Gericht, ein herzhaftes Gericht und ein saures Gericht. Sie wollen nicht drei verschiedene Arten von würziger Pasta, da sie Ihnen alle dasselbe sagen.
- Wie es funktioniert: Diese Methode sucht nach den „einzigartigsten" Benchmarks. Es ist wie das Auswählen von Stützpunkten einer Karte. Der Artikel stellt fest, dass dies mathematisch identisch mit einer Standardtechnik namens „gepivottete Cholesky-Zerlegung" ist, die eine große Matrix in kleinere, handhabbare Teile zerlegt.
- Das Ergebnis: Dies ist großartig für einen breiten Überblick, könnte aber die spezifischen Details verpassen, die die Gerichte miteinander verbinden.
Strategie B: „Der Verbindende" (Gegenseitige Information)
- Das Ziel: Gerichte auswählen, die Ihnen am meisten über die anderen Gerichte verraten, die Sie nicht ausgewählt haben.
- Die Analogie: Stellen Sie sich vor, Sie wählen ein „Master-Schlüssel"-Gericht aus. Wenn Sie wissen, wie der Koch dieses eine spezifische Gericht handhabt, können Sie genau vorhersagen, wie er die anderen 50 Gerichte handhabt, selbst wenn Sie sie nie probiert haben. Sie suchen nicht nur nach Vielfalt; Sie suchen nach dem Gericht, das die beste „Zentrale" oder „Brücke" zum Rest der Speisekarte ist.
- Wie es funktioniert: Diese Methode berechnet, wie viel Information ein Benchmark Ihnen über den Rest der nicht ausgewählten Benchmarks gibt.
- Das Ergebnis: Der Artikel stellte fest, dass für kleine Budgets (das Probieren von nur 1 bis 5 Gerichten) diese „Verbindende"-Strategie der Gewinner ist. Sie sagt die fehlenden Bewertungen viel besser vorher als der „vielfältige Probierer".

2. Das Problem des „fehlenden Menüs"

In der realen Welt wurde nicht jedes KI-Modell auf jedem Benchmark getestet. Es ist wie eine Speisekarte, bei der einige Köche noch nicht einige Gerichte zubereitet haben. Die Daten sind unvollständig.

Die Lösung: Die Autoren verwenden einen statistischen Trick namens EM (Expectation-Maximization).
Die Analogie: Stellen Sie sich vor, Sie versuchen, das Rezept einer Suppe zu erraten, aber Sie haben nur einige Löffelvoll davon. Sie raten die fehlenden Zutaten basierend auf dem, was Sie haben, probieren die „Vermutung" und passen dann Ihr Rezept an. Sie wiederholen diesen Prozess immer wieder, bis Ihre Vermutung zu einer sehr genauen Schätzung der vollen Suppe wird. Dies ermöglicht es ihnen, auch mit unordentlichen, unvollständigen Daten ein vollständiges Bild zu erstellen.

3. Die „Surrogat-Lücke" (Warum der Gewinner gewinnt)

Der Artikel entdeckte eine faszinierende Kuriosität, die sie „Surrogat-Lücke" nennen.

Die Beobachtung: Der „vielfältige Probierer" (Entropie) leistet tatsächlich einen besseren Job beim Reduzieren des mathematischen Fehlers der verbleibenden Gerichte (Residualvarianz). Er wählt die statistisch unabhängigsten Elemente aus.
Die Wendung: Wenn es jedoch darum geht, die Bewertungen der Gerichte vorherzusagen, die Sie nicht ausgewählt haben, gewinnt der „Verbindende" (Gegenseitige Information), insbesondere wenn Sie nur wenige auswählen können.
Warum? Weil der „vielfältige Probierer" Elemente auswählt, die einzigartig sind, aber möglicherweise nicht sehr hilfreich sind, um die anderen zu erraten. Der „Verbindende" wählt Elemente aus, die eng mit dem Rest der Gruppe verknüpft sind. Wenn Sie die Zukunft erraten wollen, brauchen Sie die Zentrale, nicht nur die Ausreißer.

4. Die Ergebnisse: Wie viele brauchen Sie?

Die Autoren testeten dies an realen Daten von zehn verschiedenen KI-Ranglisten (wie MMLU, das 57 Themen hat, und MTEB, das 56 Aufgaben hat).

Die gute Nachricht: Sie müssen nicht alles testen.
Die Zahlen:
- Auf dem MMLU-Datensatz (57 Themen) ermöglichte die Auswahl von nur 5 sorgfältig gewählten Benchmarks, die Bewertungen der anderen 52 mit 91 % Genauigkeit vorherzusagen.
- Selbst auf einem unordentlichen, unvollständigen Datensatz erfasste die Auswahl von 15 Benchmarks mehr als die Hälfte der Informationen des gesamten Satzes.
Die Visualisierung: Sie betrachteten das „Spektrum" der Daten (wie das Betrachten der Farben in einem Regenbogen). Sie stellten fest, dass die Information in eine sehr kleine Anzahl von „Farben" (Dimensionen) gepackt ist. Sobald Sie die richtigen wenigen ausgewählt haben, ist der Rest nur Rauschen.

Zusammenfassung

Wenn Sie KI-Modelle bewerten möchten, ohne Ihr Budget oder Ihre Geduld zu sprengen:

Wählen Sie nicht einfach zufällige Tests aus.
Wählen Sie nicht einfach die „verschiedensten" Tests aus.
Wählen Sie die Tests aus, die als beste „Verbindende" zur restlichen Gruppe fungieren.
Wenn Sie nur ein winziges Budget haben (1–5 Tests), verwenden Sie die Methode der Gegenseitigen Information. Wenn Sie ein größeres Budget haben, holt der „vielfältige Probierer" auf.

Der Artikel bietet eine mathematische „Einkaufsliste", um Forschern zu helfen, Zeit mit redundanten Tests zu verschwenden und sich auf die wenigen zu konzentrieren, die tatsächlich zählen.

Technische Zusammenfassung: Submodulare Benchmark-Auswahl

Problemstellung

Eine umfassende Evaluierung von Large Language Models (LLMs) erfordert deren Ausführung auf einer umfangreichen und wachsenden Menge an Benchmarks. Dieser Prozess ist rechenintensiv und zeitaufwendig. Empirische Befunde deuten jedoch darauf hin, dass viele Benchmarks stark korreliert sind; eine starke Leistung bei einer Benchmark sagt oft eine starke Leistung bei einer anderen voraus. Diese Redundanz impliziert, dass eine kleine, gut gewählte Teilmenge von Benchmarks den Großteil der im vollständigen Satz enthaltenen Informationen erfassen könnte. Die zentrale Herausforderung besteht darin, zu identifizieren, welche spezifische Teilmenge auszuwählen ist, und die optimale Teilmengengröße zu bestimmen, um den Informationsgewinn zu maximieren und gleichzeitig die Evaluierungskosten zu minimieren.

Methodik

Die Autoren formalisieren die Benchmark-Auswahl als submodulares Optimierungsproblem. Gegeben eine Score-Matrix $B \in \mathbb{R}^{M \times N}$ , die $M$ Modelle darstellt, die auf $N$ Benchmarks evaluiert wurden, werden die Scores als unabhängige Ziehungen aus einer multivariaten Gauß-Verteilung $\mathcal{N}(\mu, \Sigma)$ modelliert. Das Ziel ist es, eine Teilmenge $A \subseteq \{1, \dots, N\}$ der Größe $k$ auszuwählen, um eines von zwei Zielen zu optimieren:

Maximierung der Entropie ( $H(X_A)$ ): Maximierung der gemeinsamen Unsicherheit der ausgewählten Benchmarks. Unter dem Gauß-Modell entspricht dies der Maximierung von $\log \det(\Sigma_{AA})$ . Dieses Ziel ist monoton submodular (mit entsprechender Verschiebung) und fällt mit der pivotalen Cholesky-Zerlegung zusammen. Der Greedy-Algorithmus für dieses Ziel wählt Benchmarks aus, die die verbleibende bedingte Varianz maximieren, und liefert eine Diagnose, die mit dem Kovarianzspektrum verknüpft ist.
Maximierung der gegenseitigen Information ( $I(X_A; X_{\bar{A}})$ ): Maximierung der Information, die die ausgewählten Benchmarks über das nicht ausgewählte Komplement liefern. Dieses Ziel ist submodular, aber im Allgemeinen nicht monoton. Die Autoren stellen fest, dass für kleine Teilmengengrößen $k$ der marginale Gewinn positiv bleibt, was die Verwendung eines Greedy-Heuristikums ermöglicht. Dieser Ansatz kombiniert Vorwärts-Cholesky-Aktualisierungen mit einer Refaktorisierung des Komplements, um den marginalen Gewinn effizient zu berechnen.

Umgang mit fehlenden Daten:
Score-Matrizen aus der realen Welt sind oft unvollständig (nicht alle Modelle wurden auf allen Benchmarks evaluiert). Die Autoren verwenden den Expectation-Maximization (EM)-Algorithmus, um den Mittelwertvektor $\mu$ und die Kovarianzmatrix $\Sigma$ aus teilweise beobachteten Einträgen zu schätzen und behandeln fehlende Werte als latente Variablen unter der Annahme „Missing At Random" (MAR).

Imputation:
Sobald eine Teilmenge $A$ ausgewählt ist, werden nicht beobachtete Scores für neue Modelle unter Verwendung des bedingten Erwartungswerts der Gauß-Verteilung imputiert:
$E[B_{i\bar{A}} | B_{iA}] = \mu_{\bar{A}} + \Sigma_{\bar{A}A} \Sigma_{AA}^{-1} (B_{iA} - \mu_A)$

Hauptbeiträge

Die Arbeit stellt eine End-to-End-Pipeline für die Benchmark-Auswahl vor mit folgenden spezifischen Beiträgen:

Submodulare Ziele: Die Formulierung zweier submodularer Ziele (Entropie und gegenseitige Information) für die Benchmark-Auswahl sowie effiziente, numerisch stabile Greedy-Algorithmen für beide.
EM-basierte Schätzung: Eine Methode zur Schätzung der Kovarianzmatrix aus unvollständigen Score-Matrizen unter Verwendung von EM, die die Anwendung dieser Methoden auf reale, sparse Leaderboard-Daten ermöglicht.
Spektrale Diagnose: Ein Diagnosewerkzeug, das den Eigenwertzerfall und die Spur des Residuums der pivotalen Cholesky-Zerlegung nutzt, um die geeignete Teilmengengröße $k$ zu bestimmen. Ein schneller empirischer Eigenwertzerfall deutet darauf hin, dass kleine Teilmenge wahrscheinlich wirksam sind.
Empirische Validierung: Experimente an drei Score-Matrizen, die von zehn öffentlichen Leaderboards abgeleitet wurden (MMLU, MTEB und eine zusammengeführte heterogene Menge).

Experimentelle Ergebnisse

Die Autoren bewerteten ihren Ansatz unter Verwendung einer 10-fachen Kreuzvalidierung an drei Datensätzen:

MMLU (5.452 Modelle, 57 Aufgaben, vollständig beobachtet): Mit nur $k=5$ ausgewählten Benchmarks erreichte die Auswahl nach gegenseitiger Information (MI) eine Imputations- $R^2$ von 0,91. Die Entropieauswahl erreichte 0,89. Beide Methoden schnitten deutlich besser ab als eine zufällige Auswahl.
MTEB (263 Modelle, 56 Aufgaben, 77 % beobachtet): Die MI-Auswahl übertraf die Entropieauswahl für kleine $k$ (z. B. $k \le 3$ ) mit einem Abstand von etwa 10 $R^2$ -Punkten.
MERGED (118 Modelle, 114 Aufgaben, 31 % beobachtet): Dieser spärliche, heterogene Datensatz war die größte Herausforderung. Die MI-Auswahl behielt für größere $k$ einen klaren Vorteil gegenüber der Entropieauswahl und erreichte bei $k=15$ eine $R^2 \approx 0,59$ im Vergleich zu 0,55 für die Entropie.

Wichtige Erkenntnisse:

Die „Surrogate-Lücke": Während die Entropieauswahl die Residualvarianz der ausgewählten Menge minimiert (eine Eigenschaft der pivotalen Cholesky-Zerlegung), maximiert sie nicht immer die Vorhersagekraft für die nicht ausgewählten Benchmarks. Die MI-Auswahl, die die Kopplung mit dem Komplement explizit belohnt, liefert für kleine Teilmengengrößen eine überlegene Imputationsqualität.
Skalierbarkeit: Für gut konditionierte Datensätze holt die Entropieauswahl mit zunehmendem $k$ schließlich auf oder überholt die MI. Für budgetbeschränkte Szenarien (kleines $k$ ) ist MI jedoch das bevorzugte Ziel.
Robustheit: Obwohl formale Normalitätstests die Gauß-Annahme für alle Datensätze ablehnten, lieferte der Gaußsche bedingte Mittelwert (der beste lineare Prädiktor) hochgenaue Imputationen und validierte das Gauß-Modell als praktische Arbeitsapproximation.

Bedeutung und Behauptungen

Die Arbeit beansprucht, einen prinzipiellen, informationstheoretischen Rahmen für die präskriptive Benchmark-Auswahl zu liefern. Im Gegensatz zu früheren Arbeiten, die sich auf die Reduzierung von Redundanz innerhalb einer einzelnen Benchmark oder das Erlernen latenter Fähigkeiten konzentrieren, wählt dieser Ansatz ganze Benchmarks aus, die ausgeführt werden sollen, und imputiert den Rest, ohne ein komplexes Vorhersagemodell über die Kovarianzschätzung hinaus zu trainieren.

Die Autoren betonen, dass:

MI für kleine Budgets überlegen ist: Die Auswahl nach gegenseitiger Information ist die empfohlene Strategie, wenn Rechenressourcen begrenzt sind und das Ziel darin besteht, Scores für die verbleibenden Benchmarks zu imputieren.
Entropie für Vielfalt nützlich ist: Die Entropieauswahl bleibt wertvoll, um die Vielfalt der ausgewählten Menge zu maximieren oder die Residualvarianz in gut konditionierten, größeren Teilmengen zu reduzieren.
Spektralanalyse diagnostisch ist: Der Eigenwertzerfall der Score-Kovarianz dient als zuverlässiger Indikator dafür, wann kleine Benchmark-Teilmengen wirksam sein werden.

Die Arbeit schließt, dass eine kleine Anzahl sorgfältig gewählter Benchmarks einen unverhältnismäßig großen Anteil an evaluativer Information erfassen kann, was potenziell die Rechenkosten der LLM-Evaluierung senkt, während eine hohe Genauigkeit bei der Leistungsschätzung erhalten bleibt.