🤖 AI

MINCE: Shrinking LLM Evaluation Datasets via Few-Model Monte Carlo Calibration

Das Papier stellt MINCE vor, eine auf Monte-Carlo basierende Methode, die LLM-Evaluationsdatensätze effizient verkleinert, indem sie minimale Teilmengen-Größen aus einem kleinen Kalibrierungspool bestimmt, um die Genauigkeitsdrift zu begrenzen, wodurch im Vergleich zu bestehenden Techniken signifikante Geschwindigkeitssteigerungen und eine geringere Drift ohne die Notwendigkeit gelernter Vorhersageschichten erreicht werden.

Ursprüngliche Autoren: Devleena Das, Rajeev Patwari, Vikram Kumar Bukka, Nithin Kumar Guggilla, Elliott Delaye, Ashish Sirasao

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Devleena Das, Rajeev Patwari, Vikram Kumar Bukka, Nithin Kumar Guggilla, Elliott Delaye, Ashish Sirasao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Chefkoch, der ein neues Rezept entwickelt hat. Bevor Sie es der Öffentlichkeit servieren, müssen Sie es probieren, um sicherzustellen, dass es gut ist. Nun stellen Sie sich vor, Sie müssten hunderte verschiedene Versionen dieses Rezepts testen (einige mit weniger Salz, andere mit anderen Gewürzen, einige auf einem winzigen Herd statt in einem riesigen Industrieofen).

Wenn Sie jedes einzelne Gericht aus jeder einzelnen Version probieren würden, würde das Wochen dauern. Sie wären so erschöpft, dass Sie nichts Neues mehr kochen könnten.

Dies ist das Problem, mit dem Informatiker bei Large Language Models (LLMs) konfrontiert sind. Sie erstellen tausende leicht unterschiedliche Versionen von KI-Modellen. Um zu prüfen, ob diese gut funktionieren, lassen sie sie durch massive „Tests“ (Benchmarks) laufen, die tausende von Fragen enthalten. Das Durchlaufen dieser Tests auf kleinen, energieeffizienten Chips (wie denen in Telefonen oder Laptops) kann zehn Stunden pro Modell dauern.

Das Paper stellt eine Lösung namens MINCE vor. So funktioniert sie, einfach erklärt:

Die Kernidee: „Wie viele, nicht welche“

Die meisten bisherigen Methoden versuchten, kluge Detektive zu sein. Sie fragten: „Welche spezifischen 100 Fragen sind am wichtigsten? Lass uns genau diese auswählen und den Rest ignorieren.“ Um dies zu tun, benötigten sie eine riesige Bibliothek vergangener Testergebnisse (einen „Kalibrierungspool“) und komplexe Mathematik, um die perfekte Mischung zu ermitteln.

MINCE ändert die Frage. Es fragt: „Wie viele Fragen benötigen wir tatsächlich, um ein zuverlässiges Ergebnis zu erhalten?“

Es geht davon aus, dass es nicht wirklich darauf ankommt, welche spezifischen Fragen man wählt, solange man genug Fragen hat. Eine zufällige Handvoll Fragen wird fast das gleiche Ergebnis liefern wie der gesamte Test, solange diese Handvoll groß genug ist.

Das Rezept: Wie MINCE funktioniert

Die Autoren verwendeten eine Methode namens Monte-Carlo-Simulation. Stellen Sie sich das wie einen „virtuellen Geschmackstest“ vor.

Die kleine Gruppe: Sie nahmen die Ergebnisse von nur 7 verschiedenen KI-Modellen (den „Kalibrierungsmodellen“), die bereits die vollständigen, langen Tests absolviert hatten.
Die Simulation: Sie führten eine Computersimulation durch, bei der zufällig unterschiedliche Anzahlen von Fragen ausgewählt wurden (z. B. 100 Fragen, dann 200, dann 300...) und dabei geprüft wurde, wie stark sich das Ergebnis im Vergleich zum vollständigen Test veränderte.
Den Sweet Spot finden: Sie suchten nach dem Punkt, an dem das Hinzufügen weiterer Fragen keinen großen Unterschied mehr machte.
- Analogie: Stellen Sie sich vor, Sie füllen einen Eimer mit Wasser. Der erste Becher füllt ihn stark auf. Der zweite fügt etwas hinzu. Beim zehnten Becher steigt der Wasserspiegel kaum noch an. MINCE findet genau den Moment, in dem das „zusätzliche Wasser“ die Mühe nicht mehr wert ist.
Das Ergebnis: Sie fanden eine „magische Zahl“ (eine Subset-Größe). Anstatt beispielsweise 14.000 Fragen (MMLU) zu testen, benötigten sie nur 1.500. Anstatt 1.300 Fragen (GSM8K) brauchten sie nur 400.

Der Ertrag: Geschwindigkeit und Genauigkeit

Sobald sie diese „magische Zahl“ gefunden hatten, wählten sie einfach diese Anzahl an Fragen nach dem Zufallsprinzip aus. Sie brauchten keinen Supercomputer, um herauszufinden, welche Fragen „besonders“ waren.

Das haben sie erreicht:

Enorme Zeiteinsparung: Sie reduzierten die Testgröße um 54 % bis 89 %.
Geschwindigkeit: Auf Standard-Computerchips (GPUs) liefen die Tests 2,7- bis 8-mal schneller. Auf kleinen Edge-Chips (NPUs) liefen sie 1,7- bis 2-mal schneller.
Genauigkeit: Die Ergebnisse änderten sich kaum. Die „Abweichung“ (der Unterschied zwischen dem kurzen Test und dem langen Test) war minimal – weniger als 2,6 Prozentpunkte.

Warum es besser ist als alte Methoden

Das Paper vergleicht MINCE mit einer beliebten Methode namens tinyBenchmarks.

tinyBenchmarks ist wie ein Meisterkoch, der 395 verschiedene Gerichte probieren muss, um herauszufinden, welche 100 Fragen er behalten soll. Es ist sehr präzise, erfordert aber eine riesige Menge an Daten, um zu beginnen.
MINCE ist wie ein kluger Schätzer, der nur 7 Gerichte probieren muss, um genau zu wissen, wie viele Fragen er stellen muss. Es funktioniert selbst dann, wenn man keine massive Historie vergangener Tests hat.

Das Fazament

MINCE ist ein praktisches Werkzeug für Ingenieure. Es besagt: „Man muss nicht den ganzen Marathon laufen, um zu wissen, ob man in Form ist; man muss nur eine bestimmte Distanz laufen, die wir mithilfe einiger weniger Übungsläufe berechnet haben.“

Es ermöglicht Unternehmen, ihre KI-Modelle viel schneller und kostengünstiger zu testen, insbesondere auf den kleinen Chips, die in Alltagsgeräten zu finden sind, ohne komplexe KI-Systeme zur Auswahl der Fragen zu benötigen. Es arbeitet zuverlässig, selbst wenn man nur eine kleine Gruppe von Modellen zum Testen zur Verfügung hat.

Technisches Resümee: MINCE – Verkleinerung von LLM-Evaluations-Datensätzen mittels Few-Model Monte Carlo Kalibrierung

Problemstellung

Die rigorose Evaluierung von Large Language Models (LLMs) über zahlreiche Varianten hinweg (z. B. quantisiert, feinabgestimmt oder architekturspezifisch) erfordert das wiederholte Durchlaufen groß angelegter Benchmarks. Dieser Prozess schafft einen erheblichen Engpass, insbesondere auf Edge-Hardware wie NPUs, wo der Inferenz-Durchsatz um Größenordnungen niedriger ist als auf Rechenzentrum-GPUs. Vollständige Evaluierungen können pro Modell zehn Stunden oder länger dauern, was eine schnelle Iteration behindert.

Bestehende Methoden zur Reduzierung der Evaluierungskosten durch Benchmark-Subsetting – etwa solche, die auf Item Response Theory (IRT), genetischen Algorithmen, spärlicher Optimierung oder Surrogatmodellen basieren – setzen oft zwei unpraktikable Voraussetzungen voraus:

Große Kalibrierungs-Pools: Methoden wie tinyBenchmarks benötigen hunderte oder tausende vorab evaluierte Modelle, um statistische Modelle zu fitten oder Items auszuwählen.
Gelernte Komponenten: Viele Ansätze erfordern gelernte Vorhersageschichten oder spezialisierte Item-Selektoren, die auf spezifischen Datenverteilungen trainiert werden müssen.

Für neue Benchmarks oder Szenarien, in denen keine großen Kalibrierungs-Pools existieren, ist das Zusammenstellen solcher Daten unpraktikabel. Die Arbeit stellt die Frage: Können Benchmark-Teilmengen zuverlässig aus einer geringen Anzahl von Kalibrierungsmodellen bestimmt werden, ohne gelernte Item-Selektion oder Vorhersageschichten?

Methodik: MINCE

Die Autoren schlagen MINCE (Monte Carlo Informed N-sizing for Compact Evaluation) vor, eine Methode, die das Benchmark-Subsetting von der Frage „welche Items sollen ausgewählt werden“ hin zu der Frage „wie viele Items sollen ausgewählt werden“ umformuliert. Die Kernhypothese lautet: Wenn eine Teilmenge genügend Items enthält, um die Scores nahe an den Werten des vollständigen Benchmarks zu halten, spielt die spezifische Identität dieser Items eine untergeordnete Rolle.

Die MINCE-Pipeline operiert in zwei Stufen:

1. Monte Carlo Sizing (Bestimmung von $n^*$ )

Gegeben die pro Item vorliegenden Evaluationsprotokolle eines kleinen Satzes von Kalibrierungsmodellen ( $K$ Modelle), nutzt MINCE Monte-Carlo-Simulationen, um die minimale Teilmengen-Größe ( $n^*$ ) zu bestimmen, die erforderlich ist, um die Genauigkeitsdrift zu begrenzen.

Drift-Definition: Die Genauigkeitsdrift $\delta$ ist die absolute Differenz zwischen der Genauigkeit der Teilmenge und der Genauigkeit des vollständigen Benchmarks für ein gegebenes Modell.
Simulationsprozess: Der Algorithmus durchläuft Kandidaten-Teilmengen-Größen ( $n_t$ ). Für jede Größe werden $R=10.000$ zufällige Teilmengen ohne Zurücklegen gezogen.
Worst-Case-Schätzung: Für jede Teilmenge wird die Drift für jedes (Modell, Metrik)-Paar berefchnet und die maximale Drift beibehalten. Anschließend wird das 95. Perzentil ( $P_{95}$ ) dieser Worst-Case-Drifts über alle Zufallsziehungen hinweg berechnet.
Stopp-Kriterium: Der Algorithmus identifiziert den Punkt des abnehmenden Grenzertrags. $n^*$ ist definiert als die erste Größe, bei der der marginale Gewinn in der Drift-Reduktion ( $\Delta(n_t) = P_{95}(n_{t-1}) - P_{95}(n_t)$ ) unter einen Schwellenwert $\tau$ fällt. In den Hauptexperimenten ist $\tau$ auf 1 Prozentpunkt (pp) gesetzt.

2. Konstruktion der Teilmenge

Sobald $n^*$ bestimmt wurde, wird eine Teilmenge dieser Größe konstruiert.

Sampling-Strategie: Die Arbeit zeigt, dass bei der berechneten Größe $n^*$ gleichmäßige Zufallsstichproben (Uniform Random Sampling) vergleichbar gut abschneiden wie komplexere Strategien wie geschichtete Stichproben (Stratified Sampling) oder K-Means-Clustering auf Satz-Embeddings.
Ausgabe: Eine „eingefrorene“ Teilmengen-Datei wird generiert, die dann für alle zukünftigen Evaluierungen dieses Benchmarks wiederverwendet wird und keine weitere Lern- oder Optimierungsphase erfordert.

Zentrale Beiträge

Effiziente Kalibrierung mit minimalen Daten: MINCE benötigt nur 7 Kalibrierungsmodelle (die von 3B bis 35B Parametern und 4 Architekturfamilien reichen), um optimale Teilmengen-Größen zu bestimmen, was den Datenbedarf im Vergleich zu vorherigen Arbeiten drastisch reduziert.
Signifikante Benchmark-Reduktion: Die Methode reduziert die Benchmark-Größen um 54% (IFEVAL), 89% (MMLU) und 70% (GSM8K).
Kontrollierte Genauigkeitsdrift: Die reduzierten Teilmengen begrenzen die Genauigkeitsdrift auf maximal 2,62 pp bei BF16-Modellen und halten eine mittlere Drift von 0,77–3,59 pp bei gehaltenen quantisierten NPU-Modellen aufrecht.
Rangfolge-Erhaltung: Die Methode bewahrt die Modell-Rankings mit hoher Treue (Spearman $\rho \geq 0,96$ ).
Robustheit gegenüber der Größe des Kalibrierungs-Pools: Die ausgewählte Teilmengen-Größe ( $n^*$ ) bleibt stabil, selbst wenn der Kalibrierungs-Pool von 7 auf 3 Modelle reduziert wird, was Praktikern Flexibilität bietet.
Keine gelernten Schichten: Im Gegensatz zu konkurrierenden Methoden erfordert MINCE keinen gelernten Item-Selektor, keine Vorhersageschicht und keine großen vorab evaluierten Pools.

Experimentelle Ergebnisse

Performance auf Kalibrierungsmodellen (BF16)

Evaluierung auf 7 BF16-Modellen über IFEVAL, MMLU und GSM8K:

Drift: Die mittlere absolute Drift betrug 0,44 pp (IFEVAL), 0,44 pp (MMLU) und 1,40 pp (GSM8K). Die beobachtete maximale Drift lag bei 2,62 pp.
Beschleunigungen: Auf GPU-Hardware lieferte MINCE mediane Evaluierungs-Beschleunigungen von 2,7× (IFEVAL) bis 8,1× (MMLU).

Generalisierung auf Edge-Hardware (INT4 NPU)

Die Methode wurde an 3 gehaltenen INT4 NPU-Modellen (Llama-3.1-8B-Inst, Phi-4-mini, Qwen3-8B) validiert, die während der Kalibrierung nicht gesehen wurden:

Drift: Die mittlere Drift betrug 3,59 pp (IFEVAL), 0,77 pp (MMLU) und 0,77 pp (GSM8K). Während IFEVAL für spezifische Modelle eine höhere Drift zeigte (z. B. Phi-4-mini mit 8,17 pp), blieben MMLU und GSM8K hochgradig stabil.
Beschleunigungen: Die medianen Beschleunigungen auf NPU-Hardware waren 1,7× (IFEVAL) und 2,0× (MMLU) und erreichten für spezifische Modelle 3,4×.

Vergleich mit dem Stand der Technik

Im Vergleich zu tinyBenchmarks (das zur Kalibrierung 395 Modelle verwendet):

Drift-Reduktion: MINCE erreichte eine 12-mal geringere mittlere Drift auf MMLU und 3,3-mal geringere auf GSM8K.
Kalibrierungs-Effizienz: MINCE nutzte 57-mal weniger Kalibrierungsmodelle (7 vs. 395).
Trade-off: Während tinyBenchmarks die Teilmengen-Größe (100 Items) auf Kosten eines großen Kalibrierungs-Pools und einer Vorhersageschicht minimiert, akzeptiert MINCE eine etwas größere Teilmenge im Austausch gegen extreme Kalibrierungs-Effizienz und Anwendbarkeit auf jeden Benchmark ohne bereits existierende groß angelegte Daten.

Ablationsstudien

Sampling-Strategie: Bei der bestimmten Größe $n^*$ lieferten Uniform Random, Stratified und K-Means Sampling vergleichbare Drifts, was bestätigt, dass der Sizing-Schritt der entscheidende Faktor ist und nicht die Komplexität des Samplings.
Größe des Kalibrierungs-Pools: Die Reduzierung des Kalibrierungs-Pools von 7 auf 3 Modelle führte zu stabilen $n^*$ -Werten für MMLU und GSM8K, mit nur geringfügigen Verschiebungen für IFEVAL.

Bedeutung und Ansprüche

Die Arbeit positioniert MINCE als skalierbares Fundament für kompakte Evaluationen in einer Ära zunehmender Modellvarianten und diverser Hardware-Targets. Die primäre Bedeutung liegt in:

Demokratisierung des Benchmark-Subsettings: Durch den Verzicht auf große Kalibrierungs-Pools oder gelernte Modelle macht MINCE die rigorose Teilmengen-Selektion für neue Benchmarks und spezifische Deployment-Szenarien zugänglich.
Praktische Effizienz: Es bietet einen direkten, nicht-gelernten Mechanismus, mit dem Praktiker ihren Kalibrierungsaufwand steuern können, indem sie die Geschwindigkeit der Evaluierung gegen die Genauigkeitsdrift abwägen.
Robustheit: Die Stabilität der Methode über verschiedene Sampling-Strategien und Zusammensetzungen des Kalibrierungs-Pools hinweg deutet darauf hin, dass sie eine zuverlässige Heuristik für den realen Einsatz darstellt.

Die Autoren räumen Einschränkungen ein und merken an, dass der aktuelle Kalibrierungs-Pool keine Frontier-Scale-Modelle (>100B) oder Nicht-Transformer-Architekturen umfasst und dass der 1-pp-Schwellenwert eine Heuristik ist. Sie stellen zudem fest, dass jeder neue Benchmark einen initialen Kalibrierungsdurchlauf mit pro-Item-Logs erfordert, was weiterhin einen Aufwand für Benchmarks darstellt, die menschliche Annotation benötigen. Dennoch kommt die Arbeit zu dem Schluss, dass MINCE die kumulativen Zeitkosten der vollständigen Benchmark-Evaluierung effektiv adressiert, insbesondere auf Edge-Hardware.