🤖 machine learning

When More Sampling Hurts: The Modal Ceiling and Correlation Ceiling of Test-Time Scaling

Dieses Paper argumentiert, dass das Test-Time-Scaling in Reasoning-Systemen vor fundamentalen „modalen“ und „Korrelations-Deckeln“ steht, bei denen übermäßiges Sampling die Auswahl der richtigen Antwort nicht verbessert und sogar die Leistung verschlechtern kann, was darauf hindeutet, dass der wahre Engpass im Erkennen korrekter Antworten liegt und nicht in deren Generierung.

Ursprüngliche Autoren: Yong Yi Bay, Kathleen A. Yearick

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yong Yi Bay, Kathleen A. Yearick

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr schwieriges Rätsel zu lösen. Sie haben einen klugen Assistenten (die KI), der versuchen kann, es zu beantworten. Das Paper argumentiert, dass es oft eine Verschwendung von Zeit und Geld ist, diesen Assistenten einfach immer öfter (more and more) versuchen zu lassen, und dass dies das Endergebnis sogar verschlechtern kann.

Hier ist die Aufschlüsselung, warum „mehr Sampling“ gegen eine Wand läuft, erklärt durch drei einfache Analogien.

1. Das „überfüllte Zimmer“ vs. die „beste Antwort“ (Die Selektions-Obergrenze)

Stellen Sie sich vor, Sie bitten einen Raum voller Menschen, ein Rätsel zu lösen.

Coverage (Die Metrik „Jemand weiß es“): Wenn Sie 1.000 Menschen fragen, ist die Wahrscheinlichkeit hoch, dass mindestens einer im Raum die richtige Antwort kennt. Wenn Sie mehr Menschen hinzufügen, nähert sich die Chance, dass „jemand es weiß“, immer der 100 % an. Dies nennt die Forschung Coverage. Es sieht nach Fortschritt aus.
Selection (Die Metrik „Wem vertrauen wir?“): Aber in der realen Welt können Sie nicht einfach sagen: „Okay, jemand im Raum weiß es, aber ich weiß nicht, wer.“ Sie müssen eine Person auswählen, die die endgültige Antwort gibt. Normalerweise wählen Sie die Person, deren Antwort am populärsten ist (die „Mehrheitsentscheidung“).

Das Problem:
Wenn das Rätsel knifflig ist, kann der Raum voller Menschen sein, die die gleiche falsche Antwort geben, weil sie alle auf die gleiche Weise verwirrt wurden.

Wenn Sie 10 Leute fragen, sagen vielleicht 6 „Blau“ (falsch) und 4 „Rot“ (richtig). Sie wählen „Blau“.
Wenn Sie 1.000 Leute fragen, sagen vielleicht 600 „Blau“ und 400 „Rot“. Sie wählen immer noch „Blau“.
Die Obergrenze: Egal wie viele weitere Menschen Sie hinzufügen, die „Blau“-Fraktion wird nur lauter. Die richtige Antwort („Rot“) mag im Raum vorhanden sein, aber sie ist nicht die häufigste Antwort. Das Paper nennt dies die Modal Ceiling (Modale Obergrenze). Sobald sich die Menge auf eine falsche Antwort geeinigt hat, macht das Hinzufügen von mehr Menschen das Modell nur noch sicherer in seinem Irrtum.

2. Die „Echokammer“ (Die Korrelations-Obergrenze)

Stellen Sie sich nun vor, Sie versuchen, die durchschnittliche Körpergröße von Menschen in einer Stadt zu erraten, indem Sie einige Leute fragen.

Das Ideale: Sie fragen 100 Fremde aus verschiedenen Stadtvierteln. Sie erhalten einen sehr genauen Durchschnitt.
Die Realität: Sie fragen 100 Leute, aber sie gehören alle zur gleichen Familie. Sie teilen dieselben Gene und die gleiche Ernährung. Sie sind alle in etwa gleich groß.

In den Begriffen des Paperss: Wenn eine KI versucht, ein Problem 100 Mal zu lösen, sind diese 100 Versuche keine 100 unabhängigen Vermutungen. Sie sind wie 100 Mitglieder derselben Familie. Sie sind korreliert. Sie neigen dazu, die gleichen Fehler zu machen oder in dieselbe „Denkfalle“ zu geraten.

Die Obergrenze:
Da sie sich so ähnlich sind, ist das Anfordern von 1.000 Versuchen desselben Modells so, als würde man 1.000 Kopien derselben Person anfragen. Sie erhalten nicht 1.000 neue Informationen; Sie erhalten nur die gleiche Information wiederholt.

Das Paper sagt, es gibt eine Correlation Ceiling (Korrelations-Obergrenze). Wenn die Versuche zu 10 % ähnlich (korreliert) sind, ist das Anfordern von 1.000 Versuchen nur so nützlich wie das Anfragen von etwa 10 wirklich unabhängigen Versuchen.
Ab einem gewissen Punkt ist jeder zusätzliche Versuch, für den Sie bezahlen, nur noch „Rauschen“. Er kostet Geld, bietet aber keinen neuen Wert mehr.

3. Die „verborgene Lücke“ (Die Identifizierbarkeits-Lücke)

Dies ist der wichtigste Teil des Papers. Es gibt eine Lücke zwischen:

Was das Modell kann: Es kann die richtige Antwort generieren (sie ist im Raum).
Was das Modell Ihnen geben wird: Es wird die richtige Antwort nicht auswählen, weil die falsche Antwort populärer ist.

Das Paper nennt dies die Identifiability Gap (Identifizierbarkeits-Lücke).

Die Falle: Wir sehen, dass die „Coverage“-Linie nach oben geht (das Modell findet die richtige Antwort häufiger) und denken: „Großartig! Das Modell wird klüger!“
Die Realität: Die „Selection“-Linie (was wir tatsächlich erhalten) ist gegen eine Wand gestoßen. Das Modell wird besser darin, die richtige Antwort zu finden, aber es wird nicht besser darin, sie als die richtige zu erkennen.

Das praktische Fazit: „Früher aufhören“

Das Paper kommt zu dem Schluss, dass wir überdenken (oder über-samplen).

Um zu prüfen, ob eine Antwort existiert: Führen Sie weiteres Sampling durch, wenn Sie einen perfekten „Verifier“ (wie einen Mathe-Prüfer) haben, der die richtige Antwort unter den falschen Antworten erkennen kann.
Um eine endgültige Antwort zu wählen: Hören Sie sehr früh auf. Das Paper legt nahe, dass Sie für die meisten Aufgaben nur ein paar Dutzend Versuche benötigen. Danach bezahlen Sie nur noch dafür, das Modell in seinem Irrtum zu bestätigen.
Um die Leistung zu messen: Wenn Sie wissen wollen, wie gut ein Modell in einem Test ist, müssen Sie nicht 1.000 Versuche pro Frage machen. Da die Versuche so ähnlich (korreliert) sind, zählen 1.000 Versuche vielleicht nur wie 2 oder 3 echte Versuche. Es ist besser, das Modell an 1.000 verschiedenen Fragen zu testen, anstatt 1.000 Versuche an einer einzigen Frage durchzuführen.

Kurz gesagt: Der Engpass ist nicht mehr das Generieren der richtigen Antwort; es ist das Erkennen derselben. Mehr Rechenleistung auf das Problem zu werfen, löst das nicht; es macht das Modell nur lauter in seinen Fehlern.

Technisches Resümee: Wenn mehr Sampling schadet: Die Modale Decke und die Korrelationsdecke von Test-Time Scaling

Problemstellung

Aktuelle Reasoning-Systeme nutzen häufig Test-Time Scaling, insbesondere wiederholtes Sampling (das Generieren von $n$ Antworten auf einen einzelnen Prompt), um die Leistung zu verbessern. Die gängige Erfolgsmetrik ist die Abdeckung (Coverage, pass@k), definiert als der Anteil der Probleme, bei denen mindestens eine der $n$ Stichproben korrekt ist. Abdeckungskurven steigen typischerweise stetig an, wenn $n$ erhöht wird, was suggeriert, dass ein bloßes Erhöhen des Sampling-Budgets kontinuierliche Leistungssteigerungen liefert.

Deployed Systeme müssen jedoch eine einzelne Antwort zurückgeben, ohne Zugriff auf einen perfekten Verifizierer zur Zertifizierung der Korrektheit. Dies erfordert eine Selektion (z. B. durch Mehrheitsentscheid, Self-Consistency oder Reward-Modelle). Das Paper identifiziert eine kritische Diskrepanz: Während die Abdeckung mit mehr Stichproben weiter steigt, stagniert die Selektionsgenauigkeit oft oder sinkt sogar. Das Kernproblem besteht darin, dass die Fachwelt die Fähigkeit, eine korrekte Antwort zu generieren, mit der Fähigkeit, diese zu erkennen und zu selektieren, verwechselt. Das Paper argumentiert, dass über einen gewissen Punkt hinaus zusätzliches Sampling lediglich Rechenkosten verursacht, ohne die Leistung zu verbessern, und potenziell die final ausgewählte Antwort sogar verschlechtert.

Methodik

Das Paper rahmt das Test-Time Sampling durch die Linse des Cluster-Samplings aus der Survey-Statistik neu, anstatt es als unabhängige Ziehungen zu betrachten.

Cluster-Sampling-Framework: Ein einzelner Prompt und seine $n$ wiederholten Versuche werden als Cluster behandelt. Die Versuche werden als austauschbare binäre Variablen (korrekt/inkorrekt) modelliert, anstatt als unabhängig und identisch verteilt (i.i.d.).
Intra-Klassen-Korrelation ( $\rho$ ): Die Abhängigkeit zwischen den Versuchen desselben Problems wird durch die Intra-Klassen-Korrelation $\rho$ $ρ$ quantifiziert.
- Zwischen-Problem-Korrelation ( $\rho_b$ ): Entsteht durch die Heterogenität der Problemstellung.
- Innerhalb-des-Problems-Korrelation ( $\rho_w$ ): Entsteht durch den internen Zustand des Modells oder die Decoding-Konfiguration.
Effektive Stichprobengröße ( $n_{eff}$ ): Unter Verwendung des Design-Effekts ( $deff = 1 + (n-1)\rho$ ) leitet das Paper die effektive Anzahl unabhängiger Stichproben ab:
$n_{eff} = \frac{n}{1 + (n-1)\rho}$
Diese Größe sättigt bei einer Korrelationsdecke von $1/\rho$ für $n \to \infty$ .
Trennung der Metriken: Die Analyse entkoppelt explizit drei verschiedene Ziele:
- Abdeckung (Coverage): Die Wahrscheinlichkeit, mindestens eine korrekte Antwort zu generieren.
- Selektion (Selection): Die Wahrscheinlichkeit, dass die am häufigsten vorkommende Antwort (Modus) korrekt ist.
- Schätzung (Estimation): Die Präzision bei der Schätzung des Benchmark-Mittelwerts der Genauigkeit.

Zentrale Beiträge

1. Die Korrelationsdecke (Schätzungslimit)

Das Paper stellt fest, dass die effektive Anzahl der Stichproben für die Schätzung der Benchmark-Genauigkeit $1/\rho$ nicht überschreiten kann.

Mechanismus: Wenn $n$ steigt, nimmt der Grenzwert jeder zusätzlichen Stichprobe quadratisch ( $O(1/n^2)$ ) ab.
Ergebnis: Selbst bei massiven Budgets (z. B. $10^4$ Stichproben) ist bei $\rho \approx 0,5$ die effektive Information äquivalent zu nur etwa 2 unabhängigen Stichproben. Dies erklärt, warum Schätzungen der Benchmark-Genauigkeit trotz massiver Sampling-Bemühungen stagnieren.

2. Die Modale Decke (Selektionslimit)

Das Paper identifiziert eine distinkte Decke für Selektionsmethoden (Self-Consistency, Pluralitätswahl), die unabhängig von der Korrelationsdecke ist.

Mechanismus: Die Selektion konvergiert gegen den Modus der Antwortverteilung ( $a^*_q$ ). Wenn die am häufigsten vorkommende Antwort falsch ist ( $a^*_q \neq c_q$ ), behebt eine Erhöhung von $n$ diesen Fehler nicht; sie führt lediglich dazu, dass das Modell sich sicherer in der falschen Antwort wird.
Ergebnis: Die Selektionsgenauigkeit ist durch die Modus-Trefferquote ( $\pi_{mode}$ ) begrenzt – die Wahrscheinlichkeit, dass die häufigste Antwort des Modells korrekt ist.
Anti-Scaling: Bei Problemen, bei denen der Modus falsch ist, die korrekte Antwort aber erreichbar bleibt, führt eine Erhöhung von $n$ dazu, dass die Selektionsgenauigkeit gegen 0 sinkt, während die Abdeckung gegen 1 steigt. Dieses Phänomen wird als Anti-Scaling bezeichnet.

3. Die Identifizierbarkeitslücke (Identifiability Gap)

Das Paper definiert die Identifizierbarkeitslücke als die Menge der Probleme, bei denen die korrekte Antwort im Stichprobenpool vorhanden ist (hohe Abdeckung), aber nicht die am häufigsten vorkommende Antwort darstellt (niedrige Selektion).

Dies stellt die "lösbaren, aber unselektierbaren" Probleme dar.
Das Paper zeigt, dass diese Lücke in realen Logs signifikant ist, wo die Abdeckung 1,00 erreichen kann, während Self-Consistency bei 0,87 (GSM8K) oder 0,45 (MATH) stagniert.

4. Empirische Validierung auf realen Logs

Die Autoren validieren ihr theoretisches Framework anhand freigegebener Sampling-Logs:

Brown et al. [2] (Unabhängige Ziehungen): Analysierten GSM8K- und MATH-Datensätze. Sie fanden eine hohe Zwischen-Problem-Korrelation ( $\hat{\rho}_b \approx 0,4\text{--}0,6$ ), was die Korrelationsdecke für die Schätzung bestätigt. Sie beobachteten die Divergenz zwischen Abdeckung (steigt auf 1,0) und Self-Consistency (stagniert).
Beeching et al. [20] (Abhängige Ziehungen): Analysierten MATH-500 mit 256 Stichproben pro Problem. Sie fanden, dass die Korrelation innerhalb des Problems ( $\hat{\rho}_w$ ) nahe Null liegt, die Antwortverteilung jedoch hoch konzentriert ist (Median ~13 distinkte Werte). Dies bestätigte, dass die Selektionsdecke durch Antwort-Modus-Kollaps (Answer Mode Collapse) getrieben wird, nicht durch Run-to-Run-Drift.

Ergebnisse

Abdeckung vs. Selektion: Die Abdeckung folgt einem Potenzgesetz-Anstieg (aufgrund der Heterogenität der Schwierigkeit) und hat keine harte Decke außer der Modellkapazität. Die Selektion hingegen trifft auf eine harte Wand bei $\pi_{mode}$ .
Abnehmende Erträge: Der Grenzwert der $n$ -ten Stichprobe sinkt rapide. Für die Schätzung sollte das Budget bei $n \approx 1/\rho$ gedeckelt werden. Für die Selektion sollte das Budget durch die effektive Anzahl der distinkten Antworten begrenzt werden.
Ineffizienz von großem $n$ : Das Sampling von $10^4$ Mal pro Problem liefert für die Benchmark-Schätzung lediglich die statistische Präzision von etwa 2 unabhängigen Stichproben.
Anti-Scaling: In Szenarien, in denen die häufigste Antwort des Modells falsch ist, verschlechtert eine Erhöhung von $n$ die Genauigkeit der selektierten Ausgabe aktiv.

Bedeutung und Behauptungen

Das Paper beansprucht, eine zitierfähige Herleitung statt eines neuen Algorithmus zu liefern. Seine primäre Bedeutung liegt in:

Neukontextualisierung des Engpasses: Es verschiebt den Fokus des Test-Time Scalings von "eine richtige Antwort generieren" hin zu "eine erkennen". Der Flaschenhals ist nicht das Sampling-Budget, sondern die Identifizierbarkeit der korrekten Antwort innerhalb der Verteilung.
Korrektur von Fehlinterpretationen: Es erklärt, warum "mehr Sampling" in der Praxis oft nicht linear skaliert, indem es dies der Korrelationsdecke (für die Schätzung) und der modalen Decke (für die Selektion) zuschreibt.
Handlungsorientierte Metriken: Es schlägt vor, die effektive Anzahl der Stichproben ( $n_{eff}$ ) neben der nominalen Anzahl $n$ anzugeben, um den wahren Informationsgehalt eines Sampling-Durchlaufs offenzulegen.
Budgetallokation: Es argumenttiert, dass Computebudgets zielabhängig sein sollten:
- Für Schätzung (Estimation): Stoppen bei $n \approx 1/\rho_b$ und den restlichen Compute für mehr Probleme verwenden.
- Für Selektion (Selection): Stoppen, sobald die Pluralität stabil ist (oft innerhalb weniger Dutzend Stichproben), und den Fokus auf Dekorrelation (z. B. Temperatur, Prompt-Diversität) legen, statt auf die Erhöhung von $n$ .
- Für Abdeckung (Coverage) (mit einem Verifizierer): Sampling kann unbegrenzt fortgesetzt werden, da es keine innerhalb-des-Problems-Korrelation gibt.

Das Paper kommt zu dem Schluss, dass die "modale Decke" und die "Korrelationsdecke" fundamentale Limits darstellen, die ein wahlloses Test-Time Scaling ineffizient machen. Die eigentliche Herausforderung besteht nicht darin, mehr Samples zu generieren, sondern Systeme zu entwerfen, die die korrekte Antwort besser von der modalen Fehlantwort unterscheiden können.