Technische Zusammenfassung: Selbstkonsistenz durch marginale Schärfung

Problemstellung

Moderne Sprachmodelle lösen komplexe Aufgaben zunehmend, indem sie vor der Ausgabe einer finalen Antwort intermediate Reasoning-Traces (z. B. Herleitungen, Code-Skizzen, Beweisumrisse) generieren. Während Standard-Inferenzmethoden wie Chain-of-Thought-Prompting dieses Verhalten hervorrufen, verlassen sie sich oft darauf, eine einzige Trajektorie zu sampeln oder eine nachgelagerte Mehrheitsabstimmung (Selbstkonsistenz) zur Auswahl der finalen Antwort zu nutzen.

Die Autoren identifizieren eine fundamentale Einschränkung bestehender Schärfungsmethoden zur Laufzeit, speziell beim Power Sampling. Power Sampling schärft die Verteilung über komplette generierte Sequenzen (die gemeinsame Verteilung von Reasoning-Trace $z$ und Antwort $a$). Das Papier argumentiert, dass dies das falsche Abstraktionsniveau für Reasoning ist:

1. Verschlingung latenter Variablen: Ein Reasoning-Trace ist eine latente Berechnung. Viele verschiedene Traces können zur selben korrekten Antwort führen.
2. Konkurrenz vs. Unterstützung: Die Schärfung auf Sequenzebene behandelt alternative Herleitungen oder Implementierungen derselben Lösung als Konkurrenten und konzentriert die Wahrscheinlichkeit auf bestimmte vollständige Transkripte statt auf die Antwort selbst.
3. Brüchigkeit der Abstimmung: Standard-Selbstkonsistenz (Mehrheitsabstimmung) erfordert exakte String-Übereinstimmung. In strukturierten Domänen wie Code oder Beweisen kann dieselbe zugrundeliegende Lösung in vielen Oberflächenformen auftreten (verschiedene Variablennamen, Kontrollflüsse oder Lemma-Reihenfolgen), was dazu führt, dass die Abstimmung die Unterstützung über gültige Variationen hinweg fragmentiert.

Das Kernproblem besteht darin, wie man mehrere Reasoning-Traces nutzen kann, um die Wahrscheinlichkeit der korrekten Antwort zu verstärken, ohne exakte String-Übereinstimmung zu benötigen oder die Rechenkosten der Suche über vollständige Trajektorien in Kauf zu nehmen.

Methodik: Marginale Schärfung

Die Autoren schlagen Marginale Schärfung vor, ein Ziel zur Laufzeit, das das Ziel von der gemeinsamen Verteilung $\pi(z, a | x)$ auf die geschärfte Antwortmarge $p_{\alpha}^{marg}(a | x)$ verschiebt.

Theoretischer Rahmen

1. Zerlegung: Die Modellvollendung $y$ wird in einen Reasoning-Trace $z$ und ein finales Antwortsegment $a$ zerlegt. Das Modell induziert eine natürliche Antwortmarge $m(a | x) = \sum_z \pi(z, a | x)$.
2. Zielverteilung: Anstatt die gemeinsame Verteilung zu schärfen, definiert die Methode eine Power-Verteilung über die Antwortmarge:
   $$p_{\alpha}^{marg}(a | x) = \frac{m(a | x)^\alpha}{\sum_{a'} m(a' | x)^\alpha}$$
   wobei $\alpha > 1$ die Schärfungsstärke ist. Wenn $\alpha \to \infty$, konvergiert dies zur Antwort mit der maximalen marginalen Unterstützung (das ideale Selbstkonsistenz-Ziel).
3. Darstellung mit ganzzahliger Potenz: Für ganzzahlige Schärfungsstärke $K$ leiten die Autoren eine exakte Zerlegung unter Verwendung von $K$ unabhängigen Reasoning-Traces her. Die Zielverteilung kann als Erwartungswert über $K$ unabhängig gesampelte Traces $z_{1:K}$ ausgedrückt werden:
   $$p_{K}^{marg}(a | x) \propto \mathbb{E}_{z_{1:K}} \left[ \prod_{i=1}^K \pi(a | x, z_i) \right]$$
   Diese Formulierung verbindet Selbstkonsistenz mit dem Sampeln aus einer zielgerichteten Antwortverteilung.

Algorithmus: Paralleles autoregressives Decodieren

Das direkte Sampeln aus der abgeleiteten Verteilung ist undurchführbar, da es eine Summation über alle möglichen zukünftigen Fortsetzungen erfordert (den „Fortsetzungs-Normalisierer"). Die Autoren schlagen einen leichtgewichtigen parallelen autoregressiven Decodieralgorithmus (Algorithmus 1) vor, der dieses Ziel approximiert:

1. Trace-Generierung: Generiere $M = K \times S$ Reasoning-Traces, gruppiert in $S$ Sätze von jeweils $K$ Traces.
2. Token-Level-Approximation: Anstatt die vollständige Sequenzwahrscheinlichkeit zu berechnen, decodiert der Algorithmus die Antwort tokenweise. In jedem Schritt $t$ berechnet er eine gewichtete Verteilung über das Vokabular:
   $$q_t^{(S)}(v | x, a_{<t}) \propto \sum_{s=1}^S w_s(a_{<t}) \exp\left( \sum_{i=1}^K \log \pi(v | x, z_i^{(s)}, a_{<t}) \right)$$
   • Präfix-Gewichte ($w_s$): Diese Gewichte verfolgen die Wahrscheinlichkeit des bereits generierten Antwortpräfixes unter jeder Gruppe von $K$ Traces. Sie werden online aktualisiert, während Tokens gesampelt werden.
   • Lokale Approximation: Der Algorithmus ignoriert den undurchführbaren „Fortsetzungs-Normalisierer" (die Wahrscheinlichkeit zukünftiger Tokens) und behandelt ihn als gemeinsamen Faktor, der bei der lokalen Normalisierung herausfällt.
3. Sampeln: Der Algorithmus sampelt den nächsten Token aus dieser Verteilung, aktualisiert die Präfix-Gewichte und wiederholt dies, bis die Antwort endet.

Dieser Ansatz ermöglicht es dem Modell, eine einzelne Antwort zu generieren, die von mehreren Reasoning-Pfaden „unterstützt" wird, und führt effektiv eine weiche Selbstkonsistenz während der Generierung durch, anstatt als nachgelagerter Abstimmungsschritt.

Hauptbeiträge

1. Formulierung der marginalen Schärfung: Das Papier definiert ein Ziel zur Laufzeit, das Reasoning-Traces als latente Variablen behandelt und die induzierte Antwortverteilung schärft, nicht die gemeinsame Verteilung von Traces und Antworten.
2. Multi-Trace-Zerlegung: Die Autoren zeigen, dass für ganzzahlige Schärfungsstärken die geschärfte Antwortmarge eine Zerlegung in einen Erwartungswert über $K$ unabhängige Reasoning-Traces zulässt, was Selbstkonsistenz theoretisch mit dem Sampeln auf Antwortebene verknüpft.
3. Effizienter Decodieralgorithmus: Sie schlagen einen parallelen autoregressiven Algorithmus vor, der annähernd aus dieser geschärften Verteilung sampelt. Er ist rein autoregressiv, erfordert keine externen Kanonisierer und vermeidet die quadratischen Token-Generierungskosten des Power Samplings auf Sequenzebene.
4. Empirische Validierung: Die Methode wird an Benchmarks für mathematisches Reasoning (MATH-500) und Code-Generierung (HumanEval+, LiveCodeBench) evaluiert.

Ergebnisse

Die Experimente nutzen Modelle der Qwen-Familie (1.7B, 4B, 8B) über drei Benchmarks hinweg.

• Leistung vs. Power Sampling: Marginale Schärfung übertrifft Standard-Power-Sampling bei Code-Generierungs-Benchmarks (HumanEval+ und LiveCodeBench) signifikant. Auf MATH-500 schneidet sie vergleichbar oder leicht unterhalb der Mehrheitsabstimmung ab (die aufgrund kleiner Antworträume und symbolischer Verifikation eine starke Baseline für Mathematik ist).
• Effizienz: Die Methode ist um Größenordnungen schneller als Power Sampling bei langen Generierungen. Für $L=8192$ war marginale Schärfung auf dem HumanEval+-Benchmark 38× schneller als Power Sampling und erreichte gleichzeitig eine höhere Genauigkeit. Power Sampling erfordert aufgrund von Resampling $O(L^2)$ Token-Generierung, während marginale Schärfung $O(L)$ erfordert.
• Hyperparameter:
  • Schärfungsstärke ($K$): Eine Erhöhung von $K$ verbessert die Leistung im Allgemeinen, indem sie die Wahrscheinlichkeit auf Antworten konzentriert, die von mehreren Traces unterstützt werden, erhöht jedoch die Rechenlast.
  • Stichprobenanzahl ($S$): Eine Erhöhung von $S$ (die Anzahl der Trace-Gruppen) verbessert die Qualität der Token-Level-Approximation und führt zu konsistenten Gewinnen, insbesondere bei niedrigeren Generierungsbudgets.
  • Budget-Allokation: Unter einem festen Gesamtrechenbudget ($K \times S = \text{konst}$) liefern verschiedene Allokationen zwischen Schärfungsstärke und Stichprobenanzahl vergleichbare Ergebnisse, was auf einen Trade-off hindeutet, bei dem aggressive Schärfung und bessere Approximationsqualität sich weitgehend kompensieren.

Bedeutung und Behauptungen

Das Papier behauptet, dass Selbstkonsistenz als ein Inferenzprinzip auf Antwortebene und nicht als nachgelagerte Abstimmungsheuristik verstanden werden sollte.

• Fokuswechsel: Durch das Zielen auf die Antwortmarge fasst die Methode korrekt Unterstützung über diverse Reasoning-Pfade hinweg zusammen (z. B. verschiedene Code-Implementierungen oder Beweisstrategien), die Methoden auf Sequenzebene als distincte, konkurrierende Ausgaben behandeln.
• Skalierbarkeit: Der vorgeschlagene Algorithmus ermöglicht die Vorteile der Selbstkonsistenz in Domänen mit großen, strukturierten Ausgabemräumen (wie Code), wo exakte String-Übereinstimmung versagt, ohne die prohibitiven Rechenkosten der vollständigen Trajektoriensuche oder des Resamplings.
• Praktikabilität: Die Methode ist eine „weiche" Version der Selbstkonsistenz, die mit Standard-autoregressiven Modellen und parallelem Decodieren implementiert werden kann, was sie zu einer praktischen Alternative zu Temperature Sampling und Power Sampling für Reasoning-Aufgaben macht.

Die Autoren schließen, dass Rechenleistung zur Laufzeit effektiver in die Verfeinerung der durch latentes Reasoning induzierten Antwortüberzeugung investiert wird als in die Auswahl des wahrscheinlichsten vollständigen Transkripts.