🤖 AI

Joint Consistency: A Unified Test-Time Aggregation Framework via Energy Minimization

Dieser Artikel schlägt Joint Consistency (JC) vor, ein einheitliches Aggregationsframework für die Testphase, das die Antwortauswahl als ein unter Nebenbedingungen stehendes Energie-Minimierungsproblem formuliert, das sowohl unabhängige Bewertungssignale als auch paarweise Vergleiche mittels LLM-as-a-judge nutzt und eine überlegene Leistung gegenüber bestehenden Baselines über verschiedene Reasoning-Benchmarks hinweg demonstriert.

Ursprüngliche Autoren: Yunzhen Yao, Hongye Wang, Yahong Wang, Michael C. Gastpar, Bo Jiang, Lie He

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yunzhen Yao, Hongye Wang, Yahong Wang, Michael C. Gastpar, Bo Jiang, Lie He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr schwieriges Rätsel zu lösen, wie etwa ein komplexes mathematisches Problem oder eine knifflige Programmieraufgabe. Sie bitten eine Gruppe intelligenter KI-Assistenten (Large Language Models), es zu lösen. Anstatt nur einen zu fragen, bitten Sie viele davon, ihren Denkprozess auszuführen und Ihnen eine Antwort zu geben. Nun haben Sie einen Haufen verschiedener Lösungen. Manche sind richtig, manche falsch und manche einfach verwirrend.

Die große Frage lautet: Wie wählen Sie die eine beste Antwort aus diesem chaotischen Haufen aus?

Dieser Artikel stellt eine neue Methode namens Joint Consistency (JC) vor, um dieses Problem zu lösen. Hier ist die Funktionsweise, erklärt mit einfachen Analogien.

Der alte Weg: Stimmenzählen oder Punktezahlen abfragen

Die meisten bestehenden Methoden versuchen, einen Gewinner auf eine von zwei Arten zu ermitteln:

Der „Popularitätswettbewerb" (Self-Consistency): Sie zählen einfach, wie viele Personen dieselbe Antwort gegeben haben. Wenn 10 Personen „42" sagen und nur 2 „17", wählen sie „42".
- Der Fehler: Was ist, wenn die Mehrheit selbstbewusst falsch liegt? Oder was ist, wenn die „richtige" Antwort selten, aber brillant ist?
Der „Alleinrichter" (Weighted Scoring): Sie bitten eine Richter-KI, jede Lösung basierend darauf, wie gut sie für sich allein betrachtet aussieht, mit einer Punktzahl (z. B. 0 bis 100) zu bewerten. Sie wählen diejenige mit der höchsten Punktzahl aus.
- Der Fehler: Es ist für einen Richter sehr schwierig, in Isolation eine genaue Punktzahl zu vergeben. Es ist so, als würde man einen Kritiker bitten, einen Film zu bewerten, ohne andere Filme gesehen zu haben, um ihn damit zu vergleichen. Die Punktzahl könnte willkürlich sein.

Der neue Weg: Die „Gruppendebatte" (Joint Consistency)

Die Autoren schlagen Joint Consistency vor, die den Auswahlprozess wie eine Gruppendebatte oder ein Teamm meeting behandelt, anstatt wie eine Einzelbewertung.

Anstatt jede Antwort einzeln zu betrachten, bittet JC die Richter-KI, Paare von Antworten zu betrachten und zu sagen: „Wenn ich zwischen Antwort A und Antwort B wählen müsste, welche ist besser?"

Die Analogie der Energie-Minimierung: Magnetische Teilchen

Um all diese paarweisen Vergleiche zu verstehen, verwenden die Autoren ein Konzept aus der Physik, das Ising-Modell. Stellen Sie sich vor, Sie haben eine Reihe winziger Magnete (die Kandidaten-Antworten) auf einem Tisch.

Das „äußere Feld" (Unabhängige Punktzahl): Jeder Magnet hat seine eigene inhärente Stärke (wie eine Einzelpunktzahl von einem Richter).
Die „Wechselwirkung" (Paarweiser Vergleich): Die Magnete spüren auch einen Zug oder Stoß voneinander, basierend darauf, wie sie sich vergleichen. Wenn Magnet A eindeutig besser ist als Magnet B, „stoßen" sie sich in einer Weise ab, die darauf hindeutet, dass sie nicht beide Gewinner sein sollten. Wenn Magnet A und Magnet C dieselbe Gruppe anderer Magnete schlagen, „ziehen" sie sich an und richten sich aus.

Joint Consistency ist der Prozess, diese Magnete so anzuordnen, dass das gesamte System so „ruhig" (niedrige Energie) wie möglich ist. Das System beruhigt sich natürlich in einem Zustand, in dem die gewählte Antwort diejenige ist, die:

Eine gute Einzelpunktzahl hat.
In direkten Duellen konsistent gegenüber den anderen Optionen bevorzugt wird.

Warum dies eine große Sache ist

Der Artikel behauptet drei Hauptpunkte:

Es vereint alles: Diese einzelne mathematische Formel kann je nach Einstellung wie ein Popularitätswettbewerb, ein Alleinrichter oder eine Kopf-an-Kopf-Debatte fungieren. Es ist eine „Universalfernbedienung" zum Auswählen von Antworten.
Es ist intelligenter beim Vergleichen: Durch die Verwendung von „Kopf-an-Kopf"-Vergleichen (die Menschen und KIs im Allgemeinen besser beherrschen als das Geben absoluter Punktzahlen) findet JC die richtige Antwort, selbst wenn die Mehrheit falsch liegt oder wenn die Einzelpunktzahlen verwirrend sind.
- Beispiel aus dem Artikel: In einem Test wählte der „Popularitätswettbewerb" die falsche Antwort, weil viele Leute sie erraten hatten. Der „Alleinrichter" wählte eine falsche Antwort, weil sie elegant aussah. Aber Joint Consistency betrachtete die paarweisen Debatten, erkannte, dass die richtige Antwort in direkten Vergleichen konsistent die anderen schlug, und wählte die richtige aus.
Es ist effizient: Jeder einzelne Antwort gegen jede andere zu vergleichen, würde ewig dauern (wie ein Turnier, bei dem jeder gegen jeden spielt). Die Autoren haben eine Abkürzung erfunden. Sie erkannten, dass sie nur die Gruppen von Antworten vergleichen müssen (z. B. „Gruppe A gegen Gruppe B") und nicht jedes einzelne Papier. Dies macht es schnell und kostengünstig genug, um es auf riesige Probleme anzuwenden.

Die Ergebnisse

Die Autoren testeten dies an schwierigen Mathematikwettbewerben (wie AIME und HMMT) und Programmieraufgaben. Sie stellten fest, dass Joint Consistency die alten Methoden konsequent schlug.

Es funktionierte gut, selbst wenn die KI-Generatoren schwach waren.
Es funktionierte gut, selbst wenn die Richter-KI eine andere war.
Es kostete im Vergleich zur reinen Generierung der Antworten sehr wenig zusätzliches Geld.

Zusammenfassung

Stellen Sie sich Joint Consistency als einen weisen Moderator bei einer Town-Hall-Versammlung vor. Anstatt nur zu zählen, wie viele Leute „Stimmt für X!" rufen (Popularität) oder einen einzelnen Experten bitten, alle zu bewerten (Einzelpunktzahl), fragt der Moderator: „Wenn wir Kandidat X und Kandidat Y in einen Raum stellen, wer gewinnt?" Indem er all diese paarweisen Debatten anhört, findet der Moderator den Kandidaten, der wirklich die konsistenteste und robusteste Wahl ist, auch wenn er nicht der lauteste oder berühmteste ist.

Technische Zusammenfassung: Gemeinsame Konsistenz (JC)

Problemdefinition

Die Arbeit behandelt Test-Time Aggregation (TTA), das Problem der Auswahl einer einzigen, zuverlässigen Antwort aus einer Menge von $N$ für eine bestimmte Abfrage generierten Kandidaten-Reasoning-Traces. Während bestehende Test-Time Scaling (TTS)-Methoden effektiv mehrere Traces generieren, leiden ihre Aggregationsstrategien häufig unter zwei Einschränkungen:

Isolation: Die meisten Methoden (z. B. Self-Consistency, Weighted Self-Consistency) bewerten Traces unabhängig voneinander und verlassen sich auf absolute Qualitätswerte oder Antwortfrequenzen. Dies ignoriert vergleichende Informationen zwischen den Kandidaten.
Kalibrierungsschwierigkeit: Die unabhängige Bewertung erfordert, dass der Bewerter gut kalibrierte absolute Scores liefert, was oft schwer zu erreichen ist, insbesondere über heterogene Modellgeneratoren hinweg.
Skalierbarkeit von Vergleichen: Obwohl vergleichende Urteile (z. B. „Trace A ist besser als Trace B") oft zuverlässiger sind als absolute Scores, führt die naive Einbeziehung aller paarweisen Vergleiche zu einem Rechenaufwand von $O(N^2)$ , der bei großen Trace-Budgets prohibitiv ist.

Die Autoren stellen die Frage: Wie können paarweise vergleichende Urteile auf prinzipielle und rechnerisch effiziente Weise in die Test-Time Aggregation integriert werden?

Methodik: Gemeinsame Konsistenz (Joint Consistency, JC)

Die Autoren schlagen Joint Consistency (JC) vor, ein einheitliches Framework, das als eingeschränktes Ising-artiges Energie-Minimierungsproblem formuliert ist.

1. Die Energiefunktion

Das Ziel der Aggregation ist es, einen Indikatorvektor $x \in \{0, 1\}^N$ (wobei $x_i=1$ , wenn Trace $i$ ausgewählt wird) zu finden, der die Energiefunktion $H(x)$ minimiert:
$\min_{x \in \{1_{I_k} | k \in [K]\}} H(x) := -\mu \langle h, x \rangle - x^\top J x$
Wobei:

$K$ die Anzahl der distincten Kandidatenantworten ist.
Einschränkung: Die zulässige Menge beschränkt $x$ darauf, genau eine Antwortgruppe auszuwählen (alle Traces, die dieselbe Antwort liefern).
$h$ (Externes Feld): Ein Vektor, der unabhängige Bewertungssignale kodiert (z. B. LLM-as-a-judge-Scores für einzelne Traces).
$J$ (Interaktionsmatrix): Eine Matrix, die paarweise vergleichende Signale kodiert (z. B. Wahrscheinlichkeiten, dass Trace $i$ gegenüber Trace $j$ bevorzugt wird).
$\mu$ (Hyperparameter): Steuert den Kompromiss zwischen unabhängiger Bewertung und paarweisen Interaktionen.

2. Konstruktion der Interaktionsmatrix ( $J$ )

Die Matrix $J$ wird unter Verwendung von LLM-as-a-judge-Vergleichen konstruiert.

Paarweise Wahrscheinlichkeiten: Für Traces $y_i$ und $y_j$ schätzt der Richter $p_\theta(y_i \succeq y_j)$ , die Wahrscheinlichkeit, dass $y_i$ besser ist als $y_j$ .
Positiv-semidefinitive Konstruktion: Um Stabilität und Interpretierbarkeit zu gewährleisten, wird $J$ als $J = CC^\top$ definiert, wobei der Eintrag $C_{ij}$ eine normalisierte Version der Präferenzwahrscheinlichkeit ist:
$C_{ij} := \sqrt{\frac{p_\theta(y_i \succeq y_j)}{n_i^2 n_j}}$
Hier ist $n_i$ die Anzahl der Traces, die dieselbe Antwort wie $y_i$ teilen. Diese Konstruktion impliziert, dass zwei Traces eine starke Interaktion haben, wenn sie beide gegenüber ähnlichen Sätzen konkurrierender Traces bevorzugt werden.

3. Theoretische Interpretation

Unter einer Homogenitätsannahme auf Antwortebene (wobei alle Traces für eine gegebene Antwort $a^{(k)}$ identische paarweise Präferenzwahrscheinlichkeiten gegenüber Traces einer anderen Antwort $a^{(k')}$ aufweisen) vereinfacht sich der quadratische Term $x^\top J x$ zu einer Summe von Präferenzen auf Antwortebene. Dies liefert eine theoretische Rechtfertigung für die Umwandlung von Trace-Level-Vergleichen in eine Aggregationsregel auf Antwortebene.

4. Effiziente Approximationsstrategie

Um die $O(N^2)$ -Kosten für die Berechnung von $J$ für alle Trace-Paare zu adressieren, schlagen die Autoren eine Top- $\kappa$ -Approximation vor:

Anstatt alle $N$ Traces zu vergleichen, werden Interaktionen nur zwischen den Top- $\kappa$ häufigsten Antwortgruppen geschätzt.
Dies reduziert die Komplexität von $O(N^2)$ auf $O(\kappa^2)$ , wobei $\kappa$ ein kleines Konsistenzbudget ist (z. B. $\kappa=4$ ).
Die Optimierung der Energiefunktion selbst ist handhabbar ( $O(K)$ oder $O(\kappa)$ ), da die zulässige Menge auf $K$ (oder $\kappa$ ) Kandidaten-Antwortgruppen beschränkt ist und so die NP-schwere Natur allgemeiner quadratischer unbeschränkter binärer Optimierung (QUBO) umgeht.

Hauptbeiträge

Einbeziehung vergleichender Signale: JC führt ein eingeschränktes Energie-Minimierungsmodell ein, das paarweise vergleichende Signale über eine Interaktionsmatrix $J$ integriert, neben unabhängigen Signalen über ein externes Feld $h$ .
Einheitliches Framework: Die Formulierung umfasst bestehende Methoden als Spezialfälle:
- Self-Consistency (SC): $J=0, \mu=0$ (oder spezifisches $h$ ).
- Weighted Self-Consistency (WSC): $J=0, \mu > 0$ .
- Nur Interaktion: $\mu=0$ .
- Durch Variation von $\mu$ interpoliert JC zwischen diesen Strategien.
Skalierbarkeit: Die vorgeschlagene Top- $\kappa$ -Approximation macht die Interaktionsmodellierung für großskalige Aggregation praktikabel und behält die Vorteile paarweiser Vergleiche bei Kosten bei, die mit dem standardmäßigen gewichteten Voting vergleichbar sind.

Experimentelle Ergebnisse

Die Autoren evaluierten JC auf Benchmarks für mathematisches Reasoning (MathArena: AIME, HMMT, Brumo) und Code-Reasoning (CruxEval-O).

Crowdsourced Settings (Heterogene Traces):
- JC übertraf Baselines (SC, WSC, Best-of-N, Knockout Tournament) konsistent über diverse Richter-Modelle (Qwen, DeepSeek, GPT-Varianten) und Trace-Budgets hinweg.
- Auf MathArena-C (herausfordernde Teilmenge) erreichte JC mit einem kleinen $\kappa=4$ Genauigkeitsgewinne von über 20 % im Vergleich zu WSC.
- JC blieb robust, selbst wenn Traces von Modellen niedrigerer Leistungsklasse generiert wurden, bei denen unabhängige Scores unzuverlässig waren, aber die vergleichende Kohärenz effektiv blieb.
Homogene Settings (Intrinsische Signale):
- In Settings, in denen Token-Level-Log-Wahrscheinlichkeiten verfügbar waren (z. B. DeepSeek-R1, Qwen3), übertraf JC auch intrinsische Bewertungs-Baselines wie Self-Certainty und DeepConf.
- Der Leistungsgewinn von JC gegenüber der stärksten Baseline nahm mit steigender Anzahl der Traces ( $N$ ) zu, was auf bessere Skalierungseigenschaften hinweist.
Kosteneffizienz:
- Die Kosten der JC-Evaluierungsphase (Abfragen des Richters nach $h$ und $J$ ) betrugen weniger als 1 % der Kosten für die Generierung der Reasoning-Traces.
- Die Methode ist robust gegenüber der Wahl von $\mu$ (optimaler Bereich typischerweise $[0.5, 1]$ ) und erfordert kein Fine-Tuning für spezifische Richter-Modelle.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Joint Consistency einen prinzipiellen, einheitlichen Ansatz für die Test-Time Aggregation bietet, der die Lücke zwischen unabhängiger Bewertung und paarweisem Vergleich schließt.

Theoretische Einsicht: Sie formuliert die Aggregation als Energie-Minimierungsproblem und bietet eine theoretische Interpretation, wie paarweise Vergleiche auf Antwortebene aggregieren.
Praktische Auswirkung: Sie zeigt, dass die Nutzung vergleichender Signale über eine effiziente Approximationsstrategie konsistente Gewinne gegenüber state-of-the-art-Baselines erzielt, ohne prohibitiven Rechenaufwand.
Einschränkungen: Die Autoren vermerken bescheiden, dass die aktuelle Arbeit sich auf die Aggregation der Endantworten in Reasoning-Aufgaben konzentriert; die Verallgemeinerung auf offenes Reasoning oder problemlösendes Forschen auf Forschungsniveau ist unbewiesen. Zudem ist die spezifische Konstruktion der Interaktionsmatrix $J$ möglicherweise nicht optimal, und die Methode erbt die Einschränkungen der zugrunde liegenden Generierungs- und Richter-Modelle.