🤖 AI

CoRE: Consensus Rewards via Equilibrium for Test-Time Reinforcement Learning

Das Paper stellt CoRE vor, eine Reinforcement-Learning-Methode zur Testzeit, die die spröde Mehrheitsentscheidung durch graphbasierte Konsens-Belohnungen ersetzt, die aus Replikator-Dynamiken abgeleitet werden, um abgestufte, selbstüberwachte Signale bereitzustellen, welche die Genauigkeit und Konvergenzgeschwindigkeit über verschiedene Modelle und Benchmarks hinweg verbessern.

Ursprüngliche Autoren: Ambuj Mehrish, Sebastiano Vascon

Veröffentlicht 2026-08-11

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ambuj Mehrish, Sebastiano Vascon

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der ein superintelligenter Roboter versucht zu lernen, wie man ein kniffliges Rätsel löst, aber niemand da ist, um ihm zu sagen, ob er die richtige Antwort gefunden hat. Dies ist das tägliche Leben moderner KI-Modelle, wenn sie mit neuen, unbeschrifteten Fragen konfrontiert werden. Um zu lernen, benötigen diese Modelle normalerweise einen Lehrer, der sagt: „Gut gemacht!“ oder „Versuch es noch einmal!“, basierend auf einem korrekten Lösungsschlüssel. Aber was passiert, wenn es keinen Lösungsschlüssel gibt? Hier kommt ein Feld namens Test-Time Reinforcement Learning ins Spiel. Es ist ein kluger Trick, bei dem die KI versucht, sich selbst beizubringen, indem sie viele verschiedene Versuche (genannt „Roll-outs“) für dasselbe Problem generiert und dann ihre eigene Arbeit analysiert, um herauszufinden, was sie glauben kann.

Die Standardmethode hierfür ist wie eine Klassenzimmerabstimmung. Wenn die KI 64 verschiedene Antworten generiert, zählt sie sie einfach zusammen. Wenn 35-mal „42“ und 29-mal „17“ gesagt wird, nimmt die KI an, dass „42“ die Wahrheit ist, weil sie die meisten Stimmen erhalten hat. Sie belohnt dann jeden Versuch, der „42“ sagte, und bestraft die restlichen. Das funktioniert meistens gut, hat aber einen fatalen Fehler: Es behandelt eine glückliche Vermutung genauso wie eine brillante, gut begründete Lösung und ignoriert die Möglichkeit, dass die „Mehrheit“ mit voller Überzeugung falsch liegen könnte. Wenn eine kleine Gruppe intelligenter, selbstbewusster Versuche „17“ sagt, während eine größere, verwirrte Gruppe „42“ schreit, wird das Abstimmungssystem die kluge Minderheit zunichtemachen. Dieses Paper fragt: Können wir einen klügeren Weg bauen, wie die KI auf sich selbst hört – einen, der darauf wertet, wie die Antworten übereinstimmen, und nicht nur, wie viele übereinstimmen?

Das Problem mit der Wahlurne

Stellen Sie sich eine Gruppe von Detektiven vor, die versuchen, ein Verbrechen aufzuklären. Bei der alten Methode (der „Mehrheitswahl“-Methode) heben sie einfach die Hände. Wenn 60 Detektive auf den Butler zeigen und 40 auf den Gärtner, ist der Butler schuldig. Aber was ist, wenn die 60, die auf den Butler zeigen, alle verwirrt sind, während die 40, die auf den Gärtner zeigen, tatsächlich die einzigen waren, die die Hinweise korrekt gelesen haben? Das Abstimmungssystem würde die klugen Detektive bestrafen und die verwirrten belohnen, was das gesamte Team mit der Zeit dümmer macht.

Genau das passiert KI-Modellen, die herkömmliches Test-Time Reinforcement Learning nutzen. Sie generieren eine Reihe von Antworten, zählen die Gewinner und nehmen an, dass der Gewinner recht hat. Wenn die KI einen systematischen Fehler macht, der zufällig populär ist, verstärkt sie diesen Fehler. Es ist wie eine kaputte Demokratie, in der die lauteste Stimme gewinnt, selbst wenn sie Unsinn schreit.

Hier kommt CoRE: Der runde Tisch der Detektive

Die Autoren dieses Papers, Ambuj Mehrish und Sebastiano Vascon, schlagen eine neue Methode namens CoRE (Consensus Rewards via Equilibrium) vor. Anstatt nur Köpfe zu zählen, behandelt CoRE die Versuche der KI wie ein komplexes Geflecht von Beziehungen.

So funktioniert es, unter Verwendung einer einfachen Analogie:
Stellen Sie sich vor, die 64 Versuche der KI sind Menschen, die in einem Raum sitzen.

Der Graph: Anstatt nur Antworten zu rufen, bilden diese Menschen ein riesiges Netz aus Verbindungen. Zwei Personen sind verbunden, wenn sie die gleiche Antwort gegeben haben. Aber die Verbindung ist nicht nur „Ja/Nein“. Sie ist gewichtet durch die Frage, wie ähnlich ihre Argumentation war (haben sie dieselbe Logik verwendet?) und wie selbstbewusst sie klangen (sprachen sie mit Gewissheit?).
Das Gleichgewicht: Das System führt dann eine mathematische Simulation namens „Replikator-Dynamik“ durch. Denken Sie an ein Spiel mit Stühlen, bei dem die Menschen, die am stärksten von ihren selbstbewussten, logischen Nachbarn unterstützt werden, anfangen aufzustehen und einen engen, starken Kreis zu bilden. Die „dominante Menge“ ist die Gruppe, die den größten gegenseitigen Rückhalt hält.
Die Belohnung: Anstatt jedem, der für den Gewinner gestimmt hat, ein einfaches „Bestanden“ oder „Nicht bestanden“ zu geben, vergibt CoRE eine gestufte Punktzahl. Wenn Ihre Antwort Teil eines engen, selbstbewussten, logischen Kreises war, erhalten Sie eine hohe Belohnung. Wenn Sie Teil einer schwachen, verwirrten Gruppe waren, erhalten Sie eine niedrige Belohnung. Selbst wenn Sie in der Minderheit waren, wenn Ihre Gruppe die kohärenteste und selbstbewussteste war, könnte CoRE Sie tatsächlich als Gewinner wählen.

Was sie herausgefunden haben

Die Forscher testeten diese neue „CoRE“-Methode gegen die alte „Mehrheitswahl“-Methode über sieben verschiedene KI-Modelle und fünf verschiedene Mathematik- und Wissenschafts-Benchmarks hinweg. Sie führten die Experimente mit drei verschiedenen Zufallssäden (im Grunde drei verschiedene Ausgangsbedingungen) durch, um sicherzustellen, dass die Ergebnisse real sind.

Die Ergebnisse waren sehr vielversprechend:

Bessere Ergebnisse: Im Durchschnitt verbesserten die Modelle, die CoRE nutzten, ihre Genauigkeit um 21,7 Punkte im Vergleich zu ihrem Ausgangspunkt ohne Lernen. Die alte Wahlmethode verbesserte sich um 20,4 Punkte.
Gewinnen in umstrittenen Schlachten: Die wahre Magie geschah, wenn die Antworten gespalten waren. In Situationen, in denen sich die KI unsicher war und die „Abstimmung“ knapp ausfiel, schlug CoRE die Wahlmethode um bis zu 7,5 Punkte. Es rettete erfolgreich die „kluge Minderheit“, die das Abstimmungssystem ignoriert hätte.
Schnelleres Lernen: CoRE wurde nicht nur besser, es wurde auch schneller. Es erreichte das gleiche endgültige Genauigkeitsniveau wie die Wahlmethode in 54 % bis 70 % weniger Schritten. Dies deutet darauf darauf hin, dass die gestuften, nuancierten Belohnungen von CoRE der KI ein klareres, hilfreicheres Signal zum Lernen geben.

Die „Erholungszone“

Das Paper erklärt auch, wann dies am besten funktioniert. Sie fanden eine spezifische „Erholungszone“. Wenn die KI so schlecht ist, dass sie das Problem überhaupt nicht lösen kann, oder so gut, dass alle perfekt übereinstimmen, verhält sich CoRE genau wie die alte Wahlmethode (was völlig in Ordnung ist). Aber im chaotischen Mittelmaß – wo eine kleine Gruppe korrekter, selbstbewusster Antworten gegen eine größere Gruppe falscher, selbstbewusster Antworten kämpft – glänzt CoRE.

Die Autoren zeigten mathematisch, dass, wenn die korrekten Antworten auch nur geringfügig selbstbewusster sind als die falschen, CoRE das Blatt wenden und die richtige Antwort wählen kann, selbst wenn sie in der Minderheit ist. Es ist wie ein weiser Richter, der erkennt, dass die 40 Detektive mit dem soliden Alibi vertrauenswürdiger sind als die 60 Detektive, die nur geraten haben.

Das Fazk

Dieses Paper legt nahe, dass wir das Wahlsystem nicht vollständig wegwerfen müssen; CoRE beinhaltet die Abstimmung tatsächlich als einen Spezialfall. Aber indem wir eine Ebene der „sozialen Intelligenz“ hinzufügen – indem wir betrachten, wie die Antworten einander unterstützen und wie selbstbewusst sie sind –, können wir eine spröde, Alles-oder-Nichts-Abstimmung in ein kluges, kalibriertes Belohnungssystem verwandeln.

Die Autoren weisen vorsichtig darauf hin, dass dies kein Zauberstab ist, der alles behebt. Wenn die KI völlig verloren ist (die „Kompetenzuntergrenze“), kann CoRE keine korrekte Antwort aus dem Nichts erschaffen. Aber für die schwierigen Probleme, bei denen die KI fast richtig liegt, aber durch die Menge verwirrt wird, bietet CoRE einen Weg, der leisen, selbstbewussten Stimme der Vernunft zuzuhören, statt nur dem lautesten Geschrei. Es verwandelt eine einfache Kopfzählung in ein anspruchsvolles Gespräch und hilft KI-Modellen, schneller und klüger aus ihren Fehlern zu lernen.

Technisches Resümee: CoRE – Konsens-Belohnungen über Gleichgewicht für Test-Time Reinforcement Learning

Problemstellung

Test-Time Reinforcement Learning (TTRL) zielt darauf ab, das logische Denken von Sprachmodellen auf unbeschrifteten Testdaten zu verbessern, indem Supervision aus den eigenen Roll-outs des Modells abgeleitet wird. Der Standardansatz, Majority Voting (Mehrheitsentscheidung), behandelt den Satz von $N$ gesampelten Antworten wie eine Wahlurne: Er identifiziert die am häufigsten vorkommende Antwort als Pseudo-Label und weist eine binäre Belohnung (1 oder 0) an Trajektorien zu, die diesem Label entsprechen.

Dieser Ansatz leidet unter drei kritischen Einschränkungen:

Spröde Aggregation: Er verwirft korrekte Antworten, wenn diese eine Minderheit darstellen, selbst wenn sie intern kohärent sind. Umgekehrt belohnt er inkorrekte Mehrheitscluster, was potenziell systematische Fehler verstärkt.
Binäre Belohnungen: Er weist identische Belohnungen einer gut unterstützten Ableitung und einem glücklichen Glückstreffer zu, wodurch es versäumt wird, die Qualität der Übereinstimmung zu unterscheiden.
Einheitliche Fragengewichtung: Er behandelt jede Frage gleichermaßen, unabhängig davon, ob die Roll-outs einen kohärenten Konsens oder einen fragmentierten Satz inkompatibler Lösungen bilden.

Die Kernherausforderung besteht darin, ein Belohnungssignal aus unbeschrifteten Roll-outs zu konstruieren, das die relationale Struktur und die gegenseitige Unterstützung zwischen Denkpfaden erfasst, anstatt lediglich Stimmen zu zählen.

Methodik: CoRE

Die Autoren schlagen CoRE (Consensus Rewards via Equilibrium) vor, eine Methode, die Majority Voting durch einen graphbasierten Gleichgewichtsansatz ersetzt. CoRE operiert auf denselben $N$ Roll-outs wie Standard-TTRL, verarbeitet diese jedoch anders, um verfeinerte Signale zu generieren.

1. Konstruktion des Roll-out-Graphen

CoRE konstruiert einen gewichteten Graphen $G=(V, E, \omega)$ , wobei Knoten die $N$ Roll-outs repräsentieren. Die Kanten werden durch eine Affinitätsmatrix $A'$ definiert, die drei Signale kombiniert:

Antwort-Übereinstimmung: Ein harter Kernel $K_{ans}$ stellt sicher, dass Kanten nur zwischen Roll-outs existieren, die dieselbe extrahierte Antwort haben.
Ähnlichkeit des Denkprozesses: Ein weicher Kernel $K_{rsn}$ , basierend auf der Kosinus-Ähnlichkeit von TF-IDF $n$ -Gramm-Vektoren des Reasoning-Textes, verstärkt die Verbindungen innerhalb derselben Antwortklasse.
Konfidenz-Kalibrierung: Knotengewichte $w_i$ werden aus der Generationskonfidenz (mittlere Token-Log-Wahrscheinlichkeit) abgeleitet. Kanten werden durch das geometrische Mittel der Endpunkt-Konfidenzen ( $\sqrt{w_i w_j}$ ) skaliert, was sicherstellt, dass hochkonfidente Trajektorien einander stärker verstärken.

Die endgültige Affinitätsmatrix $A'$ ist blockdiagonal, wobei jeder Block einer eindeutigen Antwortklasse entspricht.

2. Extraktion des Dominanten Sets via Replicator Dynamics

Anstatt Stimmen zu zählen, extrahiert CoRE ein Dominant Set (DS) aus dem Graphen mittels Replicator Dynamics (RD), einem evolutionären spieltheoretischen Optimierungsprozur.

Initialisierung: Das System startet vom Baryzentrum des Simplex und weist eine initiale Masse proportional zur Größe jeder Antwortklasse zu (was effektiv dem Majority Vote entspricht).
Dynamik: Das System aktualisiert die Massenverteilung $x$ iterativ basierend auf der quadratischen Form $x^\top A' x$ . Dieser Prozess konvergiert gegen einen stabilen Punkt $x^*$ , an dem sich die Masse auf die am stärksten gegenseitig unterstützende Teilmenge von Trajektorien konzentriert.
Ergebnis: Die Unterstützung von $x^*$ (Knoten mit Masse über einem Schwellenwert) definiert den Konsens.

3. Generierung der Belohnung

Aus dem Gleichgewichtszustand $x^*$ leitet CoRE drei unterschiedliche Signale ab:

Verfeinertes Pseudo-Label ( $y^*$ ): Die Antwortklasse mit der höchsten Gleichgewichtsmasse. Dies kann sich vom Pluralitäts-Vote unterscheiden, falls eine kleinere, aber hochgradig kohärente Minderheit als dominant hervorgeht.
Gestufte Belohnungen ( $R_i$ ): Jede Roll-out erhält eine kontinuierliche Belohnung, die proportional zu ihrer Affinität zum Konsens steht, anstatt einer binären 0/1.
Kohäsivitäts-Gate ( $w_q$ ): Ein skalarer Wert auf Fragenebene, der die allgemeine Kohärenz des Konsenses misst. Dieses Gate skaliert die Verlustfunktion beim Policy-Update (GRPO) und filtert Fragen heraus, bei denen kein zuverlässiger Konsens existiert.

Zentrale Beiträge

1. Methodische Innovation

CoRE ist die erste Test-Time-RL-Methode, die die Extraktion eines Dominanten Sets zur Konstruktion von Belohnungen nutzt. Sie transformiert die Roll-out-Gruppe von einer „Wahlurne“ in einen „Graphen“, was die Rückgewinnung von korrekten Minderheitsclustern ermöglicht, die kohärent und konfident sind, selbst wenn sie in der Unterzahl sind. Es lässt sich direkt in GRPO integrieren, ohne Hilfsmodelle oder zusätzliche Roll-outs zu benötigen.

2. Theoretische Analyse

Das Paper liefert einen rigorosen theoretischen Rahmen:

Generalisierung: Es wird bewiesen, dass Majority Voting ein Spezialfall von CoRE ist (wenn die Ähnlichkeit des Denkprozesses ignoriert und die Konfidenz uniform ist).
Recovery-Schwellenwert: Eine Block-Wert-Analyse leitet den exakten Schwellenwert ab, bei dem eine korrekte Minderheit eine inkorrekte Pluralität übertreffen kann. Der Schwellenwert hängt vom Verhältnis der Clustergrößen und deren interner Kohärenz ab.
Konfidenz-Multiplikation: Die Analyse beweist, dass die Konfidenz-Kalibrierung den Recovery-Schwellenwert multiplikativ senkt. Speziell: Wenn korrekte Roll-outs konsistenter (konfidenter) sind als inkorrekte, sinkt die erforderliche Kohärenz für eine Minderheit, um zu gewinnen, exponentiell mit der Konfidenz-Differenz.

3. Empirische Evidenz

Evaluierung über 7 Backbones (Qwen, DeepSeek, Llama, Mistral) und 5 Benchmarks (AMC, AIME, MATH-500, MATH-L4/5, GPQA-Diamond) mit 42 Modell-Benchmark-Konfigurationen:

Performance: CoRE verbessert die Genauigkeit im Durchschnitt über alle 42 Modell-Benchmark-Zellen um +21,7 Punkte gegenüber dem untrainierten Basismodell und übertrifft damit das Majority-vote TTRL (+20,4 Punkte). Bemerkenswert ist, dass spezialisierte Mathematik-Modelle allein eine durchschnittliche Verbesserung von +25,0 Punkten zeigen.
Umstrittener Konsens: CoRE erzielt Gewinne von bis zu +7,5 Punkten gegenüber Voting, insbesondere in Szenarien, in denen die Übereinstimmung umstritten ist (z. B. MATH-L4/L5 Subsets).
Sample-Effizienz: CoRE erreicht das finale Genauigkeitsplateau des Voting-Baselines in 54–70 % weniger Optimierungsschritten.
Ablation: Das Entfernen entweder der Graphstruktur oder der Konfidenz-Kalibrierung reduziert die Performance auf nahezu das Niveau des Majority-Vote, was bestätigt, dass die Synergie zwischen struktureller Kohärenz und Konfidenz essenziell ist.

Bedeutung und Behauptungen

Das Paper behauptet, dass Konsens nicht bloßes Zählen ist. Durch die Modellierung der gegenseitigen Unterstützung unter den Denkpfaden verwandelt CoRE einen spröden Voting-Mechanismus in ein kalibriertes, gestuftes, selbstüberwachtes Belohnungssignal.

Mechanismus: Die Methode ist erfolgreich, indem sie Supervision aus „kleineren, kohärenten und konfidenten korrekten Gruppen“ zurückgewinnt, die durch reine Stimmenzählungen übersehen werden.
Betriebsregime: Die Gewinne konzentrieren sich auf das „intermediäre Regime“, in dem eine kohärente korrekte Minderheit existiert, aber nicht die Pluralität bildet. In „Sättigungsregimen“ (nahezu einstimmige korrekte Antworten) oder „Kompetenz-Untergrenze-Regimen“ (zufälliges Raten) degradiert CoRE natürlich zu oder performt ähnlich wie Majority Voting, um ein Overfitting auf Rauschen zu vermeiden.
Selbstüberwachung: CoRE zeigt, dass die Behandlung von Roll-outs als Graph statt als unabhängige Stichproben ein dichteres Trainingssignal liefert, was sowohl die Qualität des Pseudo-Labels als auch die Effizienz des Policy-Updates verbessert.

Die Autoren kommen zu dem Schluss, dass CoRE eine substanzielle Komponente des selbstüberwachten RL darstellt und einen prinzipienbasierten Weg bietet, um mit Uneinigkeit während der Test-Time-Adaption umzugehen, ohne externe Supervision zu benötigen.