💬 NLP

Agreement in Representation Space for Open-Ended Self-Consistency

Dieses Paper stellt Embedding-Based Agreement (EBA) vor, eine trainingsfreie Methode, die Self-Consistency auf Aufgaben der offen endenden Generierung erweitert, indem sie geometrisches Clustering im Repräsentationsraum nutzt, um hochwertige Ausgaben zu identifizieren, und damit demonstriert, dass semantische Konzentration im Embedding-Raum ein robusteres und skalierbareres Signal für Zuverlässigkeit ist als exakter symbolischer Abgleich oder jüngste LLM-basierte Selektionsansätze.

Ursprüngliche Autoren: Paula Ontalvilla, Gorka Azkune, Aitor Ormazabal

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Paula Ontalvilla, Gorka Azkune, Aitor Ormazabal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Nach einer Zweitmeinung fragen

Stellen Sie sich vor, Sie bitten eine sehr intelligente, aber manchmal geschwätzige KI, ein mathematisches Problem zu lösen oder ein Stück Code zu schreiben. Um die beste Antwort zu erhalten, stellen Sie dieselbe Frage 100 Mal. Dies nennt man „Sampling“.

Bei einfachen Aufgaben mit nur einer richtigen Antwort (wie „Was ist 2+2?“) können Sie einfach die Stimmen zählen. Wenn sie 90 Mal „4“ sagt und 10 Mal „5“, wählen Sie „4“. Das ist die alte Methode, die als Self-Consistency bezeichnet wird.

Aber was ist, wenn die Aufgabe offen gestaltet ist?

Programmierung: Sie fragen nach einer Funktion, die eine Liste sortiert. Eine Antwort verwendet Python, eine andere JavaScript und eine dritte einen anderen Sortieralgorith-mus. Alle funktionieren, aber sie sehen völlig unterschiedlich aus. Sie können nicht einfach „Stimmen zählen“, weil keine zwei Antworten Wort für Wort identisch sind.
Zusammenfassung: Sie bitten darum, einen Nachrichtenartikel zusammenzufassen. Eine Zusammenfassung ist kurz und prägnant; eine andere ist lang und detailliert. Beide sind gut, aber sie passen nicht zusammen.

Die alte Methode scheitert hier, weil sie nach exakten Übereinstimmungen sucht (wie das Suchen von identischen Zwillingen). Die Autoren dieser Arbeit wollten einen Weg finden, um Übereinstimmung zu messen, selbst wenn die Antworten oberflächlich betrachtet unterschiedlich aussehen.

Die neue Idee: Die Analogie des „überfüllten Raums“

Die Autoren schlagen eine neue Art vor, über Übereinstimmung nachzudenken. Anstatt darauf zu schauen, welche Wörter die KI generiert, schauen sie auf die Bedeutung dahinter.

Stellen Sie sich das „Gehirn“ der KI (ihren internen Repräsentationsraum) wie einen riesigen, unsichtbaren Raum vor.

Die Hypothese: Wenn die KI viele verschiedene Antworten generiert, die tatsächlich korrekt und in der Bedeutung ähnlich sind, streuen diese nicht zufällig umher. Stattdessen neigen sie dazu, sich in einer bestimmten, überfüllten Ecke des Raums zu drängen.
Das Rauschen: Wenn die KI falsche oder seltsame Antworten generiert, wandern diese tendenziell in die leeren, isolierten Ecken des Raums ab, weit weg von der Menge.

„Übereinstimmung“ bedeutet also nicht, dass alle exakt denselben Satz sagen. Es geht darum, dass alle im selben geometrischen Viertel stehen.

Die Lösung: EBA (Embedding-Based Agreement)

Um dies zu testen, entwickelten die Autoren ein Werkzeug namens EBA. So funktioniert es Schritt für Schritt:

Fragen Sie die KI: Generieren Sie 100 verschiedene Antworten auf dieselbe Frage.
Kartieren Sie die Antworten: Verwandeln Sie jede einzelne Antwort in einen Koordinatenpunkt in diesem riesigen unsichtbaren Raum (mittels eines sogenannten „Embeddings“).
Finden Sie die Menge: Suchen Sie nach dem größten Cluster von Punkten. Wo sammeln sich die meisten Antworten?
Wählen Sie den Anführer: Wählen Sie die Antwort, die dem Zentrum dieser größten Menge am nächsten liegt.

Die Analogie: Stellen Sie sich vor, Sie sind auf einer Party und möchten wissen, was das „Hauptthema“ des Gesprächs ist.

Alte Methode: Sie hören darauf, ob Leute exakt denselben Satz rufen. Wenn niemand exakt denselben Satz ruft, geben Sie auf.
EBA-Methode: Sie betrachten den Raum. Sie sehen eine große Gruppe von Menschen, die in einem Kreis stehen, lachen und reden. Selbst wenn sie unterschiedliche Wörter benutzen, zeigen ihre Körpersprache und ihr Standort, dass sie sich alle über dasselbe Thema einig sind. Sie wählen die Person, die genau in der Mitte dieses Kreises steht, als die „beste“ Antwort aus.

Was sie herausgefunden haben

Die Autoren testeten dies bei drei Arten von Aufgaben: Mathematik, Programmierung und Zusammenfassung.

Es funktioniert besser als Zufall: Einfach eine zufällige Antwort aus den 100 generierten zu wählen, ist so, als würde man eine zufällige Person im ganzen Gebäude auswählen. EBA wählt jemanden aus der „schlauen Menge“, und es erzielt konsistent bessere Ergebnisse.
Mehr Samples = bessere Ergebnisse: Je mehr Antworten Sie die KI generieren lassen, desto deutlicher wird die „Menge“. Es ist so, als hätte man nur 5 Leute in einem Raum – es ist schwer zu sagen, wo die Gruppe ist. Wenn man 200 Leute hat, ist die Menge offensichtlich. EBA wird klüger, je mehr Daten man ihm gibt.
Es ist stabil: Andere Methoden, die versuchen, dieses Problem zu lösen (wie das Bitten einer zweiten KI, die Antworten zu bewerten), geraten oft in Verwirrung oder stoßen an Speicherlimits, wenn man zu viele Antworten abfragt. EBA bleibt auch bei sehr großen Zahlen von Stichproben stabil und zuverlässig.
Das „Zentrum“ ist entscheidend: Sie entdeckten etwas Faszinierendes: Die Antworten, die sich in der Nähe des Zentrums des geometrischen Clusters befinden, sind fast immer die besten und zuverlässigsten Antworten. Die Antworten, die weit außen an den Rändern liegen (die „peripheren“), sind meistens schlecht oder ungenau.

Warum das wichtig ist

Diese Arbeit verändert die Art und Weise, wie wir KI-Konsistenz betrachten.

Vorher: Wir dachten, Konsistenz bedeute „dasselbe sagen“.
Jetzt: Wir wissen, dass Konsistenz eine geometrische Eigenschaft ist. Es bedeutet „im selben Viertel der Bedeutung zu stehen“.

Dies ermöglicht es uns, den „Self-Consistency“-Trick (viele Fragen stellen und die beste auswählen) für komplexe Aufgaben wie das Schreiben von Code oder das Zusammenfassen von Büchern anzuwenden, nicht nur für einfache Matheaufgaben. Es beweist, dass selbst wenn KI-Antworten äußerlich unterschiedlich aussehen, ihre „innere Geometrie“ offenbart, welche davon wirklich übereinstimmen.

Technisches Resümee: Übereinstimmung im Repräsentationsraum für Open-Ended Self-Consistency

Problemstellung

Self-Consistency hat sich als eine primäre Strategie zur Verbesserung der Denkfähigkeiten von Large Language Models (LLMs) während der Inferenz etabliert. Klassische Methoden, wie sie von Wang et al. (2022) vorgeschlagen wurden, arbeiten durch das Sampling mehrerer Denkpfade und die Auswahl der am häufigsten vorkommenden finalen Antwort mittels Mehrheitsentscheidung (Majority Voting). Während dies für Aufgaben mit kategorialen Ausgaben (z. B. mathematisches Denken, Multiple-Choice-Fragen) hochwirksam ist, basiert dieser Ansatz auf exaktem symbolischem Matching.

Die Erweiterung von Self-Consistency auf Aufgaben der offenen Generierung (Open-Ended Generation) – wie etwa Code-Synthese, Textzusammenfassung und freiformiges Denken – stellt eine erhebliche Herausforderung dar. In diesen Szenarien können semantisch äquivalente Antworten auf lexikalischer oder struktureller Ebene erheblich voneinander abweichen, was exaktes Matching unwirksam macht. Jüngste Versuche, dies zu adressieren, wie etwa Universal Self-Consistency (USC) (Chen et al., 2023), welches LLM-basierte Evaluierung nutzt, oder Self-Certainty (SCe) (Kang et al., 2026), das auf Unsicherheitssignalen basiert, führen neue Einschränkungen hinsichtlich Skalierbarkeit, Rechenkosten und Stabilität ein.

Methodik: Embedding-Based Agreement (EBA)

Die Autoren hypothetisieren, dass Self-Consistency in der offenen Generierung nicht bloß eine Eigenschaft des symbolischen Overlaps ist, sondern eine geometrische Eigenschaft des Generierungsraums. Speziell postulieren sie, dass semantisch kompatible Generationen in ähnlichen, dichten Regionen des Repräsentationsraums konzentriert sind, während inkonsistente oder qualitativ minderwertige Generationen isoliert oder spärlich verteilt erscheinen.

Um diese Hypothese zu operationalisieren, führen die Autoren Embedding-Based Agreement (EBA) ein, ein trainingsfreies Framework, das Konsistenz durch die folgenden Schritte schätzt:

Sampling: Gegeben einem Input-Prompt $x$ werden $N$ Kandidaten-Generationen $\{y_1, \dots, y_N\}$ von einem Sprachmodell gesampelt.
Embedding: Jede Generation wird mittels einer Embedding-Funktion $\phi(\cdot)$ in einen kontinuierlichen Repräsentationsraum abgebildet, wodurch Vektoren $\{e_1, \dots, e_N\}$ entstehen.
Clustering: Die Embeddings werden mittels Agglomerative Clustering unter Verwendung der Cosinus-Distanz geclustert. Die Anzahl der Cluster wird automatisch über eine Silhouette-Analyse bestimmt.
Selektion: Cluster, die eine höhere Anzahl an Generationen enthalten, werden als Regionen starker Übereinstimmung interpretiert. Die finale Vorhersage wird als die Probe ausgewählt, die dem Zentroid des dominanten Clusters am nächsten liegt.

Das Framework ist modellagnostisch konzipiert und erfordert weder zusätzliches Training noch externe LLM-Evaluatoren für den Selektionsprozess.

Zentrale Beiträge

Geometrische Interpretation von Self-Consistency: Die Arbeit rahmt Self-Consistency von einem diskreten Abstimmungsmechanismus hin zu einem geometrischen Phänomen um, bei dem Übereinstimmung aus der kollektiven Organisation der gesampelten Generationen im Repräsentationsraum entsteht.
EBA-Framework: Die Einführung einer einfachen, trainingsfreien Methode (EBA), die Clustering im Embedding-Raum nutzt, um hochwertige Ausgaben für offene Aufgaben zu selektieren.
Empirische Validierung: Umfassende Experimente über drei verschiedene Domänen hinweg: mathematisches Denken (MATH500), Code-Generierung (HumanEval) und Zusammenfassung (CNN/DM).
Analyse von Skalierung und Robustheit: Die Studie zeigt, dass sich die Übereinstimmungssignale mit steigendem Sampling-Budget verstärken und über verschiedene Modellfamilien (Llama, Qwen), Modellskalen (8B bis 70B) und Embedding-Räume (prätrainierte Modelle vs. native Hidden Representations) hinweg robust bleiben.
Korrelation der geometrischen Qualität: Die Analyse zeigt eine starke Korrelation zwischen der geometrischen Lage einer Generation und ihrer Qualität. Generationen, die in den zentralen Regionen des Repräsentationsraums konzentriert sind, liefern zuverlässigere Ergebnisse, während periphere Generationen signifikant weniger genau sind.

Experimentelle Ergebnisse

Die Autoren evaluierten EBA gegenüber Random Selection, USC und SCe unter Verwendung von Llama 3.1-8B/70B und Qwen 3-8B/32B Modellen.

Leistungssteigerung: EBA übertrifft Random Selection konsistent. Die Verbesserungen sind in der Code-Generierung (bis zu +4 Punkte auf HumanEval) und im mathematischen Denken (bis zu +17 Punkte auf MATH500) am ausgeprägtesten. Die Gewinne in der Zusammenfassung sind geringer, aber konsistent (+1 ROUGE-1 Punkt).
Skalierungsverhalten: Im Gegensatz zu USC, welches oft mit zunehmender Anzahl an Kandidaten aufgrund von Kontextlimits oder Evaluierungsrauschen degradiert, und SCe, welches ein instabiles Skalierungsverhalten zeigt, weist EBA eine stabile, nahezu monotone Verbesserung auf, wenn das Sampling-Budget ( $n$ ) von 1 auf 256 erhöht wird.
Robustheit: Die Effektivität von EBA bleibt über verschiedene Embedding-Modelle (Qwen, Gemma) hinweg bestehen und gilt sogar bei der Verwendung nativer Hidden Representations, die direkt aus dem Generierungsmodell extrahiert wurden, was darauf hindeutet, dass das Signal intrinsisch zur Generierungsverteilung gehört.
Verbindung zum klassischen SC: Auf MATH500 spiegelt EBA, wenn es auf extrahierte finale Antworten angewendet wird, das Skalierungsverhalten des klassischen Majority Voting eng wider, was darauf hindeutet, dass es eine kontinuierliche Erweiterung des ursprünglichen Self-Consistency-Prinzips ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Betrachtung von Self-Consistency als geometrische Eigenschaft gesampelter Generationen eine vereinheitlichte Perspektive sowohl für kategoriale als auch für offene Aufgaben bietet. Die primäre Bedeutung dieser Arbeit liegt in:

Der Bereitstellung einer robusten, skalierbaren und recheneffizienten Alternative zur LLM-basierten Evaluierung zur Selektion konsistenter Ausgaben in der offenen Generierung.
Dem Nachweis, dass Konsistenzsignale über Modellskalen und Embedding-Räume hinweg, einschließlich nativer Repräsentationen, stabil sind.
Der Feststellung, dass das „Zentrum“ des durch eine Verteilung von Generationen eingenommenen Repräsentationsraums ein starker Indikator für die Zuverlässigkeit der Ausgabe ist.

Die Autoren kommen zu dem Schluss, dass ihre Ergebnisse eine Verschiebung im Verständnis von Self-Consistency weg von exaktem symbolischem Overlap hin zur geometrischen Organisation des Generierungsraums unterstützen, was neue Wege für die Selektion zur Inferenzzeit basierend auf der Struktur des Repräsentationsraums eröffnet.

Limitationen

Die Autoren räumen mehrere Limitationen ein:

Repräsentationsgeometrie: Aktuelle Embedding-Räume können Strukturen mit geringer Separation aufweisen (z. B. Konzentration in engen hochdimensionalen Kegeln), was bedeutet, dass Proximität nicht immer perfekt mit semantischer Äquivalenz gleichgesetzt werden kann.
Clustering-Heuristiken: Die Abhängigkeit von Agglomerative Clustering und Silhouette-Analyse wird möglicherweise nicht in der Lage sein, feingranulare lokale Strukturen im Generierungsraum vollständig zu erfassen.
Rechenaufwand: Obwohl EBA kostengünstiger als LLM-Evaluierung ist, erfordert es dennoch die Generierung mehrerer Samples und die Berechnung von Embeddings, was bei sehr großen Sampling-Budgets oder langen Generationen kostspielig sein kann.
Geltungsbereich: Die Evaluierung beschränkt sich auf Zusammenfassung, Code und Mathematik; weitere Untersuchungen in Domänen wie Dialog oder agentischem Denken sind erforderlich.