Technische Samenvatting: Overeenstemming in de Representatieruimte voor Open-Eindige Zelfconsistentie

Probleemstelling

Zelfconsistentie is naar voren gekomen als een primaire strategie tijdens de inferentiefase voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLM's). Klassieke methoden, zoals voorgesteld door Wang et al. (2022), werken door meerdere redeneerpaden te samplen en de meest frequente uiteindelijke antwoord via meerderheidsstemming te selecteren. Hoewel dit zeer effectief is voor taken met categorische outputs (bijv. wiskundig redeneren, meerkeuzevragen), vertrouwt deze aanpak op exacte symbolische overeenkomst.

Het uitbreiden van zelfconsistentie naar open-eindige generatietaken—zoals codesynthese, tekstsamenvatting en vrije vorm redeneren—vormt een aanzienlijke uitdaging. In deze settings zijn semantisch equivalente reacties vaak substantieel verschillend op lexicaal of structureel niveau, waardoor exacte overeenkomst ineffectief wordt. Recente pogingen om dit aan te pakken, zoals Universal Self-Consistency (USC) (Chen et al., 2023) dat gebruikmaakt van LLM-gebaseerde evaluatie, of Self-Certainty (SCe) (Kang et al., 2026) dat vertrouwt op onzekerheidssignalen, introduceren nieuwe beperkingen met betrekking tot schaalbaarheid, computationele kosten en stabiliteit.

Methodologie: Embedding-Gebaseerde Overeenstemming (EBA)

De auteurs hypothetiseren dat zelfconsistentie in open-eindige generatie niet louter een eigenschap is van symbolische overlap, maar een geometrische eigenschap van de generatieruimte. Specifiek postuleren zij dat semantisch compatibele generaties concentreren in vergelijkbare, dichte regio's van de representatieruimte, terwijl inconsistente of kwalitatief minder goede generaties geïsoleerd of spaars verdeeld verschijnen.

Om deze hypothese te operationaliseren, introduceren zij Embedding-Based Agreement (EBA), een training-vrij framework dat consistentie schat via de volgende stappen:

1. Sampling: Gegeven een input prompt $x$, worden $N$ kandidaat-generaties $\{y_1, \dots, y_N\}$ gesampled vanuit een taalmodel.
2. Embedding: Elke generatie wordt in kaart gebracht in een continue representatieruimte met behulp van een embedding functie $\phi(\cdot)$, wat vectoren $\{e_1, \dots, e_N\}$ oplevert.
3. Clustering: De embeddings worden geclusterd met behulp van agglomeratieve clustering met cosinusafstand. Het aantal clusters wordt automatisch bepaald via silhouet-analyse.
4. Selectie: Clusters die een hoger aantal generaties bevatten, worden geïnterpreteerd als regio's van sterke overeenstemming. De uiteindelijke voorspelling wordt geselecteerd als de sample die het dichtst bij het zwaartepunt (centroid) van de dominante cluster ligt.

Het framework is ontworpen om model-agnostisch te zijn en vereist geen extra training of externe LLM-evaluatoren voor het selectieproces.

Belangrijkste Bijdragen

1. Geometrische Interpretatie van Zelfconsistentie: Het artikel herformuleert zelfconsistentie van een discrete stemmechanisme naar een geometrisch fenomeen waarbij overeenstemming voortkomt uit de collectieve organisatie van gesamplede generaties in de representatieruimte.
2. EBA Framework: De introductie van een eenvoudige, training-vrije methode (EBA) die clustering in de embedding-ruimte gebruikt om hoogwaardige outputs te selecteren voor open-eindige taken.
3. Empirische Validatie: Uitgebreide experimenten over drie verschillende domeinen: wiskundig redeneren (MATH500), codegeneratie (HumanEval) en samenvatting (CNN/DM).
4. Analyse van Schaling en Robuustheid: De studie toont aan dat overeenstemmingssignalen sterker worden met een groter sampling-budget en robuust blijven over verschillende modelfamilies (Llama, Qwen), model-schalen (8B tot 70B) en embedding-ruimtes (pre-trained modellen versus native verborgen representaties).
5. Geometrische Kwaliteitcorrelatie: De analyse onthult een sterke correlatie tussen de geometrische locatie van een generatie en de kwaliteit ervan. Generaties die geconcentreerd zijn nabij de centrale regio's van de representatieruimte leveren meer betrouwbare outputs op, terwijl perifere generaties significant minder accuraat zijn.

Experimentele Resultaten

De auteurs evalueerden EBA tegen random selectie, USC en SCe met behulp van Llama 3.1-8B/70B en Qwen 3-8B/32B modellen.

• Prestatieverbetering: EBA presteert consequent beter dan random selectie. De verbeteringen zijn het meest uitgesproken in codegeneratie (tot +4 punten op HumanEval) en wiskundig redeneren (tot +17 punten op MATH500). De winst in samenvatting is kleiner maar consistent (+1 ROUGE-1 punt).
• Schalingsgedrag: In tegen tegenstelling tot USC, dat vaak verslechtert naarmate het aantal kandidaten toeneemt door contextlimieten of evaluatiefouten, en SCe, dat instabiel schalingsgedrag vertoont, vertoont EBA een stabiele, bijna monotone verbetering naarmate het sampling-budget ($n$) toeneemt van 1 naar 256.
• Robuustheid: De effectiviteit van EBA houdt stand bij verschillende embedding-modellen (Qwen, Gemma) en zelfs wanneer native verborgen representaties worden gebruikt die direct uit het generatiemodel zijn geëxtraheerd, wat suggereert dat het signaal intrinsiek is aan de generatiedistributie.
• Connectie met Klassieke SC: Op MATH500, wanneer toegepast op geëxtraheerde uiteindelijke antwoorden, weerspiegelt EBA nauwgezet het schalingsgedrag van klassieke meerderheidsstemming, wat suggereert dat het een continue uitbreiding is van het oorspronkelijke zelfconsistentie-principe.

Betekenis en Claims

Het artikel claimt dat het beschouwen van zelfconsistentie als een geometrische eigenschap van gesamplede generaties een verenigend perspectief biedt voor zowel categorische als open-eindige taken. De primaire betekenis van dit werk ligt in:

• Het bieden van een robuust, schaalbaar en computationeel efficiënt alternatief voor LLM-gebaseerde evaluatie voor het selecteren van consistente outputs in open-eindige generatie.
• Het aantonen dat consistentiesignalen stabiel zijn over model-schalen en embedding-ruimtes, inclusief native representaties.
• Het vaststellen dat het "centrum" van de representatieruimte die door een distributie van generaties wordt ingenomen, een sterke indicator is voor de betrouwbaarheid van de output.

De auteurs concluderen dat hun bevindingen een verschuiving ondersteunen in het begrip van zelfconsistentie, weg van exacte symbolische overlap naar de geometrische organisatie van de generatieruimte, wat nieuwe richtingen opent voor inferentie-tijd selectie gebaseerd op de structuur van de representatieruimte.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• Representatiegeometrie: Huidige embedding-ruimtes kunnen vertonen met lage-scheidingsgeometrische structuren (bijv. concentratie in smalle hoog-dimensionale kegels), wat betekent dat nabijheid niet altijd perfect gelijkstaat aan semantische equivalentie.
• Clustering Heuristieken: De afhankelijkheid van agglomeratieve clustering en silhouet-analyse brengt mogelijk niet de volledige fijnmazige lokale structuren in de generatieruimte in kaart.
• Computationele Overhead: Hoewel goedkoper dan LLM-evaluatie, vereist EBA nog steeds het genereren van meerdere samples en het berekenen van embeddings, wat kostbaar kan zijn voor zeer grote sampling-budgetten of lange generaties.
• Scope: De evaluatie is beperkt tot samenvatting, code en wiskunde; verdere beoordeling in domeinen zoals dialoog of agentische redenering is nodig.