Technische Samenvatting: Gezamenlijke Consistentie (JC)

Probleemdefinitie

Het artikel behandelt Test-Time Aggregatie (TTA), het probleem van het selecteren van één betrouwbaar antwoord uit een set van $N$ kandidaat-redeneersporen die zijn gegenereerd voor een specifieke query. Hoewel bestaande Test-Time Scaling (TTS)-methodes effectief meerdere sporen genereren, lijden hun aggregatiestrategieën vaak onder twee beperkingen:

1. Isolatie: De meeste methodes (bijv. Self-Consistency, Weighted Self-Consistency) evalueren sporen onafhankelijk, gebaseerd op absolute kwaliteitsscores of antwoordfrequenties. Dit negeert vergelijkende informatie tussen kandidaten.
2. Kalibratie-moeilijkheid: Onafhankelijke evaluatie vereist dat de evaluator goed gekalibreerde absolute scores produceert, wat vaak moeilijk te bereiken is, vooral over heterogene modelgeneratoren heen.
3. Schaalbaarheid van Vergelijkingen: Hoewel vergelijkende oordelen (bijv. "Spoor A is beter dan Spoor B") vaak betrouwbaarder zijn dan absolute scores, leidt het naïef incorporeren van alle paarsgewijze vergelijkingen tot een $O(N^2)$ rekentijd, wat prohibitief is voor grote sporenbudgetten.

De auteurs stellen de vraag: Hoe kunnen paarsgewijze vergelijkende oordelen op een principiële, computerefficiënte manier worden geïntegreerd in test-time aggregatie?

Methodologie: Gezamenlijke Consistentie (JC)

De auteurs stellen Gezamenlijke Consistentie (JC) voor, een unificerend kader geformuleerd als een geconstrueerd Ising-type energie-minimalisatieprobleem.

1. De Energiefunctie

Het aggregatiedoel is het vinden van een indicatorvector $x \in \{0, 1\}^N$ (waarbij $x_i=1$ als spoor $i$ wordt geselecteerd) die de energiefunctie $H(x)$ minimaliseert:
$$\min_{x \in \{1_{I_k} | k \in [K]\}} H(x) := -\mu \langle h, x \rangle - x^\top J x$$
Waarbij:

• $K$ het aantal distincte kandidaat-antwoorden is.
• Beperking: De toelaatbare verzameling beperkt $x$ tot het selecteren van precies één antwoordgroep (alle sporen die hetzelfde antwoord geven).
• $h$ (Extern Veld): Een vector die onafhankelijke evaluatiesignalen encodeert (bijv. LLM-as-a-judge scores voor individuele sporen).
• $J$ (Interactiematrix): Een matrix die paarsgewijze vergelijkende signalen encodeert (bijv. kansen dat spoor $i$ de voorkeur krijgt boven spoor $j$).
• $\mu$ (Hyperparameter): Regelt de afweging tussen onafhankelijke evaluatie en paarsgewijze interacties.

2. Constructie van de Interactiematrix ($J$)

De matrix $J$ wordt geconstrueerd met behulp van LLM-as-a-judge vergelijkingen.

• Paarsgewijze Kansen: Voor sporen $y_i$ en $y_j$ schat de rechter de kans $p_\theta(y_i \succeq y_j)$ in, de kans dat $y_i$ beter is dan $y_j$.
• Positief Semi-Definiete Constructie: Om stabiliteit en interpreteerbaarheid te waarborgen, wordt $J$ gedefinieerd als $J = CC^\top$, waarbij de ingang $C_{ij}$ een genormaliseerde versie is van de voorkeurskans:
  $$C_{ij} := \sqrt{\frac{p_\theta(y_i \succeq y_j)}{n_i^2 n_j}}$$
  Hierbij is $n_i$ het aantal sporen dat hetzelfde antwoord deelt als $y_i$. Deze constructie impliceert dat twee sporen een sterke interactie hebben als ze beide de voorkeur krijgen boven vergelijkbare sets van concurrerende sporen.

3. Theoretische Interpretatie

Onder een homogeniteitsaanname op antwoordniveau (waarbij alle sporen voor een gegeven antwoord $a^{(k)}$ identieke paarsgewijze voorkeurskansen hebben tegenover sporen van een ander antwoord $a^{(k')}$), vereenvoudigt de kwadratische term $x^\top J x$ tot een som van voorkeuren op antwoordniveau. Dit biedt een theoretische rechtvaardiging voor het omzetten van vergelijkingen op sporenniveau naar een aggregatieregel op antwoordniveau.

4. Efficiënte Benaderingsstrategie

Om de $O(N^2)$ kosten van het berekenen van $J$ voor alle sporenparen aan te pakken, stellen de auteurs een Top-$\kappa$ benadering voor:

• In plaats van alle $N$ sporen te vergelijken, worden interacties alleen geschat tussen de top-$\kappa$ meest frequente antwoordgroepen.
• Dit reduceert de complexiteit van $O(N^2)$ naar $O(\kappa^2)$, waarbij $\kappa$ een klein consistentiebudget is (bijv. $\kappa=4$).
• De optimalisatie van de energiefunctie zelf is hanteerbaar ($O(K)$ of $O(\kappa)$) omdat de toelaatbare verzameling beperkt is tot $K$ (of $\kappa$) kandidaat-antwoordgroepen, waardoor het NP-hard karakter van algemene kwadratische onbeperkte binaire optimalisatie (QUBO) wordt vermeden.

Belangrijkste Bijdragen

1. Incorporatie van Vergelijkende Signalen: JC introduceert een geconstrueerd energie-minimalisatiemodel dat paarsgewijze vergelijkende signalen integreert via een interactiematrix $J$, naast onafhankelijke signalen via een extern veld $h$.
2. Unificerend Kader: De formulering omvat bestaande methodes als speciale gevallen:
   • Self-Consistency (SC): $J=0, \mu=0$ (of specifieke $h$).
   • Weighted Self-Consistency (WSC): $J=0, \mu > 0$.
   • Alleen Interactie: $\mu=0$.
   • Door $\mu$ te variëren, interpoleert JC tussen deze strategieën.
3. Schaalbaarheid: De voorgestelde Top-$\kappa$ benadering maakt interactiemodeling praktisch voor schaalbare aggregatie, waarbij de voordelen van paarsgewijze vergelijkingen behouden blijven met kosten vergelijkbaar met standaard gewogen stemming.

Experimentele Resultaten

De auteurs hebben JC geëvalueerd op benchmarks voor wiskundig redeneren (MathArena: AIME, HMMT, Brumo) en code-redeneren (CruxEval-O).

• Crowdsourced Settings (Heterogene Sporen):
  • JC presteerde consistent beter dan baselines (SC, WSC, Best-of-N, Knockout Tournament) over diverse rechtermodellen (Qwen, DeepSeek, GPT-varianten) en sporenbudgetten heen.
  • Op MathArena-C (moeilijke subset) behaalde JC met een klein $\kappa=4$ nauwkeurigheidsverbeteringen van meer dan 20% ten opzichte van WSC.
  • JC bleef robuust, zelfs wanneer sporen werden gegenereerd door modellen van lagere tier, waarbij onafhankelijke scores onbetrouwbaar waren maar vergelijkende coherentie effectief bleef.
• Homogene Settings (Intrinsieke Signalen):
  • In settings waar token-level log-kansen beschikbaar waren (bijv. DeepSeek-R1, Qwen3), presteerde JC nog steeds beter dan baselines voor intrinsieke evaluatie zoals Self-Certainty en DeepConf.
  • De prestatiewinst van JC ten opzichte van de sterkste baseline nam toe naarmate het aantal sporen ($N$) toenam, wat betere schaalbaarheidseigenschappen aangeeft.
• Kostenefficiëntie:
  • De kosten van de JC-evaluatiefase (het bevragen van de rechter voor $h$ en $J$) bleken minder dan 1% van de kosten van het genereren van de redeneersporen.
  • De methode is robuust voor de keuze van $\mu$ (optimale bereik doorgaans $[0.5, 1]$) en vereist geen fine-tuning voor specifieke rechtermodellen.

Betekenis en Claims

Het artikel beweert dat Gezamenlijke Consistentie een principiële, unificerende aanpak biedt voor test-time aggregatie die de kloof overbrugt tussen onafhankelijke evaluatie en paarsgewijze vergelijking.

• Theoretisch Inzicht: Het presenteert aggregatie als een energie-minimalisatieprobleem, en biedt een theoretische interpretatie van hoe paarsgewijze vergelijkingen op antwoordniveau aggregeren.
• Praktische Impact: Het toont aan dat het benutten van vergelijkende signalen via een efficiënte benaderingsstrategie consistente winsten oplevert ten opzichte van state-of-the-art baselines, zonder prohibitieve computerefficiëntie.
• Beperkingen: De auteurs merken bescheiden op dat het huidige werk zich richt op aggregatie van het eindantwoord in redeneertaken; generalisatie naar open-ended redeneren of probleemoplossing op onderzoeksniveau is onbewezen. Bovendien is de specifieke constructie van de interactiematrix $J$ mogelijk niet optimaal, en erft de methode de beperkingen van de onderliggende generatie- en rechtermodellen.