Consilience for Verifier-Free Test-Time Scaling

3. Metriekberekening:

   • $C_{initial}$: Gemiddelde zekerheid van de eerste $W$ tokens (waarbij de eerste $P$ tokens worden overgeslagen om door de prompt geïnduceerde bias te vermijden).
   • $C_{final}$: Gemiddelde zekerheid van de laatste $W$ tokens.
   • Score ($S$): $S = C_{final} - \alpha C_{initial}$

   Waarbij $\alpha$ een balancerende factor is ($\alpha \ge 0$). Deze formulering straft hoge initiële zekerheid (voortijdige convergentie) actief af, terwijl het hoge finale vertrouwen (logische consensus) vereist.

Belangrijkste Bijdragen

1. Identificatie van het "Confidently Wrong"-fenomeen: Het artikel levert empirisch bewijs dat het maximaliseren van sequentie-niveau zekerheid contraproductief is voor complexe problemen, omdat het selecteert op voortijdige convergentie in plaats van diverse exploratie.
2. De Consilience-metriek: Een nieuw, training-vrij selectiekader dat de temporele asymmetrie van zekerheid kwantificeert. Het is de eerste methode die expliciet vroege zekerheid bestraft om procesdiversiteit te stimuleren in verifier-vrije omgevingen.
3. Isolatie van de Redeneerfase: Een techniek om de kunstmatig hoge zekerheid van finale antwoord-tokens te verwijderen, zodat de metriek het werkelijke cognitieve zoekproces weerspiegelt.
4. Brede Toepasbaarheid: In tegenstelling tot majority voting (dat extraheerbare antwoorden vereist) of Process Reward Models (die training vereisen), berust Consilience uitsluitend op interne logits, waardoor het toepasbaar is op vrije vorm generatie en agentische workflows.

Experimentele Resultaten

De auteurs evalueerden Consilience over vier benchmarks: LiveCodeBench-V6 (vrije vorm code), SWE-bench (agentische software engineering), HMMT25 (geavanceerde wiskunde) en GPQA-Diamond (graduate-level QA).

• Prestatiewinst: Consilience presteerde consistent beter dan de baselines (Self-Certainty, DeepConf) en de random baseline (Pass@1).
  • Op LiveCodeBench verhoogde Consilience de nauwkeurigheid van GPT-OSS-120B van 65,7% (Pass@1) naar 69,7%.
  • Op HMMT25 verbeterde het GPT-OSS-20B van 76,5% naar 80,7% (met gebruik van de Cns-2K-think variant).
• Falen van Baselines: Eenvoudige maximalisatie van zekerheid degradeerde de prestaties vaak tot onder Pass@1 bij moeilijke subsets (bijv. een daling van de HMMT-prestaties naar 68,0% voor OSS-20B).
• Schaalbaarheid-robuustheid: Naarmate de steekproefomvang ($n$) toenam, behield of verbeterde Consilience de prestaties, terwijl zekerheid-gebaseerde baselines leden onder de "long-tail trap", waarbij steeds meer zelfverzekerde maar incorrecte hallucinaties werden geselecteerd.
• Moeilijkheidsgraad-stratificatie: Consilience vertoonde neutrale prestaties op eenvoudige problemen (waar maximalisatie van zekerheid al werkt), maar leverde significante winsten op middelmatige en moeilijke problemen waar exploratie cruciaal is.
• Agentische Toepassing: Geïntegreerd in de mini-SWE-agent, verbeterde Consilience de probleemoplossingspercentages op SWE-bench (bijv. +3,9% voor GPT-OSS-120B), wat het nut aantoont in multi-turn, tool-gebruikende omgevingen.

Betekenis en Claims

Het artikel beweert dat Consilience een fundamentele verschuiving vertegenwoordigt in de manier waarop test-time scaling moet worden benaderd voor complexe redeneringen:

• Van Maximalisatie naar Traject: Het gaat verder dan de statische maximalisatie van zekerheid naar een dynamische evaluatie van het redeneerproces.
• Waardering van Exploratie: Het stelt vast dat "lage initiële zekerheid" geen teken van zwakte is, maar een noodzakelijke indicator van cognitieve diversiteit en robuuste probleemoplossing.
• Verifier-vrije Schaalbaarheid: Het biedt een praktische, zero-overhead oplossing voor het schalen van LLM's in domeinen waar externe verificatie onmogelijk is, waarmee het een kritieke kloof vult die wordt achtergelaten door methoden die vertrouwen op voting of externe reward-modellen.

De auteurs positioneren Consilience niet louter als een heuristische score, maar als een instantiatie van een breder principe: dat effectieve redeneeragenten de ruimte moeten krijgen om diverse paden te verkennen voordat ze convergeren, en dat selectiemechanismen dit specifieke trajectpatroon moeten belonen.