Technische Samenvatting: Het Verborgen Signaal van Verifier-Strengheid

Probleemstelling

Generatieve verifiers, die stapsgewijze verificatie behandelen als een next-token predictieprobleem, hebben zich ontwikkeld tot een veelbelovend paradigma voor het detecteren van fouten in redeneringen van Large Language Models (LLM). Deze verifiers lijden echter vaak aan slechte kalibratie, gekenmerkt door een neiging om ofwel onderkritisch te zijn (foutieve stappen ten onrechte accepteren) ofwel overkritisch (juiste stappen ten onrechte verwerpen). Dit fenomeen, termed verifier-strengheid, manifesteert zich als een positiviteitsbias waarbij verifiers gebrekkige oplossingen onterecht valideren of geldige oplossingen verwerpen vanwege oppervlakkige stijlproblemen.

Hoewel het fijnafstemmen van gespecialiseerde Process Reward Models (PRMs) dit kan mitigeren, is dit resource-intensief en lijdt het aan snelle veroudering naarmate frontier-modellen evolueren. Bovendien generaliseren evaluatoren die zijn getraind op oudere modelgeneraties vaak slecht op nieuwere instructie-gefine-tuned modellen. Bijgevolg is er behoefte aan een trainingsvrije methodologie die het verifiër-gedrag in algemene instructie-gefine-tuned modellen adaptief kan controleren, zonder de rekenkundige overhead van uitgebreide fijnafstemming of self-consistency sampling.

Methodologie

De auteurs stellen VerifySteer voor, een trainingsvrije methode die verifier-strengheid reguleert via hidden-state steering. De aanpak is gebaseerd op twee primaire bevindingen en een bijbehorend adaptief kader:

1. Ontdekking van het Verificatie-specifieke Latente Signaal

Door empirische analyse identificeren de auteurs dat de neiging van een verifier om een oplossingsstap te accepteren of verwerpen, is gecodeerd in de hidden state van het paragraafgrens-delimiter-token (\n\n) dat direct voorafgaat aan de bijbehorende verificatieparagraaf.

• Signaallocalisatie: Het besluitvormingssignaal is niet uniform verdeeld, maar gelokaliseerd tot specifieke transformer-lagen (bijvoorbeeld laag 22 in Qwen3-8B).
• Constructie van Steering-Vectoren: Met behulp van een validatieset construeren de auteurs contrastieve steering-vectoren door het gemiddelde verschil te berekenen tussen hidden states van True Rejection (TR) segmenten en False Acceptance (FA) segmenten (voor het verhogen van strengheid, $d_{strict}$), en True Acceptance (TA) versus False Rejection (FR) segmenten (voor het verlagen van strengheid, $d_{lenient}$).
• Interventie: Tijdens inferentie worden deze vectoren toegevoegd aan de hidden states van delimiter-tokens om de output van de verifier te moduleren.

2. Het VerifySteer Kader

De auteurs observeren dat uniforme steering (het toepassen van één vector op alle samples) een trade-off creëert: het verhogen van strengheid verbetert de foutdetectie (True Negative Rate, TNR) maar schaadt de correctheidscertificering (True Positive Rate, TPR), en vice versa. Om dit op te lossen, introduceert VerifySteer sample-level en delimiter-level adaptiviteit:

• Sample-Level Routing: Een lichtgewicht correctheidspri ($f_\phi$) voorspelt de waarschijnlijkheid dat een kandidaat-oplossing volledig correct is, gebaseerd op de hidden states van de prompt.
  • Als de oplossing wordt voorspeld als waarschijnlijk onjuist ($q \le \tau_l$), past het systeem de strengheid-verhogende vector toe ($d_{strict}$).
  • Als de oplossing wordt voorspeld als waarschijnlijk correct ($q \ge \tau_h$), past het systeem de mildheid-verhogende vector toe ($d_{lenient}$).
  • Anders wordt geen steering toegepast.
• Delimiter-Level Gating: Steering wordt alleen toegepast op delimiter-tokens waarbij de lokale hidden state niet overeenkomt met de geselecteerde richting (bepaald door een cosinus-similariteitsdrempel $\rho$). Dit voorkomt onnodige interventie op tokens die al in lijn zijn met het gewenste gedrag.

Belangrijkste Bijdragen

1. Identificatie van een Latent Signaal: Het artikel toont aan dat verifier-strengheid is gecodeerd in de hidden states van paragraafgrens-tokens en kan worden gemoduleerd via gerichte interventie zonder fijnafstemming.
2. VerifySteer Algorithm: Het voorstellen van een conditionele steering-methode die dynamisch samples routeert en selectief ingrijpt op delimiter-grenzen om foutdetectie en correctheidscertificering in evenwicht te brengen.
3. Empirische Validatie: Uitgebreide experimenten op ProcessBench en Hard2Verify benchmarks over verschillende modelschalen (1,7B tot 70B parameters) en architecturen (dense en MoE).

Experimentele Resultaten

Experimenten werden uitgevoerd op ProcessBench (GSM8K, MATH, OlympiadBench, Omni-MATH) en Hard2Verify met modellen zoals Qwen3-1.7B, Qwen3-8B en FARE-20B.

• Prestaties versus Baselines: VerifySteer presteert beter dan prompt-optimatie, activation steering baselines (CAA) en self-consistency (Cons@4/Cons@8) wat betreft de F1-score.
  • Op ProcessBench met Qwen3-1.7B overtreft VerifySteer self-consistency met 3,7 F1-punten.
  • Op Hard2Verify met Qwen3-8B-thinking overtreft VerifySteer self-consistency met 2,2 F1-punten.
• Efficiëntie: VerifySteer bereikt deze winsten met aanzienlijk lagere rekenkosten. Het vereist 4–7× minder inferentie-rekenkracht (FLOPs) in vergelijking met self-consistency methoden, die vertrouwen op meerdere sampling traces.
• Compatibiliteit: De methode is orthogonaal met verificatie-fijnafstemming. Wanneer toegepast bovenop de gefine-tuned FARE-20B verifier, levert VerifySteer extra winst op (het verhogen van F1 van 41,5 naar 51,1), wat aantoont dat steering en fijnafstemming complementair zijn.
• Ablatie Studies: Het verwijderen van sample-level adaptiviteit leidt tot een daling in TPR, terwijl het verwijderen van delimiter-level adaptiviteit de TNR verlaagt, wat de noodzaak bevestigt van beide componenten voor het balanceren van de strengheid-trade-off.

Betekenis en Claims

Het artikel claimt dat LLM-verifiers controleerbare latente gedragingen reflecteren die kunnen worden gemanipuleerd zonder de zware kosten van hertraining. Door een specifiek hidden-state signaal voor verificatiestrengheid bloot te leggen, bieden de auteurs een weg naar lichtgewicht en adaptieve controle van verifiër-gedrag in algemene instructie-gefine-tuned modellen.

De betekenis ligt in het bieden van een praktisch alternatief voor zowel dure fijnafstemming als rekenkundig zware self-consistency. VerifySteer stelt modellen van de huidige generatie in staat om de prestaties van gespecialiseerde, gefine-tunde evaluatoren gebaseerd op oudere generaties te evenaren of te overtreffen, terwijl ze semantische coherentie behouden en interpreteerbare stap-voor-stap uitleg bieden. Het werk suggereert dat representatie-engineering een haalbare en efficiënte strategie is voor het verbeteren van de betrouwbaarheid van generatieve verifiers in wiskundige redeneertaken.