Technische Samenvatting: LOVER (Logic-Regularized Verifier)

Probleemstelling

Verifiers zijn essentieel voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLMs) door parameters te optimaliseren (via RL) of optimale outputs te selecteren (via inference scaling). Echter, bestaande verifiers staan voor twee primaire beperkingen:

1. Data-afhankelijkheid: Traditionele supervised verifiers vereisen dure, resource-intensieve gelabelde datasets. Het verzamelen van hoogwaardige annotaties, met name voor gespecialiseerde domeinen of procesannotaties op stap-niveau, is kostbaar en tijdrovend.
2. Diversiteit en Generalisatie: De afhankelijkheid van expert-annotaties kan leiden tot een gebrek aan oplossingsdiversiteit, omdat annotatoren mogelijk vertrouwde redeneerpatronen verkiezen boven even geldige maar minder intuïtieve patronen. Bovendien zijn recente unsupervised benaderingen zoals CoT-Decoding gevoelig voor de keuze van het backbone-model, terwijl andere zoals CCS beperkt zijn tot Ja-Nee-vragen en moeite hebben om te schalen naar algemene redeneertaken.

De centrale vraag die wordt aangepakt is of het mogelijk is om effectieve verifiers te bouwen zonder het supervisieproces, door gebruik te maken van de intrinsieke kennis die al in LLMs aanwezig is.

Methodologie: LOVER

De auteurs stellen LOVER (Logic-Regularized Verifier) voor, een unsupervised probabilistische verifier die wordt geregulariseerd door logische regels. LOVER behandelt de verificatietaken als het afleiden van een binaire latente variabele (waarheidswaarde) op basis van de interne activeringen van een LLM, zonder de gewichten van de LLM te wijzigen of gelabelde data te vereisen.

Kerncomponenten

1. Contrastieve Asserties:
   Voor een gegeven vraag $q$ en een gegenereerd redeneerpad $s_i$, wordt de input verrijkt met tekstsjablonen om contrastieve asserties te vormen:

   • $x^+_i = q \oplus s_i \oplus \text{"Dit is een waar antwoord."}$
   • $x^-_i = q \oplus s_i \oplus \text{"Dit is een onwaar antwoord."}$
     Dit proces beoogt de interne "overtuigingen" of "kennis" van het model over de geldigheid van het redeneerpad op te wekken.

2. Latent Verifier Model:
   De verifier is een lichtgewicht Multi-Layer Perceptron (MLP) die de verborgen staatrepresentaties (specifiek uit de middenlagen) van de asserties als input neemt. Het geeft een waarschijnlijkheid $p_\theta(z|x)$, waarbij $z \in \{0, 1\}$ de geldigheid van de uitspraak aangeeft.

3. Logische Constraints (Regularisatie):
   Om discrete logische regels te verbinden met continue neurale netwerken, dwingt LOVER drie logische constraints af via zachte probabilistische doelstellingen:

   • Negatie-consistentie: Voor een paar contrastieve asserties ($x^+_i, x^-_i$) moeten hun waarheidsprobabiliteiten optellen tot 1 en significant verschillen (Wet van de Uitgesloten Derde). Dit voorkomt degeneratieve oplossingen waarbij beide dezelfde waarschijnlijkheid krijgen.
   • Intra-groep consistentie: Redeneerpaden die zijn gegroepeerd op basis van hetzelfde eindantwoord moeten vergelijkbare correctheidswaarschijnlijkheden delen. Dit dwingt consistentie af tussen oplossingen die tot dezelfde conclusie leiden.
   • Inter-groep consistentie: Onder meerdere groepen redeneerpaden (waarbij elke groep overeenkomt met een verschillend eindantwoord) moet precies één groep's "ware" assertie geldig zijn. Dit wordt afgedwongen met een som-constraint en een entropie-regularisatieterm om een uniforme waarschijnlijkheidsverdeling over groepen te voorkomen.

4. Training en Inference:

   • Training: Het model wordt end-to-end getraind door de som van de drie verliesfuncties afgeleid van de logische constraints te minimaliseren. Er worden geen ground-truth labels gebruikt.
   • Inference: Gegeven een vraag worden $N$ kandidaat-oplossingen gegenereerd. Voor elke oplossing voorspelt de verifier de correctheidswaarschijnlijkheid van de "ware" assertie. Oplossingen worden gegroepeerd op basis van hun eindantwoorden, en de groep met de hoogste geaggregeerde score (met behulp van max- of som-strategieën) wordt geselecteerd als het definitieve antwoord.

Belangrijkste Bijdragen

1. Principieel Unsupervised Kader: LOVER biedt een schaalbaar kader voor het verifiëren van redeneerpaden door gebruik te maken van intrinsieke LLM-kennis die wordt geregulariseerd door logische regels, waardoor de noodzaak voor supervised data wordt geëlimineerd.
2. Zachte Probabilistische Doelstellingen: Het artikel introduceert zachte probabilistische formuleringen voor discrete logische constraints, wat de differentieerbare, end-to-end training van de verifier mogelijk maakt.
3. Algemene Compatibiliteit: De methode is compatibel met elke kant-en-klare white-box LLM en toepasbaar op algemene redeneertaken, niet beperkt tot specifieke vraagtypes zoals Ja-Nee.

Experimentele Resultaten

Experimenten werden uitgevoerd op 10 datasets, waaronder wiskundig redeneren (GSM8K, iGSM), open-domein kennis (HotpotQA, MMLU-Pro), en out-of-distribution (OOD) taken van BIG-Bench Hard.

• Prestaties vs. Baselines: LOVER presteert significant beter dan unsupervised baselines (Greedy, Meerderheidsstemming, CoT-Decoding).
  • Gemiddeld bereikt LOVER (som) prestaties die vergelijkbaar zijn met supervised verifiers, ongeveer 95% van het prestatieniveau van de supervised verifier.
  • LOVER (som) bereikt een gemiddelde absolute nauwkeurigheidsstijging van 3,3% ten opzichte van Meerderheidsstemming en 2,9% ten opzichte van CoT-Decoding.
  • LOVER toont robuustheid over verschillende modelgroottes (van 0,5B tot 32B parameters) en decoding-strategieën.
• Ablatiestudies:
  • Logische Constraints: Het verwijderen van de inter-groep consistentieverlies ($L_{inter}$) veroorzaakte de grootste prestatiedaling, wat wijst op zijn kritieke rol bij het onderscheiden van correcte antwoordgroepen. Negatie-consistentie ($L_{nega}$) was ook cruciaal om identieke scoring van ware/onware asserties te voorkomen.
  • Decoding-strategie: LOVER presteert het beste met natuurlijke CoT-decoding en is minder gevoelig voor veranderingen in decoding-strategie in vergelijking met CoT-Decoding, die sterk afhankelijk is van specifieke outputformaten.
  • Verborgen Staten: Het gebruik van verborgen staten uit middenlagen (bijvoorbeeld laag 15 of 20 in Mistral-7b) levert optimale prestaties op.
• OOD Generalisatie: LOVER toont sterke generalisatie op OOD-datasets (Booleaanse Expressies, Web of Lies, enz.), en presteert beter dan Meerderheidsstemming en CoT-Decoding in alle geteste scenario's, wat suggereert dat het domein-onafhankelijke patronen leert voor het evalueren van de correctheid van asserties.

Betekenis en Claims

Het artikel claimt dat LOVER een belangrijke stap voorwaarts is in het bouwen van verifiers die niet afhankelijk zijn van het dure supervisieproces. Door de verifier te behandelen als een binaire latente variabele en logische consistentie af te dwingen op meerdere redeneerpaden, benut LOVER effectief de "latente kennis" binnen LLMs.

De auteurs positioneren LOVER als een unsupervised probe geleid door logische regels, die een praktisch alternatief biedt voor supervised verifiers. Het adresseert de beperkingen van bestaande unsupervised methoden (die ofwel heuristisch gebaseerd en gevoelig zijn voor modelkeuze, ofwel beperkt tot specifieke vraagtypes) door een flexibele, schaalbare oplossing te bieden voor algemene redeneertaken. Het werk suggereert dat logische constraints kunnen dienen als effectieve priors om de redeneercapaciteiten van LLMs te ontsluiten zonder menselijke annotatie.

Opgemerkte Beperkingen: De methode vereist inherent toegang tot de verborgen staten van de LLM, wat de toepassing beperkt tot white-box modellen en direct gebruik in black-box scenario's verhindert.