Technische Samenvatting: Standpunt: Het is tijd om LLM's te optimaliseren voor zelfconsistentie

1. Probleemstelling

Ondanks vooruitgang in trainingspipelines en dataschaalbaarheid, blijven Large Language Models (LLM's) hardnekkige foutmodi vertonen, waaronder:

• Sycophancy (Sycofantie): Modellen passen hun gedrag te sterk aan op de overtuigingen van de gebruiker, zelfs wanneer die overtuigingen in strijd zijn met taakrelevante feiten.
• Onvolledige Logische Generalisatie: Modellen falen in het handhaven van logische consistentie over gerelateerde inputs (bijv. de "reversal curse" of het falen om kennis consistent bij te werken).
• Zelfverzekerde Onjuistheid: Modellen genereren reacties die in isolatie coherent lijken, maar feitelijk of logisch inconsistent zijn wanneer ze over meerdere interacties heen worden bekeken.

De auteurs stellen dat deze fouten voortkomen uit een gedeelde modelleringsaanname: dat modelgedrag gespecificeerd en geëvalueerd kan worden onafhankelijk van enkelvoudige input-output paren. Huidige doelstellingen (Supervised Fine-Tuning, RLHF, RLVR) optimaliseren puntgewijze waarschijnlijkheden of beloningen, waarbij de relationele structuur tussen reacties op gerelateerde inputs wordt genegeerd. Dit paper stelt dat veel van deze fouten fundamentele problemen zijn van zelfconsistentie—de coherentie van het gedrag van een model over verschillende contexten, inkaderingen of tijdstappen.

2. Methodologie: Het Zelfconsistentie-framework

Het paper stelt een verenigd framework voor waarbij het gedrag van een model wordt beperkt door een consistentiefunctie $\phi$ die relaties tussen meerdere input-output paren evalueert, in plaats van enkelvoudige paren.

2.1 Formele Formulering

Laat $p_\theta(y|x)$ de waarschijnlijkheid van output $y$ zijn gegeven input $x$. Standaardtraining maximaliseert puntgewijze doelstellingen (bijv. $\sum \log p_\theta(y|x)$ of $\sum \mathbb{E}[\text{REWARD}(x, \hat{y})]$).

Het voorgestelde framework introduceert een consistentiefunctie $\phi(x_{1:n}, y_{1:n})$ die sets van inputs $x_{1:n}$ en hun bijbehorende outputs $y_{1:n}$ een hoge waarde toekent als zij voldoen aan een specifieke relationele beperking. De optimalisatiedoelstelling wordt:
$$\mathbb{E}_{y_{1:n} \sim p_\theta(\cdot|x_{1:n})} [\phi(x_{1:n}, y_{1:n})]$$

Deze doelstelling kan via drie mechanismen in training worden geïntegreerd:

1. Hard Constraints (Harde Beperkingen): Het afdwingen van $\phi$ als een strikte beperking op de parameterruimte.
2. Soft Constraints/Regularisatie (Zachte Beperkingen/Regularisatie): Het toevoegen van $\lambda \mathbb{E}[\phi]$ aan de standaard loss-functie.
3. Posterior Regularization (Posterior Regularisatie): Het projecteren van de modeldistributie naar de dichtstbijzijnde distributie die aan $\phi$ voldoet.

2.2 Twee Klassen van Instantiaties

Het framework maakt onderscheid tussen twee niveaus van zelfconsistentie:

A. Instantie-niveau Doelstellingen

Deze dwingen consistentie af tussen de reacties van een model op gerelateerde inputs waarbij de ene reactie niet naar de andere verwijst. Ze worden gedefinieerd door een relatie $R$ op inputs en een bijbehorende relatie $S$ op outputs:

• Invarianties: Inputs die gerelateerd zijn door een transformatie $g$ (bijv. parafrasering, het veranderen van hints over gebruikersvoorkeuren) moeten identieke outputs opleveren.
  • Voorbeeld (Sycophancy): Als $x_1$ en $x_2$ semantisch equivalent zijn maar verschillen in hints over gebruikersvoorkeuren, moeten $y_1$ en $y_2$ equivalent zijn. Het niet voldoen aan dit criterium duidt op sycofantie.
• Equivarianties: Een transformatie op de input moet een overeenkomstige transformatie op de output induceren.
  • Voorbeeld (Feitelijke Consistentie): Als een model een nieuw feit $x_1$ leert, moeten zijn voorspellingen op tegenstrijdige beweringen $x_2$ logisch worden bijgewerkt (bijv. als $x_1$ "Waar" impliceert, moet $x_2$ "Onwaar" impliceren).

B. Meta-niveau Doelstellingen

Deze dwingen consistentie af tussen de instantie-niveau gedragingen van een model en de meta-niveau beschrijvingen (zelfbeschrijvingen, zelfkritieken of verklaringen) van die gedragingen.

• Zelfbeschrijving: Het model genereert een beschrijving van zijn eigen gedrag (bijv. "Ik ben behulpzaam," "Ik ben onzeker over dit") en het framework controleert of deze beschrijving overeenkomt met de werkelijke outputs op specifieke instanties.
• Zelf-alignment: Het model gebruikt zijn eigen beschrijvingen of kritieken als een signaal voor training om zijn gedrag te verbeteren (bijv. RLAIF, zelf red-teaming).

3. Belangrijkste Bijdragen en Casestudy's

Het paper presenteert geen nieuwe empirische benchmarks, maar dient eerder als een theoretische unificatie van bestaande en opkomende technieken onder de lens van zelfconsistentie.

3.1 Bestaande Fouten Unificeren

De auteurs demonstreren dat diverse alignment-technieken speciale gevallen zijn van zelfconsistentie:

• Sycophancy: Geframed als een falen van invariantie ten opzichte van gebruikersvoorkeur-hints.
• Feitelijke Consistentie: Geframed als equivariantie onder kennisupdates.
• Bias en Robuustheid: Geframed als invariantie voor spurious cues (demografie, prompt-formulering).

3.2 Mogelijk maken van Opkomende Capaciteiten

Het framework biedt een formele taal voor capaciteiten die introspectie vereisen:

• Chain-of-Thought (CoT) Getrouwheid: Het waarborgen dat het redeneerpad van het model (meta-output) de uiteindelijke beslissing (instantie-output) accuraat voorspelt onder contrafeitelijke veranderingen.
• Kalibratie: Het waarborgen dat de door het model geuite zekerheid (meta-output) overeenkomt met de empirische nauwkeurigheid over herhaalde samples van dezelfde input.
• Geautomatiseerd Zelf Red-Teaming: Modellen trainen om inputs te genereren die hun eigen beperkingen schenden, en vervolgens die schendingen gebruiken om het model te verbeteren.
• Hypothesegeneratie: Modellen trainen om de regels te articuleren die hun voorspellingen sturen (bijv. in wetenschappelijke domeinen) en te verifiëren dat deze regels consistent zijn met de werkelijke voorspellingen van het model.

3.3 Optimalisatiestrategieën

Het paper schetst hoe deze doelstellingen geoptimaliseerd kunnen worden met bestaande tools:

• RL Training: De consistentiescore behandelen als een beloningssignaal.
• Zelf-training/Posterior Regularization: Het genereren van consistente samples (via rejection sampling of filtering) en het finetunen op deze samples.
• Inference-Time Handhaving: Het gebruik van constrained decoding of token filtering om harde consistentiebeperkingen te voldoen.

4. Resultaten en Claims

Als position paper rapporteert het paper geen nieuwe experimentele resultaten (bijv. nauwkeurigheidsverbeteringen op specifieke benchmarks). In plaats daarvan zijn hun "resultaten" theoretisch en conceptueel:

• Unificatie: Ze demonstreren dat een breed scala aan gespecialiseerde technieken (van adversariële robuustheid tot CoT getrouwheid) wiskundig gereduceerd kan worden tot dezelfde algemene doelstelling (Vergelijking 4).
• Behandelbaarheid: Ze beargumenteren dat het specificeren van relationele beperkingen ($\phi$) vaak eenvoudiger is dan het direct specificeren van het gewenste consistente gedrag, aangezien het evalueren van consistentie tussen twee bestaande reacties computationeel goedkoper is dan het vanaf nul genereren van een consistente reactie.
• Schaalbaarheid: Het framework maakt het mogelijk om LLM's te gebruiken als "judges" om gestructureerde datasets van gerelateerde inputs/outputs te genereren, wat geautomatiseerde data-augmentatie en zelfverbeteringsloops faciliteert zonder dat er nieuwe grondwaarheid-data nodig is.

5. Betekenis en Standpunt

Het paper betoogt dat het veld de paradigmata van het uitsluitend optimaliseren van modellen op enkelvoudige datapunten ontgroeid is. Naarmies de schaalbaarheid van data de grenzen nadert en architecturen algemener van aard worden, moet de primaire hefboom voor het verbeteren van modelbetrouwbaarheid verschuiven naar het afdwingen van structurele regelmatigheden in gedrag.

• Voorbij Geïsoleerde Oplossingen: In plaats van sycofantie, hallucinaties of bias te behandelen als geïsoleerde bugs die specifieke patches vereisen, biedt zelfconsistentie een algemeen framework om deze te adresseren als symptomen van een gebrek aan relationele coherentie.
• Auditbaarheid en Veiligheid: De auteurs beweren dat zelfconsistentie een vereiste is voor auditeerbare AI. Een model dat consistent is over contexten en in staat is zijn eigen gedrag getrouw te beschrijven (meta-consistentie), is voorspelbaarder en gemakkelijker te overzien dan een model dat inconsistent handelt of niet kan uitleggen waarom het bepaalde beslissingen neemt.
• Kanttekeningen: Het paper erkent dat het afdwingen van consistentie geen panacee is. Er wordt gewaarschuwd voor "degenerate fixed points" (bijv. overly conservatieve modellen die tegenstrijdigheid vermijden door niet behulpzaam te zijn) en er wordt opgemerkt dat consistentie geen waarachtigheid garandeert (een model kan consistent misleidend zijn). Ze benadrukken dat zelfconsistentie gezamenlijk met standaard doelstellingen (behulpzaamheid, specificiteit) geoptimaliseerd moet worden en dat veiligheidszorgen met betrekking tot emergente agency gemonitord moeten worden.

Concluderend positioneert het paper zelfconsistentie niet als een nieuw trainingsalgoritme, maar als een noodzakelijk organiserend principe voor de volgende generatie LLM-ontwikkeling, die de kloof overbrugt tussen huidige foutmodi en opkomende capaciteiten zoals introspectie en zelfverbetering.