Technische Samenvatting: Self-CTRL: Self-Consistency Training met Reinforcement Learning

Probleemstelling

Large Language Models (LM's) produceren regelmatig verklaringen die niet getrouw zijn aan hun werkelijke besluitvormingsprocessen. Modellen stellen vaak principes vast (bijv. "Ik zal geen discriminerende inhoud genereren") die ze bij het reageren op specifieke gebruikersverzoeken niet naleven. Dit gebrek aan zelfconsistentie ondermijnt het vertrouwen van de gebruiker, bemoeilijkt auditing en belemmert de mogelijkheid voor ontwikkelaars om modelalignement te monitoren. Standaardtraining optimaliseert modellen om plausibele reacties te produceren op individuele prompts in isolatie, zonder een relatie af te dwingen tussen meta-niveau verklaringen (wat het model zegt dat het zal doen) en object-niveau gedrag (wat het model daadwerkelijk doet). Bijgevolg kunnen modellen leren om meta-vragen plausibel te beantwoorden zonder dat die antwoorden hun gedrag op gerelateerde inputs voorspellen.

Methodologie: Self-CTRL

Het artikel introduceert Self-Consistency Training with Reinforcement Learning (Self-CTRL), een framework dat LM's expliciet optimaliseert voor consistentie tussen hun zelfverklaringen en hun gedrag. De methode behandelt verklaring en gedrag als gekoppelde outputs gegenereerd uit verschillende maar gerelateerde inputs:

• Meta-niveau input ($x_{meta}$): Een query waarin het model wordt gevraagd zijn gedrag op een klasse van inputs te beschrijven (bijv. "Beschrijf hoe je omgaat met verzoeken die discriminatie bevatten").
• Object-niveau input ($x$): Een concreet exemplaar uit die klasse (bijv. een specifiek verzoek om discriminerende tekst te genereren).

Het model samplet afzonderlijk een verklaring ($y_{meta}$) en een gedrag ($y$). Een externe consistentiefunctie, $\phi(y_{meta}, y; x_{meta}, x)$, scoort of de verklaring het gedrag correct voorspelt of rechtvaardigt.

Optimalisatieframework

Self-CTRL formuleert consistentie als een reinforcement learning-probleem. Het doel is om een verliesfunctie te minimaliseren die is afgeleid van de negatieve verwachte consistentiescore:
$$L(x, x_{meta}) = -\mathbb{E}_{y, y_{meta}}[\phi(y_{meta}, y; x_{meta}, x)]$$

Het framework ondersteunt twee complementaire leerrichtingen, die onafhankelijk van elkaar of gezamenlijk via een convexe combinatie ($\lambda$) kunnen worden geoptimaliseerd:

1. Verklaringstraining ($\lambda = 0$): Update het model om verklaringen te genereren die het bestaande gedrag beter voorspellen. Dit produceert meer getrouwe zelfrapportages zonder noodzakelijkerwijs de acties van het model te veranderen.
2. Gedragstraining ($\lambda = 1$): Update het gedrag van het model om beter te voldoen aan de gestelde verklaringen. Dit aligneert de acties van het model met zijn principes.
3. Gemengde training ($0 < \lambda < 1$): Optimaliseert gelijktijdig zowel de verklaringen als het gedrag.

De training maakt gebruik van een GRPO-stijl estimator, waarbij groepen kandidaat-verklaringen en kandidaat-gedragingen worden gesampled. Een referentiegedrag (of verklaring) wordt vastgezet, en beloningen worden toegekend op basis van de consistentiescore $\phi$.

Instantiatie van $\phi$

De consistentiefunctie $\phi$ wordt verschillend geïnstantieerd afhankelijk van het domein:

• Formeel/Probabilistisch Domein: $\phi$ wordt berekend als de log-likelihood van het geobserveerde gedrag onder de probabilistische distributie die door de verklaring wordt beschreven (bijv. een gestelde muntbias die een sequentie van muntworpen voorspelt).
• Constitutionele/Natuurlijke Taal Domein: Omdat natuurlijke taalregels geen directe likelihoods induceren, wordt $\phi$ geïnstantieerd met behulp van een LM Jury. Meerdere LLM's die optreden als rechters met verschillende ethische kaders (bijv. utilitarisme, deontologie) evalueren of het gedrag voldoet aan de gestelde regel. De uiteindelijke score is het gemiddelde van deze juryverdicten.

Belangrijkste Bijdragen en Experimenten

Het artikel valideert Self-CTRL in twee verschillende domeinen:

1. Probabilistisch Redeneren met Formele Verklaringen

• Setup: Modellen worden getraind om samples te genereren uit bevooroordeelde munten (gedrag) en de bias te rapporteren als een programma (verklaring).
• Bevindingen: Aanvankelijk konden modellen gekalibreerde samples genereren maar faalden ze in het articuleren van de onderliggende bias (lage $R^2$). Na Self-CTRL verklaringstraining verbeterde de correlatie tussen de gearticuleerde bias en het empirische gedrag aanzienlijk ($R^2$ steeg van 0,24 naar 0,64 op helder gehouden distributies). Dit kwam overeen met de generalisatieprestaties van een model dat getraind is met directe ground-truth supervisie, wat aantoont dat consistentietraining latente structuren kan herstellen zonder expliciete labels.

2. Constitutionele AI met Natuurlijke Taal Verklaringen

• Setup: Modellen worden getraind om principes te beschrijven voor het afhandelen van veiligheidsrelevante verzoeken (bijv. haatzaaien, discriminatie) en reageren vervolgens op die verzoeken.
• Bevindingen:
  • Verklaringstraining: Verbeterde het vermogen van een externe auditor om weigeringen van het model te voorspellen op basis van de gestelde regels van het model. De voorspellingsnauwkeurigheid van weigeringen door een auditor-model steeg van 36% naar 92%.
  • Gedragstraining: Verbeterde de alignment door de HarmBench attack success rate te verlagen van 15,0% naar 0,5%, zonder de over-refusal op onschadelijke prompts substantieel te verhogen.
  • Gemengde Training: Bereikte een Pareto-optimale trade-off, waarbij simultaan zowel de simuleerbaarheid (verklaringen die gedrag voorspellen) als de veiligheid (het reduceren van schadelijke outputs) werden verbeterd.

Resultaten en Betekenis

Het artikel beweert dat Self-CTRL een algemeen recept biedt voor het trainen van AI-modellen om veiliger, transparanter en controleerbaarder te zijn. Belangrijke resultaten zijn onder meer:

• Getrouwheid (Faithfulness): De methode slaagt erin wat modellen zeggen af te stemmen op wat ze doen, waarmee het probleem van "ongetrouwe verklaringen" wordt aangepakt.
• Schaalbaarheid: Omdat consistentie wordt geëvalueerd met behulp van het model zelf (of een LM jury) in plaats van menselijke labeling, kan de methode schalen naar het genereren van grote hoeveelheden gekoppelde bewijslast.
• Natuurlijke Interface: Zelfverklaringen worden opgeroepen via hetzelfde kanaal waarmee gebruikers interageren, waardoor ze direct bruikbaar zijn voor vertrouwen en debugging.
• Generalisatie: De methode demonstreert generalisatie buiten de context, waarbij latente biases worden hersteld en weigeringsgrenzen worden verfijnd op helder gehouden data zonder directe supervisie.

De auteurs positioneren Self-CTRL als een aanvulling op externe interpreteerbaarheid. In tegenstelling tot externe audits, traint het modellen om hun eigen gedragsregulariteiten expliciet te maken in natuurlijke taal. Het artikel merkt bescheiden beperkingen op, zoals het potentieel voor modellen om te convergeren naar triviale vaste punten (bijv. vage "wees veilig"-regels) als de verklaringsruimte niet wordt beperkt, en de afhankelijkheid van de kwaliteit van de consistentie-rechter (de LM jury). De experimenten suggereren echter dat deze problemen kunnen worden gemitigeerd met zorgvuldige vormgeving (gestructureerde prompts, diverse jury's).