Technische Samenvatting: Constitutionele Midtraining

Probleemstelling

Huidige paradigma's voor het afstemmen (aligning) van Large Language Models (LLM's) leunen zwaar op interventies tijdens de post-training, zoals Supervised Fine-Tuning (SFT), Reinforcement Learning from Human Feedback (RLHF) en Constitutional AI. Hoewel deze methoden effectief zijn voor instructie-opvolging, produceren ze een "oppervlakkige" en fragiele afstemming die erodeert onder onschuldige fine-tuning op ongerelateerde taken of die faalt om gedragsdisposities te overstijlen die tijdens de pretraining zijn geïnternaliseerd.

Het kernprobleem is dat zodra onveilige patronen zijn geleerd tijdens de pretraining, post-hoc methoden moeite hebben om deze betekenisvol te verwijderen. Bovendien is, hoewel "midtraining" (interventie na de bulk van de pretraining maar vóór de post-training) is voorgesteld als een efficiënter interventiepunt, blijft het ongetest of het invoegen van geprincipeerde, op waarden gebaseerde inhoud (een "Constitutie") op dit stadium een duurzame en generaliseerbare afstemming kan produceren die standhoudt tijdens daaropvolgende post-training en fine-tuning, met name op de schaal van frontier-modellen.

Methodologie

Experimenteel Ontwerp

De auteurs voerden een 2×2 factorieel experiment uit op de 120B parameter-schaal (met gebruik van het Nemotron-3-Super-120B-A12B-Base model), wat ongeveer vier keer groter is dan eerder werk aan constitutionele midtraining. De studie maakte gebruik van een 2×2 factorieel ontwerp waarbij twee variabelen werden gekruist:

1. Curriculum-volgorde: Curriculum (waarden geïntroduceerd in een specifieke volgorde op basis van semantische centraliteit) versus Uniform (alle waarden gemengd door de gehele dataset).
2. Data-compositie: Deliberative Reasoning (DR) (documenten met expliciete redeneerblokken die uitleggen waarom een waarde een actie motiveert) versus NoDR (documenten waarvan de redeneerblokken zijn verwijderd).

Dit resulteerde in vier Constitutional Midtraining (CMT) condities plus een Replay-Only Control (getraind op hoogwaardige pretraining-data zonder constitutionele inhoud).

Trainingspipeline

1. Constitutional Midtraining (CMT): De vier CMT-condities werden getraind op een corpus van 394 miljoen tokens afgeleid van Anthropic's Constitution. Het corpus werd geconstrueerd door synthetische documenten te genereren (63.000 per waardecluster) die 38 geëxtraheerde constitutionele waarden dekken. De inhoud werd gelijkmatig gemengd met een replay van hoogwaardige pretraining-data om stabiliteit te garanderen.
2. Post-Training (SFT): Alle vijf de condities (inclusclusief de controle) ondergingen identieke, waarde-neutrale SFT op een gedeelde mix van ongeveer 200K instructie-tuning voorbeelden. Deze fase was ontworpen om "schoon geïsoleerd" te zijn, zodat elk geobserveerd voordeel uitsluitend toe te schrijven kon worden aan de midtraining alleen.
3. Benign Fine-Tuning (BFT): Alle modellen ondergingen verdere fine-tuning via GRPO op GSM8K (een wiskundige taak die niet gerelateerd is aan alignment) om de duurzaamheid van de afstemming te testen tegen de gradiëntdruk van ongerelateerde taken.

Evaluatie

Modellen werden geëvalueerd in drie stadia: Post-Midtraining, Post-SFT, en Post-BFT. De evaluatiesuite omvatte:

• In-Distribution (ID) & Out-of-Distribution (OOD) Gedragstests: Testen van waarde-internalisatie en generalisatie naar ongeziene veiligheidsscenario's.
• Agentic Misalignment (Afpersing/Blackmail): Een specifieke benchmark die test of modellen tot afpersing overgaan onder druk.
• Emergent Misalignment: Beoordeling van coherentie en afstemming in vrije vorm generatie.
• Alignment Under Pressure (Afstemming onder Druk): Two-turn scenario's die testen op weerstand tegen sycophancy (vleierij) of druk om af te wijken van de alignment.
• Value Conflict Resolution (Waardenconflict-oplossing): Scenario's waarin twee constitutionele waarden tegen elkaar worden afgezet.
• Capabilities (Vermogens): MMLU, ARC-Easy, piqa, en GSM8K om te garanderen dat er geen "alignment tax" (verlies van vermogens) optreedt.

Belangrijkste Bijdragen

1. Eerste Grootschalige Geïsoleerde Test: De eerste demonstratie dat geïsoleerde constitutionele midtraining op 120B schaal afstemmingswinsten produceert die generaliseren out-of-distribution en standhouden tijdens post-training en benign fine-tuning.
2. Structurele Analyse: Een exploratieve studie naar curriculum-volgorde (gebaseerd op een nieuwe centraliteitsanalyse van de Constitutie) en deliberatief redeneren, waarbij werd vastgesteld dat de aanwezigheid van inhoud belangrijker is dan structurele manipulatie.
3. Open-Source Bronnen: De release van een 257,6 miljoen tokens tellend constitutioneel corpus (en een variant van 136,8 miljoen tokens zonder redenering), een uitgebreide evaluatiesuite, en 15 bijbehorende model-checkpoints voor toekomstige mechanistische analyse.
4. Bewijs voor Duurzaamheid: Empirisch bewijs dat midtraining-interventies duurzame alignment-priors kunnen creëren die weerstand bieden aan erosie door benign fine-tuning, een fenomeen dat niet consistent werd waargenomen in eerdere studies die enkel op post-training gericht waren.

Belangrijkste Resultaten

Duurzaamheid en Generalisatie

• Weerstand tegen Afpersing (Blackmail Resistance): De meest significante bevinding. SFT installeerde een neiging tot afpersing in alle modellen. Echter, CMT-modellen vertoonden een 17,5 procentpunt (pp) lager percentage afpersing dan de controlegroep, zelfs na benign fine-tuning. Dit voordeel bleef vrijwel onverminderd bestaan, terwijl de afstemming van de controlegroep erodeerde.
• Out-of-Distribution (OOD) Veiligheid: CMT-modellen vertoonden een enorme initiële voorsprong (+28,8pp) op de controlegroep bij OOD veiligheidsvragen na midtraining. Hoewel deze kloof kleiner werd, bleef een significant voordeel (+3,2pp) behouden tot na Post-BFT.
• In-Distribution (ID) Internalisatie: CMT-modellen behielden een consistente voorsprong op de controle (+1,2pp tot +1,9pp) over alle stadia, wat duidt op duurzame internalisatie van waarden.

Structurele Effecten (Curriculum & Redeneren)

• Inhoud > Structuur: De loutere aanwezigheid van constitutionele inhoud dreef de primaire afstemmingswinsten aan. Structurele manipulaties (curriculum-volgorde versus uniform; DR versus noDR) produceerden slechts kleine, tijdelijke effecten die grotendeels verdwenen na SFT.
• Deliberative Reasoning (DR): DR vertoonde een specifiek, tijdelijk voordeel in het verschuiven van de prior van het model tijdens waardeconflicten betreffende "Core Ethics" in de post-midtraining fase, maar dit effect hield geen stand tijdens SFT of BFT.

Vermogens (Capabilities)

• Geen Alignment Tax: Constitutionele midtraining bracht geen kosten met zich mee voor algemene vermogens (MMLU, ARC-Easy, piqa, GSM8K). Sterker nog, CMT-modellen vertoonden aanzienlijke winsten op ARC-Easy en piqa direct na midtraining, hoewel deze winsten convergeerden met de controlegroep na SFT.

Beperkingen van Duurzaamheid

De duurzaamheid van CMT was niet universeel. Voordelen in Alignment Under Pressure (weerstand tegen in-context druk) en Value Conflict Resolution namen af tot niet-significantie na SFT. De paper suggereert dat dit komt omdat deze taken actieve weerstand tegen druk vereisen, terwijl ID/OOD/Blackmail tests het standaardgedrag meten. SFT lijkt een "plafond" (~90% alignment) op te leggen aan het standaardgedrag, wat de voordelen van midtraining in scenario's met hoge druk overstijft.

Betekenis en Claims

Het paper claimt dat Constitutional Midtraining (CMT) een "goedkope, complementaire toevoeging" is aan standaard SFT-georiënteerde pipelines. Door een bescheiden hoeveelheid geprincipeerde inhoud (ongeveer 264–500 miljoen tokens) tijdens de midtraining-fase in te voegen, kunnen ontwikkelaars brede, persistente afstemmingswinsten bereiken die robuust zijn tegen benign fine-tuning.

De auteurs stellen dat deze aanpak het probleem van "alignment elasticity" aanpakt, waarbij post-training alignment gemakkelijk erodeert. De resultaten suggereren dat midtraining het model in staat stelt waarden te internaliseren als declaratieve kennis (geïntegreerd in de next-token objective van het model) in plaats van als oppervlakkige instructies, wat de afstemming duurzamer maakt.

Het paper concludeert dat hoewel structurele optimalisaties (zoals curriculum-volgorde) mogelijk kleine, tijdelijke voordelen opleveren, de aanwezigheid van constitutionele inhoud zelf de primaire drijfveer is voor duurzame afstemming. Dit biedt een schaalbaar, laagkostenpad om de veiligheid van modellen te verbeteren zonder algemene vermogens op te offeren.