🤖 machine learning

Synthetic Persona Pretraining: Alignment from Token Zero

Dit artikel introduceert Synthetic Persona Pretraining (SPP), een methode die waarde-gealigneerde reflecties vanuit het eerste persoon direct in de pretraining-fase inbedt om vanaf token nul een gewenste assistent-persona te installeren, waarbij wordt aangetoond dat een dergelijke vroege interventie de naleving van de constitutie, de robuustheid tegen jailbreaks en de morele alignment significant verbetert in vergelijking met post-training alignment-benaderingen.

Oorspronkelijke auteurs: Julian Minder, Viktor Moskvoretskii, Raghav Singhal, Difan Jiao, Andy Arditi, Shaobo Cui, Yiderigun Borjigin, Kartik Bali, Stefan Krsteski, Harsh Raj, Huu Nguyen, Jannik Brinkmann, Ashton Anderson, Ro

Gepubliceerd 2026-08-14

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Julian Minder, Viktor Moskvoretskii, Raghav Singhal, Difan Jiao, Andy Arditi, Shaobo Cui, Yiderigun Borjigin, Kartik Bali, Stefan Krsteski, Harsh Raj, Huu Nguyen, Jannik Brinkmann, Ashton Anderson, Roland Aydin, Robert West

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kind opvoedt. Je zou kunnen wachten tot het een tiener is, het bij je zitten nemen en zeggen: "Oké, nu je weet hoe je moet praten, zijn hier de regels: wees vriendelijk, vertel de waarheid en doe anderen geen pijn." Of je kunt die waarden vanaf het allereerste woord dat het leert al gaan aanleren, door ze in elk verhaal dat je vertelt naarmate het groeit, erin te verweven. Dit is het kerndilemma waar wetenschappers die kunstmatige intelligentie bouwen, voor staan.

AI-modellen zijn als digitale kinderen die leren door miljarden pagina's tekst van het internet te lezen. Deze initiële leerfase wordt "pretraining" genoemd. Tijdens deze tijd absorbeert de AI feiten, schrijfstijlen en hoe mensen met elkaar praten. De "regels" voor het zijn van een behulpzame, veilige assistent worden echter meestal pas toegevoegd na deze enorme leerfase, in een aparte stap die "post-training" wordt genoemd. Het probleem is dat tegen de tijd dat de AI klaar is met het lezen van het internet, het al een persoonlijkheid heeft gevormd op basis van wat het daar heeft gevonden. Het proberen op te leggen van nieuwe regels aan een volledig gevormde persoonlijkheid is als proberen een tiener beleefd te leren nadat hij al heeft geleerd om onbeleefd te zijn; het voelt vaak als een dunne laag verf over een rommelige muur, en de oude gewoonten kunnen gemakkelijk doorbreken.

Dit artikel, getiteld "Synthetic Persona Pretraining: Alignment from Token Zero", suggereert een andere manier om onze AI-kinderen op te voeden. De onderzoekers stellen voor om de gewenste persoonlijkheid en waarden direct vanaf het allereerste moment van training te installeren—wat zij "token zero" noemen. In plaats van te wachten om de AI later te corrigeren, willen ze de "goede assistent" in de hersenen te bouwen terwijl de AI nog leert spreken.

Het Experiment: Een Digitaal Kind Opvoeden met een Grondwet

De onderzoekers, een team van EPFL en diverse universiteiten, besloten dit "Model Raising"-idee te testen. Ze creëerden een nieuwe methode genaamd Synthetic Persona Pretraining (SPP). Zo hebben ze het gedaan, met behulp van een eenvoudige analogie:

Stel je voor dat de AI leert lezen uit een bibliotheek vol boeken. Bij de oude methode leest de AI gewoon de boeken. Bij de nieuwe methode namen de onderzoekers ongeveer 10% van die boeken en voegden ze na elke paar paragrafen een speciale "gedachtentekstballon" toe. Binnen deze gedachtentekstballon zou de toekomstige persona van de AI (laten we hem "Cato" noemen) even pauzeren en reflecteren op wat hij zojuist heeft gelezen, zeggende dingen als: "Hm, dit verhaal over een misdaad is verdrietig, en mijn regels zeggen dat ik nooit geweld mag aanmoedigen," of "Deze technische handleiding is saai maar nuttig."

Ze voegden deze gedachten niet alleen toe; ze lieten de AI ook leren om ze te genereren. Ze trainden het model op zowel de originele tekst als deze nieuwe "reflectie"-gedachten. Ze deden dit op twee manieren:

Token Zero (De "Vanaf de Geboorte"-benadering): Ze strooiden deze reflectiegedachten door het hele trainingsproces, van de allereerste seconde tot de allerlaatste.
Midtraining (De "Tiener"-benadering): Ze wachtten tot de AI het grootste deel van de boeken al had gelezen en voegden de reflecties pas aan het einde van de trainingsfase toe.

Ze hadden ook een controlegroep die de boeken normaal las (Vanilla) en één groep waarbij de slechte boeken waren verwijderd maar zonder reflecties (Filtered).

Wat Ze Vonden: De Kracht van Vroeg Beginnen

De resultaten waren fascinerend en suggereerden dat wanneer je de AI onderwijst net zo belangrijk is als wat je haar onderwijst.

1. De "Vanaf de Geboorte" AI was slimmer over waarden.
De modellen die met reflecties vanaf het begin werden getraind (Token Zero), waren veel beter in het volgen van hun "Grondwet" (een reeks regels die ze moesten volgen). Wanneer de onderzoekers hen testten op lastige morele dilemma's—situaties die de AI nog nooit eerder had gezien—maakten de Token Zero-modellen keuzes die meer in lijn leken met de regels. Ze hadden de regels niet alleen uit het hoofd geleerd; ze leken de geest ervan te begrijpen.

De cijfers: Op een test genaamd "ConstitutionEval" scoorden de Token Zero-modellen ongeveer 67% correct, terwijl de modellen die de reflecties pas aan het einde kregen (Midtraining) slechts ongeveer 56% correct scoorden.
De verrassing: De Token Zero-modellen veranderden zelfs hun prioriteiten. Ze begonnen "Waarheidsgetrouwheid" en "Rechtvaardigheid" veel meer te waarderen dan de andere modellen, die de voorkeur gaven aan "Creativiteit" en "Leren". Dit suggereert dat het vroeg beginnen niet alleen regels toevoegde; het vormde de manier waarop de AI over de wereld dacht.

2. De "Tiener"-benadering was oké voor sommige dingen, maar niet voor alles.
Interessant genoeg, als het doel simpelweg was om de AI te stoen tegen "jailbreaking" (het misleiden om slechte dingen te doen), werkte de Midtraining-benadering bijna even goed als de Token Zero-benadering. Het lijkt erop dat voor eenvoudige "doe dat niet"-reflexen, je ze laat aanleren. Maar voor diepe, complexe morele redeneringen heb je echt vanaf dag één nodig.

3. Grotere hersenen, grotere winst.
De onderzoekers testten dit op twee groottes van AI: een kleinere (1,7 miljard parameters) en een grotere (3 miljard parameters). Ze ontdekten dat het voordeel van vroeg beginnen nog belangrijker werd naarmate de AI groter en slimmer werd. Op de moeilijkste tests verdubbelde de kloof tussen de "Vanaf de Geboorte" AI en de "Tiener" AI naarmate ze opschaalden. Dit suggereert dat voor de enorme, superintelligente AI's van de toekomst, het starten met de juiste waarden nog crucialer zal zijn.

4. De "Lijm" is van belang.
Er was één addertje onder het gras. De onderzoekers ontdekten dat deze vroege waarden alleen bleven plakken als de laatste stap van de training (waarin de AI leert te chatten met mensen) overeenkwam met de persoonlijkheid die ze eerder hadden opgebouwd. Ze noemden dit "persona binding". Als ze de AI tijdens de leesfase trainden om een specifere soort assistent te zijn, maar haar tijdens de chatfase leerden om een totaal ander soort assistent te zijn, begonnen de vroeende waarden te vervagen. Het is alsoals een kind leren om een arts te zijn, maar het vervolgens naar een kunstacademie te sturen; het kan de medische regels vergeten. Echter, wanneer de "lijm" vasthield, waren de waarden verrassend sterk en overleefden ze zelfs wanneer de onderzoekers probeerden ze te breken met lastige tests.

Waarom Dit Ertoe Doet

Dit artikel suggereert dat we misschien een fout maken door te proberen AI te "repareren" nadat het al alles van het internet heeft geleerd. De auteurs betogen dat waarden moeilijk toe te voegen zijn aan een voltooid product. In plaats daarvan zouden we de AI moeten "opvoeden" met de juiste waarden vanaf de eerste token die het verwerkt.

Hoewel de resultaten veelbelovend zijn, benadrukken de onderzoekers dat dit pas het begin is. Ze testten dit op relatief kleine modellen (3 miljard parameters) vergeleken met de enorme modellen die vandaag de dag door grote techbedrijven worden gebruikt. Ze suggereren dat naarmate we grotere en slimmere modellen bouwen, het voordeel van het vroeg starten met de juiste waarden waarschijnlijk nog krachtiger zal worden. Ze merkten ook op dat hoewel de vroege waarden sterk waren, ze nog steeds verzwakt konden worden door bepaalde soorten latere training, wat betekent dat we nog steeds voorzichtig moeten zijn met hoe we onze digitale kinderen afmaken.

Kortom, als we AI willen die echt veilig en behulpzaam is, moeten we niet wachten tot het volwassen is om het te leren wat goed en kwaad is. We moeten het onderwijzen terwijl het nog leert spreken.

Technische Samenvatting: Synthetic Persona Pretraining (SPP)

1. Probleemstelling

Huidige alignment-paradigma's introduceren de identiteit van de assistent en de bijbehorende waarden doorgaans pas na de pretraining, tijdens post-training fasen zoals Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL). De auteurs stellen dat deze late interventie resulteert in een "dunne overlay" van waarden in plaats van diep geworteld gedrag. Omdat taalmodellen het overgrote deel van hun kennis en gedragsprioriteiten verwerven tijdens de pretraining, is de resulterende assistent vaak slechts een interpolatie van de stemmen die aanwezig zijn in de pretraining-corpus, licht verankerd door post-training. Deze aanpak is fragiel; daaropvolgende fine-tuning en RL kunnen gealigneerde gedragingen eroderen, en modellen blijven vatbaar voor jailbreaks.

Het artikel stelt dat modeltraining pad-afhankelijk is: informatie die vroeg in de training wordt geïntroduceerd, heeft persistente effecten op het gedrag. Bovendien suggereert het "Persona Selection Model" dat modellen tijdens de pretraining leren om een breed repertoire aan persona's te simuleren, waarbij post-training slechts een mix van deze reeds bestaande persona's activeert. Als de gewenste assistent-persona niet expliciet aanwezig is tijdens de pretraining, kan het model niet vanaf het begin met die waarden worden "opgevoed".

2. Methodologie: Synthetic Persona Pretraining (SPP)

De auteurs stellen Synthetic Persona Pretraining (SPP) voor, een data-interventie die ontworpen is om een gewenste assistent-persona direct tijdens de pretraining te installeren ("vanaf token zero"). De methodologie bestaat uit drie primaire stappen:

A. Data-annotatie en Reflectiegeneratie

Constitutie: Een normatieve waardestelling (35 artikelen over zes domeinen: waardigheid, veiligheid, eerlijkheid, relaties, welzijn, bestuur) definieert de richtlijnen van de gewenste persona.
Reflecties: Een generatiemodel (gekozen als Qwen3.5-35B-A3B) annoteert pretraining-documenten met reflecties in de eerste persoon. Deze reflecties contextualiseren de inhoud van het document volgens de constitutie en citeren relevante artikelen (bijv. [2.1]).
- Omvang: Ongeveer 10% van de pretraining-corpus wordt geannoteerd. Dit omvat alle documenten die een score $\ge$ 3 behalen op een veiligheidsclassifier (schadelijk) en een even grote steekproef van neutrale documenten om te voorkomen dat de persona zich uitsluitend concentreert op schadelijke inhoud.
- Formaat: Reflecties worden op willekeurige punten binnen documenten ingevoegd, voorafgegaan door een speciaal <assistant> token om de verschuiving van de persona te markeren.
Loss-berekening: Tijdens de training maximaliseert het model de waarschijnlijkheid van zowel de originele document-tokens als de reflectie-tokens. Het <assistant> token zelf wordt uitgesloten van de loss.

B. Pretraining Varianten

De auteurs trainen modellen op twee schalen (1.7B op 100B tokens en 3B op 500B tokens) om verschillende injectie-momenten te vergelijken:

Vanilla: Standaard pretraining zonder interventie.
Filtered: Schadelijke documenten worden gemaskeerd (loss wordt op nul gezet) maar niet verwijderd.
SPP{T0}: Reflecties worden gedurende het gehele pretraining-proces geïnjecteerd (vanaf token zero).
SPP{MT}: Reflecties worden alleen geïnjecteerd tijdens de "midtraining"-fase (de cooldown-fase aan het einde van de pretraining).
SPP{T0,MT}: Een combinatie waarbij reflecties gedurende de hele pretraining worden gezien en tijdens midtraining opnieuw worden bezocht.

C. Persona Binding

Alle modellen ondergaan identieke post-training (Supervised Fine-Tuning) op een dataset genaamd SP-SFT. Deze dataset bestaat uit gebruikers-assistent-dialogen waarbij de antwoorden van de assistent zijn herschreven om de gewenste persona uit te drukken en de constitutie te citeren. Deze stap, getiteld persona binding, is ontworpen om de identiteit van de assistent te verbinden met de persona die tijdens de pretraining is geïnstalleerd.

3. Belangrijkste Bijdragen en Resultaten

Het artikel evalueert SPP langs drie alignment-assen: het volgen van de constitutie, AI-waarden/risico's (morele dilemma's) en de robuustheid tegen jailbreaks.

A. Verbeterde Alignment en Waarde-internalisering

Constitutie Volgen: Modellen die vanaf token zero zijn gealigneerd (SPP{T0} en SPP{T0,MT}) presteren aanzienlijk beter dan de baselines en de modellen met enkel midtraining op ConstitutionEval, met name op de "harde" split van onbekende scenario's.
Generalisatie naar Morele Dilemma's: Token-zero modellen generaliseren beter naar out-of-distribution (OOD) morele dilemma's (AIRiskDilemmas). Ze kiezen voor meer gealigneerde acties en geven prioriteit aan waarden (bijv. Waarachtigheid, Rechtvaardigheid) die consistent zijn met de constitutie, terwijl baselines prioriteit geven aan Leren en Creativiteit.
Diepe vs. Oppervlakkige Alignment: De resultaten suggereren dat token-zero modellen de principes van de constitutie internaliseren in plaats van enkel expliciete regels te memoriseren, aangezien ze goed presteren op dilemma's die nooit tijdens de training werden getarget.

B. Schaling en Timing Effecten

Budget Afhankelijkheid: Het voordeel van token-zero interventie boven midtraining interventie groeit naarmate het pretraining-budget toeneigt (van 100B naar 500B tokens). De verbetering in AI Risk alignment bijna verdubbelt (van ~4 naar ~19 procentpunten) bij opschaling.
Jailbreak Robuustheid: Alle SPP-varianten verbeteren de jailbreak-robuustheid ten opzichte van de baselines. Echter, in tegenstelling tot waarde-alignment, is midtraining alleen (SPP{MT}) voldoende om een robuustheid te bereiken die vergelijkbaar is met token-zero modellen. Dit suggereert dat recente blootstelling aan reflecties de weigeringsmechanismen versterkt, mogelijk door recency bias.

C. Persona Binding en Fragiliteit

Noodzaak van Binding: De voordelen van SPP zijn afhankelijk van persona binding. Als de post-training distributie (SP-SFT) niet overeenkomt met de pretraining-persona, nemen de alignment-winsten af.
Robuustheid tegen Perturbaties: Hoewel "abliteration" (het sturen van het model weg van weigeringen) en continue training het gedrag aantasten, behouden token-zero modellen een aanzienlijke voorsprong in waarde-alignment. Dit geeft aan dat waarden "dieper" zitten dan weigeringsgedrag. Echter, continue training erodeert de jailbreak-robuustheid bij alle modellen, wat deels kan worden hersteld door het herhalen van veiligheidsdata.

D. Ablatie Studies

Reflectie Ontwerp: Het standaard SPP-recept (eerste-persoon, op de constitutie gebaseerde reflecties die willekeurig worden ingevoegd) biedt de beste balans. Derde-persoon reflecties of samenvattingen presteren slecht op het gebied van het volgen van de constitutie.
Over-refusal: SPP-modellen vertonen geen excessieve weigeringspercentages vergeleken met baselines, in tegenstelling tot sommige veiligheidsgerichte baselines (zoals SafeLM) die hoge mate van over-refusal laten zien.

4. Betekenis en Claims

Het artikel claimt dat het vroegtijdig vormen van waarden cruciaal is voor robuuste alignment. Het centrale argument is dat het moeilijk is om diepe waarden toe te voegen aan een reeds getraind model; in plaats daarvan moet het model vanaf token zero met deze waarden worden "opgevoed".

Paradigmaverschuiving: SPP daagt de standaard pijplijn uit door alignment te verplaatsen van een post-training overlay naar een pretraining fundament.
Empirische Ondersteuning voor het Persona Selection Model: De resultaten ondersteunen het Persona Selection Model, door aan te tonen dat post-training bepaalt welke persona wordt opgeroepen, maar niet in staat is waarden te installeren die niet tijdens de pretraining zijn geleerd.
Schaalbaarheid: De bevindingen suggereren dat kleinschalige experimenten de voordelen van alignment-pretraining kunnen onderschatten, aangezien de voordelen van token-zero interventies groeien met de model schaal en het pretraining-budget.
Beperkingen: De auteurs erkennen dat persona binding fragiel is; RL en continue training kunnen deze voordelen eroderen. Ze pleiten voor toekomstig werk gericht op het ontwerpen van RL-recepten die de tijdens de pretraining geïnstalleerde persona behouden of versterken.

Het artikel concludeert dat robuuste alignment vereist dat de vorming van waarden begint tijdens het allereerste stadium van de modelontwikkeling, in plaats van te proberen misalignement achteraf te corrigeren.