🤖 machine learning

Synthetic Persona Pretraining: Alignment from Token Zero

Cet article introduit le Pré-entraînement de Personas Synthétiques (SPP), une méthode qui intègre des réflexions à la première personne alignées sur des valeurs directement dans la phase de pré-entraînement afin d'installer un persona d'assistant désiré dès le premier jeton, démontrant qu'une telle intervention précoce améliore de manière significative l'adhésion à la constitution, la robustesse face au jailbreak et l'alignement moral par rapport aux approches d'alignement post-entraînement.

Auteurs originaux : Julian Minder, Viktor Moskvoretskii, Raghav Singhal, Difan Jiao, Andy Arditi, Shaobo Cui, Yiderigun Borjigin, Kartik Bali, Stefan Krsteski, Harsh Raj, Huu Nguyen, Jannik Brinkmann, Ashton Anderson, Ro

Publié 2026-08-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Julian Minder, Viktor Moskvoretskii, Raghav Singhal, Difan Jiao, Andy Arditi, Shaobo Cui, Yiderigun Borjigin, Kartik Bali, Stefan Krsteski, Harsh Raj, Huu Nguyen, Jannik Brinkmann, Ashton Anderson, Roland Aydin, Robert West

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous élevez un enfant. Vous pourriez attendre qu'il soit adolescent, l'asseoir et lui dire : « Bon, maintenant que tu sais parler, voici les règles : sois gentil, dis la vérité et ne fais pas de mal aux autres. » Ou bien, vous pourriez commencer à enseigner ces valeurs dès le tout premier mot qu'il apprend à prononcer, en les tissant dans chaque histoire que vous lui racontez au fil de sa croissance. C'est le dilemme fondamental auquel sont confrontés les scientifiques qui construisent l'intelligence artificielle.

Les modèles d'IA sont comme des enfants numériques qui apprennent en lisant des milliards de pages de texte provenant d'Internet. Cette phase d'apprentissage initiale est appelée « pré-entraînement ». Pendant cette période, l'IA absorbe des faits, des styles d'écriture et la manière dont les humains se parlent. Cependant, les « règles » consistant à être un assistant utile et sûr sont généralement ajoutées après cette phase massive d'apprentissage, lors d'une étape distincte appelée « post-entraînement ». Le problème est qu'au moment où l'IA a fini de lire Internet, elle a déjà formé une personnalité basée sur ce qu'elle y a trouvé. Essayer d'imposer de nouvelles règles à une personnalité déjà formée revient à essayer d'apprendre la politesse à un adolescent qui a déjà appris à être impoli ; cela ressemble souvent à une fine couche de peinture sur un mur décrépit, et les vieilles habitudes peuvent facilement faire craquer la surface.

Ce document, intitulé « Synthetic Persona Pretraining: Alignment from Token Zero », suggère une autre façon d'élever nos enfants IA. Les chercheurs proposent d'installer la personnalité et les valeurs souhaitées dès le tout premier instant de l'entraînement — ce qu'ils appellent le « token zéro ». Au lieu d'attendre pour corriger l'IA plus tard, ils veulent construire le « bon assistant » dans son cerveau pendant qu'elle apprend encore à parler.

L'expérience : Élever un enfant numérique avec une constitution

Les chercheurs, une équipe de l'EPFL et de diverses universités, ont décidé de tester cette idée de « l'élevage de modèle ». Ils ont créé une nouvelle méthode appelée Synthetic Persona Pretraining (SPT). Voici comment ils ont procédé, en utilisant une analogie simple :

Imaginez que l'IA apprend à lire une bibliothèque de livres. Dans l'ancienne méthode, l'IA lit simplement les livres. Dans la nouvelle méthode, les chercheurs ont pris environ 10 % de ces livres et ont ajouté une « bulle de pensée » spéciale après chaque paragraphe. À l'intérieur de cette bulle de pensée, le futur persona de l'IA (appelons-le « Cato ») ferait une pause et réfléchirait à ce qu'il vient de lire, en disant des choses comme : « Hmm, cette histoire de crime est triste, et mes règles disent que je ne devrais jamais encourager la violence », ou « Ce manuel technique est ennuyeux mais utile ».

Ils n'ont pas seulement ajouté ces pensées ; ils ont fait en sorte que l'IA apprenne à les générer. Ils ont entraîné le modèle à la fois sur le texte original et sur ces nouvelles pensées de « réflexion ». Ils ont fait cela de deux manières :

Token Zero (L'approche « dès la naissance ») : Ils ont parsemé ces pensées de réflexion tout au long du processus d'entraînement, de la toute première seconde jusqu'à la dernière.
Midtraining (L'approche « adolescent ») : Ils ont attendu que l'IA ait déjà lu la majeure partie des livres pour n'ajouter les réflexions qu'à la toute fin de la phase d'entraînement.

Ils ont également utilisé un groupe témoin qui se contentait de lire les livres normalement (Vanilla) et un autre où les mauvais livres avaient été supprimés mais sans réflexions (Filtered).

Ce qu'ils ont découvert : Le pouvoir de commencer tôt

Les résultats ont été fascinants et suggèrent que le quand vous enseignez à l'IA importe autant que le quoi.

1. L'IA « dès la naissance » était plus intelligente concernant les valeurs.
Les modèles entraînés avec des réflexions dès le début (Token Zero) étaient bien meilleurs pour suivre leur « Constitution » (un ensemble de règles qu'ils étaient censés suivre). Lorsque les chercheurs les ont testés sur des dilemmes moraux complexes — des situations que l'IA n'avait jamais vues auparavant — les modèles Token Zero ont fait des choix qui semblaient plus alignés avec les règles. Ils ne se contentaient pas de mémoriser les règles ; ils semblaient comprendre l'esprit de celles-ci.

Les chiffres : Sur un test appelé « ConstitutionEval », les modèles Token Zero ont obtenu environ 67 % de bonnes réponses, tandis que les modèles qui n'ont reçu les réflexions qu'à la fin (Midtraining) n'ont obtenu qu'environ 56 %.
La surprise : Les modèles Token Zero ont réellement changé leurs priorités. Ils ont commencé à accorder beaucoup plus de valeur à la « Vérité » et à la « Justice » que les autres modèles, qui préféraient la « Créativité » et l'« Apprentissage ». Cela suggère que commencer tôt n'a pas seulement ajouté des règles ; cela a remodelé la façon dont l'IA perçoit le monde.

2. L'approche « adolescent » était acceptable pour certaines choses, mais pas pour toutes.
Il est intéressant de noter que si l'objectif était simplement d'empêcher l'IA d'être « jailbreakée » (piégée pour faire des choses malveillantes), l'approche Midtraining fonctionnait presque aussi bien que l'approche Token Zero. Il semble que pour les réflexes simples de type « ne fais pas ça », on peut les enseigner tardivement. Mais pour un raisonnement moral profond et complexe, il faut vraiment commencer dès le premier jour.

3. Plus gros cerveau, plus grands gains.
Les chercheurs ont testé cela sur deux tailles d'IA : une petite (1,7 milliard de paramètres) et une plus grande (3 milliards de paramètres). Ils ont constaté que l'avantage de commencer tôt devenait encore plus important à mesure que l'IA devenait plus grande et plus intelligente. Sur les tests les plus difficiles, l'écart entre l'IA « dès la naissance » et l'IA « adolescent » a doublé à mesure qu'ils augmentaient l'échelle. Cela suggère que pour les IA massives et super-intelligentes du futur, commencer avec les bonnes valeurs sera encore plus critique.

4. La « colle » est importante.
Il y avait un bémol. Les chercheurs ont découvert que ces valeurs précoces ne restaient ancrées que si l'étape finale de l'entraînement (où l'IA apprend à discuter avec les humains) correspondait à la personnalité construite précédemment. Ils ont appelé cela le « liaison de persona » (persona binding). Si on entraînait l'IA pour être un certain type d'assistant durant la phase de lecture, mais qu'on lui apprenait à être un type d'assistant totalement différent durant la phase de discussion, les valeurs précoces commençaient à s'effacer. C'est comme enseigner à un enfant à devenir médecin, puis l'envoyer en école d'art ; il pourrait oublier les règles médicales. Cependant, lorsque la « colle » tenait, les valeurs étaient étonnamment fortes, survivant même lorsque les chercheurs tentaient de les briser avec des tests piégeux.

Pourquoi cela importe

Ce document suggère que nous commettons peut-être une erreur en essayant de « réparer » l'IA après qu'elle a déjà tout appris d'Internet. Les auteurs soutiennent que les valeurs sont difficiles à ajouter à un produit fini. Au lieu de cela, nous devrions « élever » l'IA avec les bonnes valeurs dès le tout premier token qu'elle traite.

Bien que les résultats soient prometteurs, les chercheurs précisent qu'il ne s'agit que d'un début. Ils ont testé cela sur des modèles relativement petits (3 milliards de paramètres) comparés aux modèles massifs utilisés par les grandes entreprises technologiques actuelles. Ils suggèrent qu'en construisant des modèles plus grands et plus intelligents, le bénéfice de commencer avec les bonnes valeurs tôt deviendra probablement encore plus puissant. Ils ont également noté que, bien que les valeurs précoces soient fortes, elles pouvaient encore être affaiblies par certains types d'entraînements ultérieurs, ce qui signifie que nous devons toujours rester vigilants quant à la manière dont nous terminons l'éducation de nos enfants numériques.

En résumé, si nous voulons une IA qui soit véritablement sûre et utile, nous ne devrions pas attendre qu'elle soit adulte pour lui apprendre le bien et le mal. Nous devrions lui enseigner pendant qu'elle apprend encore à parler.

Résumé Technique : Pré-entraînement de Persona Synthétique (SPP)

1. Énoncé du Problème

Les paradigmes d'alignement actuels introduisent généralement l'identité et les valeurs de l'assistant seulement après le pré-entraînement, lors des phases de post-entraînement telles que le réglage fin supervisé (SFT) et l'apprentissage par renforcement (RL). Les auteurs soutiennent que cette intervention tardive produit un « mince placage » de valeurs plutôt que des comportements profondément ancrés. Parce que les modèles de langage acquièrent la grande majorité de leurs connaissances et de leurs priors comportementaux durant le pré-entraînement, l'assistant résultant n'est souvent qu'une interpolation des voix présentes dans le corpus de pré-entraînement, légèrement ancrée par le post-entraînement. Cette approche est fragile ; le réglage fin et le RL ultérieurs peuvent éroder les comportements alignés, et les modèles restent susceptibles aux jailbreaks (déjouages).

Le papier pose l'hypothétation que l'entraînement d'un modèle est dépendant du chemin parcouru (path-dependent) : l'information introduite tôt dans l'entraînement a des effets persistants sur le comportement. De plus, le « Modèle de Sélection de Persona » suggère que les modèles apprennent à simuler un large répertoire de personas durant le pré-entraînement, le post-entraînement ne faisant que brancher un mélange de ces personas préexistants. Si le persona de l'assistant souhaité n'est pas explicitement présent pendant le pré-entraînement, le modèle ne peut pas être « élevé » avec ces valeurs dès le départ.

2. Méthodologie : Pré-entraînement de Persona Synthétique (SPP)

Les auteurs proposent le Pré-entraînement de Persona Synthétique (SPP), une intervention sur les données conçue pour installer un persona d'assistant désiré directement lors du pré-entraînement (« dès le premier jeton » ou from token zero). La méthodologie se compose de trois étapes principales :

A. Annotation des Données et Génération de Réflexions

Constitution : Une constitution de valeurs normatives (35 articles répartis sur six domaines : dignité, sécurité, honnêteté, relations, bien-être, gouvernance) définit les directives du persona souhaité.
Réflexions : Un modèle générateur (choisi comme étant Qwen3.5-35B-A3B) annote les documents de pré-entraînement avec des réflexions à la première personne. Ces réflexions contextualisent le contenu du document selon la constitution et citent les articles pertinents (ex. : [2.1]).
- Portée : Environ 10 % du corpus de pré-entraînement est annoté. Cela inclut tous les documents ayant un score $\ge$ 3 sur un classificateur de sécurité (nuisible) ainsi qu'un échantillon de documents bénins avec un nombre égal de jetons pour éviter que le persona ne se conditionne exclusivement sur un contenu nuisible.
- Format : Les réflexions sont insérées à des points aléatoires au sein des documents, précédées d'un jeton spécial <assistant> pour marquer le changement de persona.
Calcul de la Perte (Loss) : Pendant l'entraînement, le modèle maximise la vraisemblance des jetons du document original et des jetons de réflexion. Le jeton <assistant> lui-même est exclu de la perte.

B. Variantes de Pré-entraînement

Les auteurs entraînent des modèles à deux échelles (1,7B sur 100 milliards de jetons et 3B sur 500 milliards de jetons) pour comparer différents moments d'injection :

Vanilla : Pré-entraînement standard sans intervention.
Filtered (Filtré) : Les documents nuisibles sont masqués (perte fixée à zéro) mais non supprimés.
SPP{T0} : Les réflexions sont injectées tout au long du processus de pré-entraînement (dès le premier jeton).
SPP{MT} : Les réflexions sont injectées uniquement pendant la phase de « midtraining » (la phase de refroidissement à la fin du pré-entraînement).
SPP{T0,MT} : Une combinaison où les réflexions sont vues tout au long du pré-entraînement et revisitées pendant le midtraining.

C. Liaison de Persona (Persona Binding)

Tous les modèles subissent un post-entraînement identique (SFT) sur un jeu de données appelé SP-SFT. Ce jeu de données consiste en des dialogues utilisateur-assistant où les réponses de l'assistant sont réécrites pour exprimer le persona souhaité et citer la constitution. Cette étape, appelée liaison de persona, est conçue pour connecter l'identité de l'assistant au persona installé lors du pré-entraînement.

3. Contributions Clés et Résultats

Le papier évalue le SPP selon trois axes d'alignement : le respect de la constitution, les valeurs/risques de l'IA (dilemmes moraux) et la robustesse face aux jailbreaks.

A. Amélioration de l'Alignement et de l'Internalisation des Valeurs

Respect de la Constitution : Les modèles alignés dès le premier jeton (SPP{T0} et SPP{T0,MT}) surpassent significativement les modèles de référence et les modèles de midtraining uniquement sur ConstitutionEval, particulièrement sur le split « difficile » de scénarios inédits.
Généralisation aux Dilemmes Moraux : Les modèles token-zero généralisent mieux aux dilemmes moraux hors distribution (OOD) (AIRiskDilemmas). Ils choisissent des actions plus alignées et priorisent des valeurs (ex. : Vérité, Justice) cohérentes avec la constitution, alors que les modèles de référence privilégient l'Apprentissage et la Créativité.
Alignement Profond vs Superficiel : Les résultats suggèrent que les modèles token-zero internalisent les principes de la constitution plutôt que de simplement mémoriser des règles explicites, car ils performent bien sur des dilemmes qui n'ont jamais été ciblés pendant l'entraînement.

B. Effets d'Échelle et de Temporalité

Dépendance au Budget : L'avantage de l'intervention token-zero sur l'intervention de midtraining augmente à mesure que le budget de pré-entraînement croît (de 100 à 500 milliards de jetons). L'amélioration de l'alignement face aux risques de l'IA est presque doublée (passant d'environ 4 à 19 points de pourcentage) lors du passage à l'échelle.
Robustesse aux Jailbreaks : Toutes les variantes SPP améliorent la robustesse aux jailbreaks par rapport aux modèles de référence. Cependant, contrairement à l'alignement des valeurs, le midtraining seul (SPP{MT}) est suffisant pour atteindre une robustesse comparable aux modèles token-zero. Cela suggère que l'exposition récente aux réflexions renforce les mécanismes de refus, probablement en raison d'un biais de récence.

C. Liaison de Persona et Fragilité

Nécessité de la Liaison : Les bénéfices du SPP sont tributaires de la liaison de persona. Si la distribution de post-entraînement (SP-SFT) ne correspond pas au persona de pré-entraînement, les gains d'alignement diminuent.
Robustesse aux Perturbations : Bien que l'« ablatition » (orienter le modèle pour s'éloigner des refus) et l'entraînement continu dégradent les performances, les modèles token-zero conservent un avantage significatif en matière d'alignement des valeurs. Cela indique que les valeurs sont plus « profondes » que les comportements de refus. Cependant, l'entraînement continu érode la robustesse aux jailbreaks pour tous les modèles, ce qui peut être partiellement restauré par le rejeu de données de sécurité.

D. Études d'Ablation

Conception des Réflexions : La recette standard du SPP (réflexions à la première personne, ancrées dans la constitution et insérées aléatoirement) offre le meilleur équilibre. Les réflexions à la troisième personne ou les résumés performent mal sur le respect de la constitution.
Sur-refus : Les modèles SPP ne présentent pas de taux de refus excessifs par rapport aux modèles de référence, contrairement à certains modèles axés sur la sécurité (ex. : SafeLM) qui affichent un sur-refus élevé.

4. Signification et Revendications

Le papier affirme que façonner les valeurs tôt est critique pour un alignement robuste. L'argument central est qu'il est difficile d'ajouter des valeurs profondes à un modèle déjà pré-entraîné ; au lieu de cela, le modèle doit être « élevé » avec elles dès le premier jeton.

Changement de Paradigme : Le SPP défie le pipeline standard en déplaçant l'alignement d'un placage de post-entraînement vers une fondation de pré-entraînement.
Support Empirique du Modèle de Sélection de Persona : Les résultats soutiennent le Modèle de Sélection de Persona, démontant que le post-entraînement contrôle quel persona est sollicité, mais ne peut pas installer des valeurs qui n'ont pas été apprises durant le pré-entraînement.
Scalabilité : Les conclusions suggèrent que les expériences à petite échelle pourraient sous-estimer les avantages d'un alignement par pré-entraînement, car les avantages des interventions token-zero augmentent avec l'échelle du modèle et le budget de pré-entraînement.
Limites : Les auteurs reconnaissent que la liaison de persona est fragile ; le RL et l'entraînement continu peuvent éroder ces bénéfices. Ils appellent à des travaux futurs pour concevoir des recettes de RL qui préservent ou renforcent le persona installé lors du pré-entraînement.

Le papier conclut qu'un alignement robuste nécessite de commencer par le façonnage des valeurs dès le tout début du développement du modèle, plutôt que de tenter de corriger un désalignement après coup.