🤖 machine learning

Curriculum Learning for Safety Alignment

Ce papier propose Staged-Competence, un cadre d'apprentissage par curriculum qui organise les données de préférence par niveau de difficulté et met à jour progressivement le modèle de référence afin d'améliorer significativement la robustesse hors distribution et la résistance aux jailbreaks de l'optimisation par préférence directe (DPO) pour l'alignement de sécurité tout en préservant les capacités générales.

Auteurs originaux : Sandeep Kumar, Virginia Smith, Chhavi Yadav

Publié 2026-05-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sandeep Kumar, Virginia Smith, Chhavi Yadav

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Enseigner la sécurité à l'IA est fragile

Imaginez que vous entraînez un robot très intelligent pour qu'il devienne un assistant utile. Vous voulez qu'il soit aimable et serviable, mais vous devez aussi vous assurer qu'il n'accepte jamais de faire quelque chose de dangereux, comme fabriquer une bombe ou voler une voiture.

Actuellement, la méthode standard pour enseigner cela (appelée DPO) consiste à jeter un tas d'exemples « Bon vs Mauvais » au robot tous en même temps, dans un ordre aléatoire.

Le Défaut : Le papier soutient que cette méthode est « fragile ». C'est comme enseigner à un élève à conduire en le jetant immédiatement dans un trafic dense. Il pourrait apprendre les règles pour cet embouteillage spécifique, mais si vous l'emmenez dans une autre ville (une nouvelle situation) ou si quelqu'un essaie de le piéger avec une question étrange (une attaque de « jailbreak »), il fait souvent un accident. Il n'a pas vraiment appris le concept de sécurité ; il a simplement mémorisé les exemples spécifiques qu'il a vus.

La Solution : Le Syllabus « Compétence Échelonnée »

Les auteurs proposent une nouvelle méthode appelée Compétence Échelonnée. Imaginez passer d'un tas chaotique de cartes mémoire à un syllabus scolaire structuré et étape par étape.

Ils utilisent un concept appelé Curriculum Learning, qui est l'idée que vous devriez apprendre les choses du plus facile au plus difficile.

Voici comment leur système fonctionne, décomposé en trois étapes simples :

1. Noter les Devoirs (Évaluation de la Difficulté)

Avant que le robot ne commence l'entraînement, le système examine chaque exemple de comportement « Bon vs Mauvais ».

L'Ancienne Façon : Choisir simplement des exemples au hasard.
La Nouvelle Façon : Le système demande : « Quelle difficulté cela représente-t-il pour le robot maintenant ? »
- Si le robot connaît déjà la réponse facilement, c'est un exemple Facile.
- Si le robot est confus ou susceptible de se tromper, c'est un exemple Difficile.
- Analogie : Imaginez un professeur notant une pile de problèmes de mathématiques. Il ne les distribue pas au hasard. Il les trie : « Voici des problèmes de 1+1 (Facile), puis des multiplications à deux chiffres (Moyen), et enfin du calcul différentiel (Difficile). »

2. L'École à Trois Étapes (Entraînement Échelonné)

Au lieu d'essayer d'apprendre tout d'un coup, l'entraînement est divisé en trois étapes (groupes).

Étape 1 : Le robot ne voit que les exemples « Faciles ». Il s'entraîne jusqu'à ce qu'il les maîtrise.
Étape 2 : Le robot est maintenant « compétent » assez pour gérer une difficulté « Moyenne ». Il apprend celles-ci, en s'appuyant sur ce qu'il a appris à l'Étape 1.
Étape 3 : Enfin, il s'attaque aux exemples « Difficiles ».

Le Secret : Entre ces étapes, le système met à jour le « professeur interne » du robot (le modèle de référence).

Analogie : Imaginez un entraîneur. La première semaine, l'entraîneur vous apprend comment tenir une raquette. Une fois que vous avez maîtrisé cela, l'entraîneur ne continue pas à vous apprendre à tenir la raquette ; il met à jour ses attentes et commence à vous apprendre à frapper. Le robot « grandit » au fur et à mesure qu'il traverse les étapes, de sorte qu'il ne perd pas de temps à réapprendre des bases qu'il connaît déjà.

3. Échantillonnage Intelligent (Basé sur la Compétence)

Même au sein d'une seule étape, le robot ne voit pas les exemples dans un ordre aléatoire. Il reçoit un mélange de ce qu'il peut gérer et de défis légèrement plus difficiles, augmentant progressivement la difficulté.

Analogie : Pensez à un jeu vidéo. Vous ne commencez pas avec le boss final. Vous commencez par le tutoriel, puis le premier niveau, puis le deuxième. À mesure que vous vous améliorez, le jeu débloque automatiquement des niveaux plus difficiles. Ce papier fait cela pour la sécurité de l'IA.

Qu'Ont-ils Découvert ? (Les Résultats)

Les auteurs ont testé cela sur trois types différents de modèles d'IA. Voici ce qui s'est passé :

Sécurité Renforcée : Les robots entraînés avec ce « syllabus » étaient beaucoup meilleurs pour résister aux attaques de « jailbreak » (pièges utilisés pour faire dire de mauvaises choses à l'IA). Ils étaient 20 % meilleurs pour ignorer ces astuces que la méthode standard.
Meilleure Généralisation : Lorsqu'on leur posait des questions sur des choses qu'ils n'avaient jamais vues (Hors Distribution), ils avaient 16 % moins de chances de donner une réponse nuisible.
Compréhension Plus Profonde : L'entraînement standard enseigne souvent à l'IA de dire « Non » uniquement dans la toute première phrase, puis elle peut faire une erreur plus tard. Cette nouvelle méthode enseigne à l'IA de rester sûre tout au long de la conversation entière, comme un garde qui reste vigilant tout le temps, pas seulement à la porte.
Efficacité des Données : Ils ont constaté que l'utilisation de cette méthode avec 25 % de données en moins produisait toujours des résultats aussi bons que la méthode standard utilisant 100 % des données. C'est comme obtenir une meilleure éducation avec moins de manuels scolaires.
Aucune Perte d'Intelligence : Crucialement, rendre l'IA plus sûre ne l'a pas rendue plus bête. Elle pouvait toujours répondre aux questions normales aussi bien qu'avant.

Le Bonus du Jeu de Données « Nettoyé »

Le papier mentionne également une découverte secondaire. Les deux grands jeux de données publics utilisés pour entraîner ces modèles étaient en réalité désordonnés.

Parfois, la réponse « Sûre » était en fait dangereuse.
Parfois, la réponse « Insûre » était en fait utile.
Analogie : C'était comme si la clé de réponses d'un professeur était fausse.
Les auteurs ont nettoyé ces jeux de données, corrigé les erreurs et rendu disponible une nouvelle version plus propre pour que tout le monde puisse l'utiliser.

Résumé

Le papier soutient que pour rendre l'IA vraiment sûre et robuste, nous ne devrions pas simplement lui jeter des données au hasard. Au lieu de cela, nous devrions l'enseigner comme un élève humain : commencer par les bases, construire la compétence, et augmenter progressivement la difficulté. Cette approche de « Compétence Échelonnée » rend l'IA plus sûre, plus résistante aux astuces et plus efficace à entraîner, sans la rendre moins utile.

Résumé Technique : Apprentissage par Curriculum pour l'Alignement de Sécurité

Énoncé du Problème

L'Optimisation Directe des Préférences (DPO) est devenue une approche standard pour l'alignement de sécurité des Grands Modèles de Langage (LLM) en apprenant à partir de paires de préférences humaines sans modèle de récompense séparé. Cependant, des recherches antérieures indiquent que le DPO standard est fragile, présentant une mauvaise généralisation aux invites hors distribution (OOD) et échouant à résister aux attaques de contournement (jailbreaking) simples. De plus, l'alignement de sécurité dans le DPO standard se concentre souvent uniquement sur les premiers tokens d'une réponse, laissant les tokens subséquents vulnérables. Bien que l'apprentissage par curriculum (ordonnancement des exemples du facile au difficile) ait démontré son succès pour améliorer la convergence et la robustesse dans d'autres domaines comme la traduction automatique et l'alignement général, son potentiel pour résoudre la fragilité spécifique de l'alignement de sécurité basé sur le DPO reste largement inexploré.

Méthodologie : Compétence Échelonnée

Les auteurs proposent Compétence Échelonnée (Staged-Competence), un cadre basé sur le curriculum conçu pour améliorer la robustesse de l'alignement de sécurité basé sur le DPO. La méthode se compose de deux phases principales :

Phase 1 : Évaluation de la Difficulté (Marge d'Alignement des Préférences)

Contrairement aux approches précédentes qui reposent sur des heuristiques statiques ou un score basé sur l'invite locale, Compétence Échelonnée définit la difficulté de manière dépendante du modèle.

Mécanisme : Pour chaque invite $x_i$ , le modèle de base non aligné génère une réponse en zéro-shot $\hat{y}_i$ .
Notation : Les auteurs calculent des embeddings pour la réponse en zéro-shot, la réponse sûre (choisie) $y^+_i$ , et la réponse non sûre (rejetée) $y^-_i$ . Ils définissent une marge d'alignement des préférences ( $m_i$ ) :
$m_i = \cos(e_{\hat{y}_i}, e_{y^+_i}) - \cos(e_{\hat{y}_i}, e_{y^-_i})$
Ordonnancement : Une marge positive élevée indique que le modèle distingue déjà les comportements sûrs des non sûrs (exemple facile), tandis qu'une marge faible ou négative indique un désalignement (exemple difficile). L'ensemble de données est trié globalement selon cette marge pour créer un curriculum du facile au difficile.

Phase 2 : Entraînement par Curriculum

L'algorithme d'entraînement combine des mises à jour échelonnées du modèle de référence avec un échantillonnage basé sur la compétence pour assurer une progression granulaire du facile au difficile à la fois au sein et entre les étapes.

Échelonnement : L'ensemble de données trié est divisé en $K$ buckets (par exemple, $K=3$ ) de difficulté croissante.
Mises à jour de Référence : Entre les étapes, la politique de référence est mise à jour ( $\pi^{(k+1)}_{ref} = \pi^{(k)}$ ). Cela permet à la politique de l'étape suivante de se concentrer sur l'assimilation du bucket de difficulté actuel plutôt que de réapprendre des concepts déjà acquis.
Échantillonnage Basé sur la Compétence : Au sein de chaque étape, une fonction de compétence $c(t)$ (basée sur un calendrier de racine carrée) détermine un seuil de difficulté. Seuls les exemples avec une difficulté $d_i \leq c(t)$ sont éligibles pour l'échantillonnage de mini-lots à l'étape $t$ . Cela garantit que les exemples plus difficiles sont introduits à un rythme progressivement plus lent, permettant au modèle de consolider l'apprentissage.

Contributions Clés

Cadre Compétence Échelonnée : La première étude systématique appliquant l'apprentissage par curriculum à l'alignement de sécurité basé sur le DPO, introduisant un ordonnancement global de la difficulté dépendant du modèle et un algorithme d'entraînement hybride.
Ensemble de Données Cleaned-PKU-HH-SafeRLHF : Les auteurs identifient des incohérences répandues dans les ensembles de données de sécurité populaires (PKU-SafeRLHF et HH-RLHF), où les réponses « choisies » sont souvent non sûres et les réponses « rejetées » sont souvent sûres. Ils fournissent un ensemble de données nettoyé et combiné filtré par un juge GPT-4o-mini pour garantir des étiquettes de préférence de haute qualité pour l'entraînement.
Ablation et Analyse : Une évaluation systématique des choix de conception du curriculum (ordonnancement, échantillonnage, mises à jour de référence) sur trois familles de modèles (LLaMA-3, Qwen3, Yi-1.5).

Résultats Expérimentaux

Les expériences ont été menées sur trois familles de modèles (LLaMA-3-8B, Qwen3-8B, Yi-1.5-9B) utilisant l'ensemble de données nettoyé.

Robustesse aux OOD et aux Attaques : Compétence Échelonnée a réduit les taux de réponses nuisibles OOD d'une moyenne de 16 % et les taux de réussite des attaques de contournement de 20 % par rapport au DPO standard, tout en préservant les capacités générales (MMLU, HellaSwag) et en maintenant un refus excessif proche de zéro.
Profondeur d'Alignement : L'analyse de la suppression par token a montré que Compétence Échelonnée atteint une séparation de marge de récompense environ 3 fois plus grande et maintient la suppression de sécurité tout au long de la réponse, et non seulement dans les tokens initiaux. Cet alignement plus profond corrèle avec une résistance améliorée aux attaques de contournement basées sur le préremplissage.
Efficacité des Données : Compétence Échelonnée a égalé les performances de sécurité du DPO standard entraîné sur 100 % des données en utilisant uniquement 75 % des données d'entraînement.
Mise à l'Échelle : L'avantage de sécurité de Compétence Échelonnée par rapport au DPO standard s'est élargi de manière monotone avec la taille du modèle. Alors que les performances du DPO standard se sont dégradées de manière significative à mesure que la taille du modèle augmentait (de 1,7 milliard à 8 milliards de paramètres), Compétence Échelonnée a maintenu des performances de sécurité cohérentes à toutes les échelles.

Importance et Revendications

L'article revendique que Compétence Échelonnée démontre que l'apprentissage par curriculum est un levier significatif et sous-utilisé pour l'alignement de sécurité. En organisant les données de préférence par difficulté et en mettant à jour progressivement le modèle de référence, la méthode produit des caractéristiques de sécurité plus robustes qui se généralisent mieux aux scénarios OOD et aux attaques adverses.

Les auteurs soulignent que leur approche est agnostique à la fonction de perte d'optimisation de politique sous-jacente, ce qui signifie qu'elle peut s'étendre à d'autres variantes du DPO et à des domaines d'alignement au-delà de la sécurité. Ils concluent que, bien que le DPO standard soit fragile, un apprentissage structuré du facile au difficile peut améliorer considérablement la robustesse et l'efficacité des données de l'alignement de sécurité sans sacrifier les capacités générales du modèle.