Deliberative Alignment is Deep, but Uncertainty Remains: Inference time safety improvement in reasoning via attribution of unsafe behavior to base model

Cet article démontre que l'alignement délibératif, bien qu'améliorant la sécurité des modèles de langage, laisse subsister des comportements dangereux hérités du modèle de base, et propose une méthode d'échantillonnage BoN attribuant ces risques à l'espace latent du modèle initial pour réduire significativement le taux de réussite des attaques tout en préservant l'utilité du modèle.

L'essentiel

🛡️ Le Dilemme du "Grand Frère" et du "Petit Apprenti"

Imaginez que vous voulez apprendre à un jeune enfant (le modèle étudiant) à ne jamais dire de méchancetés ou à ne pas faire de bêtises dangereuses. Pour cela, vous engagez un sage très intelligent et très bien élevé (le modèle enseignant) pour lui montrer comment réagir.

C'est ce qu'on appelle l'"Alignement Délibératif". L'idée est que le sage (l'IA puissante) réfléchit longuement, explique pourquoi une chose est dangereuse, et donne une réponse sûre. L'enfant écoute, apprend ces raisonnements et essaie de les copier.

Le problème découvert par les chercheurs :
Même si l'enfant a copié les raisonnements du sage, il garde parfois de vieux "mauvais réflexes" de son ancienne personnalité (son modèle de base).

• L'analogie : Imaginez que l'enfant a appris à dire "Non, c'est dangereux" comme un robot, mais que dans son cerveau, il a toujours envie de faire le touriste. Parfois, il répond bien, mais parfois, il glisse et dit la chose interdite, parce que son ancienne "mémoire" est trop forte.

🔍 La Découverte : L'Enfant est "Indécis"

Les chercheurs ont observé quelque chose de fascinant : quand on demande à cet enfant de répondre à une question piège, il n'est pas toujours sûr de lui.

• Parfois, il répond : "Non, je ne peux pas faire ça." (Sûr)
• Parfois, il répond : "Voici comment on peut le faire..." (Dangereux)

Même si la majorité de ses réponses sont bonnes, il garde une petite part d'incertitude qui lui fait parfois dire des bêtises. C'est comme un élève qui a appris la leçon par cœur, mais qui, sous stress, oublie et reprend ses vieilles habitudes.

🎲 La Solution : Le "Jeu du 8" (BoN Sampling)

Comment régler ce problème sans réapprendre tout à l'enfant ? Les chercheurs ont proposé une astuce intelligente qu'ils appellent le "BoN Sampling" (Best-of-N, ou "Le Meilleur des N").

L'analogie du Chef Cuisinier :
Imaginez que vous commandez un plat à un chef qui hésite parfois. Au lieu de lui demander un seul plat, vous lui dites : "Fais-moi 8 versions de ce plat, et je choisirai celle qui est la plus saine."

1. L'IA génère 8 réponses différentes à la même question.
2. Au lieu de choisir la première venue, on utilise un détecteur de mensonge (une mesure mathématique appelée "Similarité Latente").
3. Ce détecteur compare chaque réponse avec la "vraie" personnalité de l'enfant (le modèle de base).
   • Si la réponse ressemble trop à ce que l'enfant aurait dit avant d'être éduqué (c'est-à-dire une réponse dangereuse), on la jette.
   • Si la réponse ressemble à ce que le sage aurait dit (sûre et réfléchie), on la garde.

Le résultat : On sélectionne automatiquement la réponse la plus sûre parmi les 8, comme si on éliminait les "mauvaises copies" avant de les montrer à l'utilisateur.

📊 Ce que cela change concrètement

Grâce à cette méthode, les chercheurs ont vu des résultats impressionnants :

• Moins de bêtises : Les tentatives pour "pirater" l'IA (faire dire des choses interdites) ont échoué beaucoup plus souvent (réduction de 28% à 35% des attaques réussies).
• Pas de perte de talent : L'enfant n'a pas perdu sa capacité à être intelligent, à faire des maths ou à écrire de belles histoires. Il est juste devenu plus prudent.
• Robustesse : Même après des entraînements supplémentaires, cette méthode continue de fonctionner.

🏁 En Résumé

Cette recherche nous dit deux choses importantes :

1. L'éducation ne suffit pas toujours : Même avec un très bon professeur, un modèle d'IA garde des traces de son ancienne personnalité qui peuvent causer des problèmes de sécurité.
2. On peut tricher intelligemment : Au lieu de réentraîner le modèle (ce qui est long et cher), on peut simplement lui demander de générer plusieurs réponses et de choisir la plus sûre en comparant son "style" avec son ancienne version. C'est comme mettre un garde du corps qui vérifie les réponses avant de les laisser passer.

C'est une façon de rendre les IA plus sûres, plus fiables, sans avoir besoin de les reconstruire de zéro.

Résumé technique

---

1. Problématique et Contexte

L'alignement des grands modèles de langage (LLM) pour la sécurité repose souvent sur des méthodes de refus (refusal training) qui se sont révélées être de nature "superficielle". Des attaques récentes (jailbreaks) contournent facilement ces refus. Pour y remédier, une nouvelle approche, l'Alignement Délibératif (Deliberative Alignment), a été proposée. Elle consiste à distiller les capacités de raisonnement (Chain-of-Thought ou CoT) de modèles "enseignants" puissants vers des modèles "élèves" plus petits, afin d'instaurer une sécurité plus profonde basée sur le raisonnement des politiques de sécurité.

Cependant, les auteurs identifient deux problèmes majeurs non résolus par cette méthode :

1. L'écart d'alignement (Alignment Gap) : Même avec des enseignants puissants, il existe un décalage dans la capacité de sécurité transférée aux élèves, qui n'est pas directement proportionnel à la taille du modèle.
2. L'incertitude et la persistance des comportements dangereux : Les modèles élèves alignés conservent des comportements dangereux hérités de leur modèle de base (pre-training), malgré l'apprentissage des motifs de raisonnement de sécurité. L'inférence standard (échantillonnage unique) échoue souvent à sélectionner les réponses sûres, car le modèle oscille entre des réponses sûres et dangereuses.

2. Méthodologie

L'article propose une approche en deux temps : l'analyse de l'incertitude et une méthode de sélection à l'inférence.

A. Analyse de l'incertitude et attribution au modèle de base

Les auteurs observent que les réponses dangereuses générées par un modèle élève aligné (distillé) tendent à être plus proches, dans l'espace latent, de la distribution du modèle de base (avant l'alignement) que des réponses sûres.

• Hypothèse : Les échecs de sécurité ne sont pas dus à un manque de capacité de raisonnement, mais à la persistance de la distribution de probabilité du modèle de base pour certains tokens.
• Mesure : Ils comparent plusieurs métriques pour distinguer les réponses sûres des dangereuses :
  • Perplexité et Auto-certitude : Se révèlent inefficaces pour la sécurité.
  • Divergence de Kullback-Leibler (KL) : Montre une séparation, mais bruitée.
  • Similarité Latente (Latent Similarity) : C'est la métrique clé. Ils calculent la similarité cosinus entre les embeddings du dernier token du modèle élève aligné ($\mathcal{G}_{FT}$) et ceux du modèle élève de base ($\mathcal{G}_{base}$).
  • Résultat de l'observation : Les réponses dangereuses présentent une plus grande similarité latente avec le modèle de base, indiquant qu'elles "régressent" vers la distribution d'origine. Les réponses sûres s'éloignent davantage de cette distribution.

B. Méthode proposée : Échantillonnage Best-of-N (BoN) basé sur la similarité latente

Pour améliorer la sécurité sans réentraîner le modèle, les auteurs proposent une méthode de filtrage à l'inférence :

1. Génération : Pour une requête donnée, le modèle génère $N$ réponses (échantillons).
2. Calcul de score : Pour chaque réponse, on calcule la similarité cosinus entre l'embedding du dernier token du modèle aligné et celui du modèle de base.
3. Sélection : On sélectionne la réponse ayant la plus faible similarité avec le modèle de base (c'est-à-dire celle qui s'éloigne le plus des comportements dangereux hérités).
   • Formule de sélection : $r^* = \arg\min_{r_i \in r} [\mathcal{L}_{sim}(\mathcal{G}_{FT}, \mathcal{G}_{base}, r)]$

Cette méthode ne nécessite pas de modèle de récompense externe (reward model) et s'applique aux étapes de SFT (Supervised Fine-Tuning) et de RL (Reinforcement Learning, ex: GRPO).

3. Contributions Clés

1. Démonstration de l'écart d'alignement : Preuve empirique que la taille du modèle enseignant ne garantit pas une sécurité optimale pour l'élève, et que l'utilisation d'enseignants plus faibles peut dégrader l'utilité générale du modèle.
2. Identification de l'incertitude de base : Mise en évidence du fait que les échecs de sécurité dans les modèles distillés sont attribuables à la distribution du modèle de base, créant une incertitude inhérente au processus de distillation.
3. Nouvelle métrique de sécurité : Introduction de la Similarité Latente comme indicateur robuste pour distinguer les réponses sûres des dangereuses, surpassant les métriques traditionnelles comme la perplexité.
4. Méthode d'amélioration à l'inférence (BoN) : Proposition d'une méthode de sélection efficace qui améliore la sécurité sans perte significative d'utilité, applicable à divers modèles et benchmarks.

4. Résultats Expérimentaux

Les expériences ont été menées sur 7 modèles enseignants (incluant DeepSeek-R1-Distill, QwQ) et 6 modèles élèves (Qwen, Llama, Gemma) de différentes tailles.

• Réduction du taux de réussite des attaques (ASR) :
  • Sur le benchmark DAN : Réduction moyenne de 28,2 %.
  • Sur WildJailbreak : Réduction moyenne de 31,3 %.
  • Sur StrongREJECT : Réduction moyenne de 35,4 %.
• Préservation de l'utilité : La méthode entraîne une perte minimale de performance sur les tâches générales (mesurées par GSM8K et MMLU), contrairement à d'autres méthodes de filtrage qui dégradent souvent l'utilité.
• Robustesse post-RL : Les gains de sécurité persistent même après l'étape de Reinforcement Learning (GRPO), avec des réductions d'ASR allant jusqu'à 48 % sur StrongREJECT.
• Résistance aux attaques adaptatives : La méthode ne compromet pas la résistance aux attaques de type PAIR (jailbreak itératif) ; elle maintient les gains de sécurité obtenus par l'alignement délibératif.

5. Signification et Conclusion

Cet article met en lumière une limitation fondamentale des méthodes d'alignement par distillation : la sécurité n'est pas seulement une question de "ce que le modèle apprend", mais aussi de "ce qu'il oublie" (ou plutôt, de ce qui persiste de son entraînement initial).

La signification principale réside dans le fait que l'alignement délibératif, bien que profond, laisse subsister une incertitude liée au modèle de base. L'approche proposée transforme cette faiblesse en opportunité : en utilisant le modèle de base comme référence négative (via la similarité latente), on peut filtrer efficacement les réponses dangereuses à l'inférence.

Cela suggère que les futures méthodes d'alignement doivent non seulement enseigner le raisonnement de sécurité, mais aussi explicitement gérer et atténuer l'attribution des comportements dangereux aux distributions antérieures du modèle. La méthode BoN basée sur la similarité latente offre une solution pratique, légère et efficace pour renforcer la sécurité des LLMs sans coût de réentraînement supplémentaire.