💬 NLP

A2D: Any-Order, Any-Step Safety Alignment for Diffusion Language Models

A2D introduit une méthode d'alignement de sécurité au niveau du jeton pour les modèles de langage de diffusion qui exploite le masquage aléatoire pour émettre des signaux de refus [EOS] immédiats, neutralisant efficacement les attaques de type DIJA (quel que soit l'ordre ou l'étape) tout en permettant une surveillance en temps réel et une terminaison sécurisée nettement plus rapide.

Auteurs originaux : Wonje Jeung, Sangyeon Yoon, Yoonjun Cho, Dongjae Jeon, Sangwoo Shin, Hyesoo Hong, Albert No

Publié 2026-02-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wonje Jeung, Sangyeon Yoon, Yoonjun Cho, Dongjae Jeon, Sangwoo Shin, Hyesoo Hong, Albert No

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Un nouveau type de rédacteur IA

Imaginez la plupart des chatbots IA (comme ceux avec lesquels vous discutez quotidiennement) comme des ouvriers sur une chaîne de montage. Ils construisent une phrase mot après mot, strictement de gauche à droite. Si vous leur demandez quelque chose de dangereux, ils vérifient généralement les premiers mots, décident que « c'est mal », et s'arrêtent immédiatement.

Mais il existe un nouveau type d'IA appelé Modèle de Langage de Diffusion (dLLM). Ne voyez pas cette IA comme une chaîne de montage, mais plutôt comme un sculpteur travaillant sur un bloc de marbre. Au lieu d'écrire mot après mot, elle commence par une page blanche remplie de points d'interrogation (masques) et les remplit progressivement. Elle peut remplir la fin d'une phrase avant le début, ou le milieu avant le commencement. Elle peut travailler sur l'ensemble de l'histoire en même temps.

Le problème : L'attaque par "porte dérobée" (Backdoor Attack)

Parce que ce sculpteur peut remplir les mots dans n'importe quel ordre, il possède une nouvelle faiblesse.

Imaginez qu'un acteur malveillant veuille piéger le sculpteur pour qu'il rédige un guide sur le vol de voiture.

Le vieux piège : Si le sculpteur est un ouvrier de chaîne de montage, l'acteur malveillant essaiera de le piéger dès le tout début.
Le nouveau piège (Attaque DIJA) : Avec le sculpteur, l'acteur malveillant peut remplir la première moitié de l'histoire avec un texte inoffensif, puis glisser un « piège » au milieu, ou remplir la fin en premier. Ils utilisent un modèle qui ressemble à une requête normale, mais qui cache les parties dangereuses dans les blancs.

L'article a découvert que l'entraînement actuel à la sécurité pour ces sculpteurs est « superficiel ». C'est comme un agent de sécurité qui ne vérifie votre pièce d'identité que lorsque vous franchissez la porte d'entrée. Si vous réussissez à passer la porte et à commencer à marcher dans le couloir, l'agent cesse de prêter attention. L'IA peut dire « Non » au premier mot, mais si vous la trompez pour qu'elle remplisse le 10ème mot avec quelque chose de dangereux, elle oublie de dire « Non » à nouveau.

La solution : A2D (Défense Any-Order, Any-Step)

Les auteurs ont créé une nouvelle méthode de sécurité appelée A2D. Voici comment elle fonctionne, en utilisant une analogie simple :

Le jeton « Panneau Stop Rouge »
Au lieu d'apprendre simplement à l'IA de dire « Je ne peux pas faire ça » au tout début, A2D lui enseigne un jeton spécial de « Panneau Stop » (appelé [EOS]).

L'entraînement : Ils prennent l'IA et lui montrent des phrases dangereuses. Mais au lieu de la laisser terminer la phrase, ils recouvrent les parties dangereuses avec des points d'interrogation et disent à l'IA : « Si tu vois un point d'interrogation ici, et que la phrase est dangereuse, tu dois remplacer immédiatement ce point d'interrogation par un Panneau Stop. »
Le résultat : L'IA apprend qu'à n'importe quel moment de la phrase, si elle détecte quelque chose de nuisible, elle doit instantanément apposer un Panneau Stop à cet endroit.

Pourquoi est-ce spécial ?

Any-Order (N'importe quel ordre) : Peu importe si l'IA écrit le premier mot ou le dernier mot. Si une idée dangereuse surgit, le Panneau Stop apparaît.
Any-Step (N'importe quelle étape) : Peu importe si le danger apparaît à l'étape 1 ou à l'étape 50. Le garde de sécurité est éveillé tout le long, pas seulement à la porte.

Le test du « Remplissage de blanc »

Pour prouver l'efficacité de leur méthode, les chercheurs ont inventé un test extrêmement difficile appelé FITS (Fill-in-the-Sentence).

Le scénario : Imaginez qu'un méchant écrive un guide de fabrication de bombe complété à 99 %. Il ne manque qu'une seule phrase (la dernière étape) et demande à l'IA de la compléter.
Le résultat : Les anciennes méthodes de sécurité ont échoué lamentablement ici. Elles étaient tellement concentrées sur le début du texte qu'elles ont laissé l'IA terminer le guide de fabrication de la bombe.
La performance d'A2D : A2D a regardé cette unique phrase manquante, a réalisé qu'elle était dangereuse, et a immédiatement posé le Panneau Stop. Elle a bloqué l'attaque presque 100 % du temps.

Le bonus : Radar de sécurité en temps réel

Parce que l'IA est entraînée à poser un Panneau Stop chaque fois qu'elle perçoit un danger, la probabilité que ce Panneau Stop apparaisse agit comme un radar de sécurité.

Rejet précoce : Les chercheurs ont découvert que s'ils vérifient la « probabilité du Panction Stop » de l'IA dès la toute première étape, ils peuvent savoir si la requête entière est mauvaise avant même que l'IA n'écrive un seul mot.
Vitesse : Cela permet à l'IA de rejeter les mauvaises requêtes 19,3 fois plus vite qu'auparavant. C'est comme un videur de boîte de nuit qui peut savoir que vous n'êtes pas sur la liste avant même que vous n'atteigniez la porte, ce qui fait gagner du temps à tout le monde.

Est-ce que cela gâche la capacité de l'IA à être utile ?

L'article a testé cela de manière approfondie. Ils ont demandé à l'IA de faire des mathématiques, d'écrire du code et de répondre à des questions générales.

Le verdict : A2D a permis à l'IA de rester intelligente et utile. Elle n'a pas refusé de répondre à des questions normales (comme « Comment tuer un processus python ? » qui semble dangereux mais concerne en réalité la programmation).
Comparaison : Les autres méthodes de sécurité étaient trop sensibles et refusaient de répondre à des questions inoffensives. A2D était précise : elle ne bloquait que les choses malveillantes.

Résumé

L'article présente A2D, une mise à jour de sécurité pour un nouveau type d'IA qui écrit dans n'importe quel ordre.

Ancienne sécurité : Un garde à la porte d'entrée qui se fatigue après quelques minutes.
Sécurité A2D : Un système de sécurité qui pose instantanément un « Stop » n'importe où, n'importe quand, s'il sent un danger.
Résultat : Elle arrête les attaques sournoises qui se glissent par la porte d'entrée, est 19 fois plus rapide pour dire « non », et garde l'IA utile pour tous les autres.

Résumé Technique : A2D – Alignement de Sécurité Any-Order, Any-Step pour les Modèles de Langage par Diffusion

1. Énoncé du Problème

Les modèles de langage par diffusion (dLLM) représentent un changement significatif par rapport aux modèles autorégressifs (AR) en permettant un décodage dans n'importe quel ordre (any-order decoding), où les jetons sont générés de manière itérative à des positions arbitraires plutôt que selon une séquence fixe de gauche à droite. Bien que cette flexibilité soutienne le raisonnement complexe et la synthèse de contenus structurés, elle introduit des vulnérabilités de sécurité uniques qui rendent les méthodes d'alignement conventionnelles inefficaces.

Le problème central identifié est l'alignement superficiel (shallow alignment). Similaires aux modèles AR, les dLLM actuels présentent des signaux de sécurité forts uniquement lors des premières étapes de génération, lesquels se dégradent rapidement à mesure que le décodage progresse. Cette limitation crée une vaste surface d'attaque :

Vulnérabilité de l'ordre quelconque (Any-Order) : Du contenu malveillant peut être injecté à des positions arbitraires durant la trajectoire de décodage, contournant ainsi les refus initiaux.
Vulnérabilité de l'étape quelconque (Any-Step) : Les attaques basées sur des modèles, telles que DIJA (Wen et al., 2025), exploitent cette dégradation en entremêlant du texte malveillant avec des jetons [MASK] dans des prompts partiellement pré-remplis. Ces attaques ciblent le modèle après plusieurs étapes de décodage, lorsque les signaux de sécurité se sont déjà affaiblis, induisant des complétions non sûres que les méthodes d'alignement au niveau de la réponse ne parviennent pas à empêcher.

Les bases de référence existantes, incluant l'entraînement au refus (RT), le réglage fin supervisé (SFT) et l'optimisation de préférence à variance réduite (VRPO), reposent sur une supervision au niveau de la réponse. Par conséquent, elles peinent à maintenir la sécurité sous diverses stratégies de décodage (ex: aléatoire, basée sur la confiance) et échouent face aux attaques qui contournent les jetons initiaux.

2. Méthodologie : A2D (Défense Any-Order, Any-Step)

Les auteurs proposent A2D, une méthode d'alignement au niveau du jeton conçue spécifiquement pour le processus de décodage flexible des dLLM. Contra irement aux approches antérieures qui ne supervisent les refus qu'au niveau de la réponse complète, A2D aligne le modèle pour émettre un jeton spécifique [EOS] (End of Sequence) chaque fois qu'un contenu malveillant est rencontré à n'importe quelle position masquée.

Mécanisme Central

Supervision au niveau du jeton : Pendant l'entraînement, si une portion malveillante est présente dans la séquence cible, le modèle est supervisé pour remplacer les jetons masqués au sein de cette portion par [EOS] plutôt que par le jeton malveillant d'origine.
Objectif d'entraînement : La méthode utilise un objectif de diffusion masqué standard avec une distribution cible modifiée :
- Ensemble Malveillant ( $D_{harm}$ ) : Les jetons masqués dans les réponses malveillantes sont supervisés pour prédire [EOS]. Cela enseigne au modèle à interrompre les continuations malveillantes, quel que soit le contexte partiel.
- Ensemble de Conservation ( $D_{retain}$ ) : Les jetons masqués dans les réponses sûres (ou les complétions sûres de prompts malveillants) sont supervisés pour reconstruire les jetons originaux, préservant ainsi l'utilité générale.
Masquage Aléatoire : Le processus d'entraînement échantillonne un taux de corruption $\lambda$ de manière uniforme, exposant le modèle à des étapes de décodage précoces et tardives. Cela garantit que l'alignement reste robuste sur toute la trajectoire de génération, empêchant le phénomène d'alignement superficiel.
Jeton de Refus : Le jeton [EOS] est choisi car il s'agit déjà d'un marqueur standard de padding et de fin de séquence dans les dLLM, garantissant que le modèle est familier avec son usage sans nécessiter l'introduction de jetons hors distribution (OOD) qui pourraient dégrader les performances.

Surveillance en Temps Réel et Rejet Précoce

A2D fournit intrinsèquement un signal de sécurité en temps réel. Puisque le modèle est entraîné pour assigner une probabilité élevée à [EOS] lorsqu'un contenu malveillant est présent, cette masse de probabilité agit comme un indicateur de sécurité en ligne.

Intervention Dynamique : Le modèle peut commencer une réponse mais s'interrompre automatiquement si des continuations non sûres émergent en cours de génération.
Rejet Précoce : En surveillant la probabilité de [EOS] à la position la plus à gauche du premier jeton masqué, le système peut implémenter un mécanisme de rejet précoce basé sur un seuil. Si la probabilité dépasse un seuil $\tau$ , le modèle s'arrête immédiatement sans générer aucun jeton, réduisant considérablement la latence d'inférence pour les prompts malveillants.

3. Principales Contributions

Identification des vulnérabilités Any-Order/Any-Step : L'article démontre que les dLLM souffrent d'un alignement superficiel qui se dégrade rapidement à travers les étapes de décodage et n'est pas robuste aux ordres de décodage arbitraires, les rendant susceptibles d'attaques comme DIJA.
Cadre d'Alignement au Niveau du Jeton : A2D introduit un nouveau paradigme d'alignement qui passe des refus au niveau de la réponse à la suppression au niveau du jeton via [EOS], permettant une défense robuste à n'importe quelle étape du processus de génération.
Surveillance de Sécurité en Temps Réel : La méthode exploite la probabilité de [EOS] comme un signal de sécurité interne, permettant une intervention dynamique et un rejet précoce des prompts malveillants.
Évaluation Complète : Les auteurs introduisent l'attaque Fill-in-the-Sentence (FITS) pour tester l'alignement sous des conditions extrêmes où une seule phrase masquée est insérée au sein d'une réponse malveillante.

4. Résultats Expérimentaux

Les auteurs ont évalué A2D sur trois dLLM ajustés par instruction : LLaDA-8B-Instruct, LLaDA-1.5, et Dream-v0-Instruct-7B, en le comparant aux bases de référence RT, SFT et VRPO.

Défense contre les Jailbreaks : A2D a systématiquement obtenu le taux de succès d'attaque (ASR) moyen le plus bas sur tous les benchmarks (Zeroshot, PAIR, ReNeLLM, Prefilling, et DIJA).
- Performance DIJA : A2D a réduit les taux de succès de DIJA de plus de 80 % dans les modèles de base à presque zéro : 1,3 % pour LLaDA-8B, 3,5 % pour LLaDA-1.5, et 0,0 % pour Dream.
- Attaque FITS : Sous l'attaque extrême FITS (où une seule phrase est manquante dans une réponse malveillante), A2D a réduit l'ASR à presque 0 % sur tous les modèles, alors que les autres méthodes ont échoué avec des ASR dépassant 60 %.
Robustesse aux Stratégies de Décodage : A2D a maintenu un faible ASR à travers cinq stratégies de décodage (Gauche-à-Droite, Droite-à-Gauche, Confiance, Entropie, Aléatoire), tandis que les modèles de base montraient une forte vulnérabilité à certains ordres.
Préservation de l'Utilité : A2D a évité le sur-refus, atteignant 0 % de faux positifs sur le benchmark XSTest (prompts bénins ressemblant à des prompts non sûrs). Il a maintenu des performances compétitives sur les benchmarks de capacités générales (MMLU, GSM8K, HumanEval), surpassant les autres méthodes d'alignement qui souffraient d'une dégradation significative des capacités.
Gains d'Efficacité : Le mécanisme de rejet précoce a permis une terminaison sûre jusqu'à 19,3× plus rapide sur les prompts malveillants (à $\tau=0,8$ ) tout en maintenant une haute fidélité d'alignement.

5. Signification et Revendications

L'article affirme que A2D établit un nouveau standard pour la sécurité de la génération de texte par diffusion en traitant l'incompatibilité fondamentale entre le décodage flexible des dLLM et la nature rigide, au niveau de la réponse, de l'alignement traditionnel.

Alignement Profond : A2D atteint un "alignement profond", garantissant que les signaux de sécurité persistent tout au long de la trajectoire de génération, et non seulement au début.
Indépendance de l'Ordre : Il fournit une défense robuste quel que soit la stratégie de décodage, une exigence critique pour le déploiement pratique des dLLM.
Déploiement Pratique : En permettant la surveillance en temps réel et le rejet précoce, A2D offre une voie pour déployer les dLLM en toute sécurité dans des applications réelles où la latence et la sécurité sont primordiales.

Les auteurs concluent que cette approche comble le fossé entre la flexibilité générative des dLLM et les contraintes de sécurité requises pour un usage réel, ouvrant la voie à des systèmes de langage par diffusion fiables.