💬 NLP

How Language Models Process Out-of-Distribution Inputs: A Two-Pathway Framework

Ce papier révèle que les méthodes existantes de détection hors distribution (OOD) en boîte blanche pour les modèles de langage sont structurellement confondues par la longueur de séquence, et propose un cadre à deux voies qui distingue les signaux basés sur les plongements pour les décalages de vocabulaire et les caractéristiques de trajectoire d'état caché pour détecter les entrées à intention cachée telles que les jailbreaks.

Auteurs originaux : Hamidreza Saghir

Publié 2026-05-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hamidreza Saghir

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes agent de sécurité dans un musée. Votre travail consiste à repérer les faux tableaux (entrées « hors distribution » ou « OOD ») parmi les vrais. Récemment, d'autres agents ont commencé à utiliser un nouvel outil : ils mesurent à quel point le tableau « tremble » ou à quel point les coups de pinceau sont chaotiques (cela équivaut à mesurer l'entropie de l'attention en IA). Ils affirment que cet outil est formidable pour repérer les faux.

Cependant, cet article soutient que ces agents sont en réalité trompés. Ils ne repèrent pas les faux ; ils comptent simplement le nombre de coups de pinceau sur la toile.

Voici la décomposition des conclusions de l'article à l'aide d'analogies simples :

1. Le piège de la « longue toile » (la confusion liée à la longueur)

L'article a découvert que de nombreux outils de sécurité IA populaires mesurent secrètement la longueur du texte.

L'analogie : Imaginez que l'outil de l'agent de sécurité soit une règle. Il prétend mesurer le « chaos », mais il mesure en réalité la « longueur ».
Le problème : Dans les tests, les « faux » tableaux (contournements de sécurité ou spam) étaient souvent beaucoup plus longs que les « vrais ». L'outil voyait les tableaux longs, paniquait et disait : « C'est un faux ! » simplement parce qu'ils étaient longs.
La preuve : Lorsque les chercheurs ont forcé les tableaux vrais et faux à avoir exactement la même longueur, l'outil a cessé de fonctionner. Il est tombé à un niveau de devinette aléatoire (comme lancer une pièce). L'article montre que des outils comme CED, RAUQ, et même certains scores de confiance de systèmes déployés sont structurellement brisés car ils reposent sur des mécanismes d'attention qui croissent naturellement avec la longueur du texte.

2. Le cadre à deux voies : « Quoi » contre « Comment »

Une fois que les chercheurs ont éliminé l'« astuce de la longueur », ils se sont demandé : Comment pouvons-nous réellement déterminer si l'entrée est étrange ? Ils proposent un système en deux parties, comme un détective examinant une scène de crime de deux manières différentes :

Voie A : Le « Quoi » (Représentations vectorielles)

L'analogie : C'est comme examiner les ingrédients d'une soupe.
Fonctionnement : Il vérifie le vocabulaire. Si la soupe contient des mots « toxiques » ou des mots-clés « spam », cette voie la signale.
Quand cela fonctionne : C'est excellent pour repérer les faux évidents, comme une soupe où le mot « poison » est soudainement écrit sur l'étiquette.
Quand cela échoue : Cela échoue si la soupe fake utilise exactement les mêmes ingrédients que la vraie soupe, mais est mélangée d'une manière étrange. Par exemple, un prompt de « contournement de sécurité » utilise souvent des mots normaux mais les arrange pour tromper l'IA. Le « vérificateur d'ingrédients » voit des mots normaux et dit : « Tout est clair », manquant ainsi l'astuce.

Voie B : Le « Comment » (Trajectoire de traitement)

L'analogie : C'est comme regarder le chef cuisiner la soupe.
Fonctionnement : Au lieu de simplement regarder le bol final, cette voie observe les mouvements des mains du chef à chaque étape du processus de cuisson (couche par couche). Elle se demande : « Le chef coupe-t-il avec fluidité ? Jette-t-il soudainement des ingrédients dans un état de panique ? Le pot tremble-t-il avec un rythme étrange ? »
Pourquoi cela fonctionne : Même si les ingrédients (mots) semblent normaux, un prompt de « contournement de sécurité » force le chef IA à cuisiner selon un rythme étrange et non naturel. La voie « Comment » détecte ce style de cuisson étrange.
Le résultat : Cette voie a réussi à repérer les faux « contournements de sécurité » astucieux que la voie « ingrédients » avait manqués, obtenant un score de précision bien supérieur (0,850 contre un niveau proche du hasard pour les anciennes méthodes).

3. La découverte de la « croisement »

L'article a constaté qu'aucune méthode n'est parfaite pour tout. C'est comme avoir deux types différents de détecteurs de métaux :

Détecteur 1 (Ingrédients/Représentations vectorielles) : Excellent pour trouver une pièce d'or cachée dans un tas de sable (changements de vocabulaire évidents).
Détecteur 2 (Style de cuisson/Trajectoire) : Excellent pour trouver une pièce en plastique peinte pour ressembler à de l'or (astuces structurelles subtiles).
L'insight : Vous avez besoin des deux. Lorsque le « faux » est simplement un sujet différent, le Détecteur 1 gagne. Lorsque le « faux » est une astuce intelligente utilisant des mots normaux, le Détecteur 2 gagne.

4. Le « Pourquoi » (Preuve mécaniste)

Les chercheurs n'ont pas seulement deviné ; ils ont regardé à l'intérieur du cerveau de l'IA (les circuits) pour voir ce qui se passait.

La découverte : Lorsque l'IA rencontre un « contournement de sécurité » (une astuce structurelle), elle se confond d'une manière spécifique : ses circuits d'« attention » (concentration) s'embrouillent, brouillant sa focalisation.
Le contraste : Lorsque l'IA rencontre un « discours haineux » (un changement de vocabulaire), ce sont les parties « mémoire » (MLP) du cerveau qui s'allument car elle reconnaît les mauvais mots.
La conclusion : Différents types de « faux » cassent l'IA de manières différentes. Les anciens outils ne regardaient que la partie « concentration » et se confondaient à cause de la longueur. Le nouvel outil « Trajectoire » observe tout le processus de cuisson, il voit donc la rupture où qu'elle se produise.

Résumé

L'article affirme que de nombreux outils de sécurité IA actuels sont brisés car ils sont trompés par la longueur du texte. Pour corriger cela, nous devons cesser de regarder uniquement ce que dit le texte et commencer à observer comment l'IA le traite. En observant le « processus de pensée » de l'IA étape par étape (la trajectoire), nous pouvons attraper des astuces intelligentes qui semblent normales en surface mais qui paraissent étranges à la machinerie interne de l'IA.

1. Énoncé du problème

Le papier aborde une faille critique dans les récentes méthodes de détection hors distribution (OOD) en boîte blanche pour les grands modèles de langage (LLM). Des méthodes telles que les scores de confiance CED, RAUQ et WildGuard, qui reposent sur des mécanismes d'attention et des distances d'embedding, ont rapporté de fortes performances sur des benchmarks de sécurité. Cependant, l'auteur démontre que ces résultats sont structurellement confondus par la longueur de la séquence d'entrée ( $|r| \ge 0.61$ ).

Le biais de confusion : Les métriques basées sur l'attention (par exemple, l'entropie d'attention, CED, RAUQ) opèrent sur un simplexe dont la taille croît avec la longueur de l'entrée $T$ . Par conséquent, ces métriques héritent d'une dépendance structurelle de $\Theta(\log T)$ .
La conséquence : Lorsqu'elles sont évaluées dans des conditions appariées par longueur (où les échantillons in-distribution et OOD ont un nombre de tokens identique), ces méthodes s'effondrent vers une performance proche du hasard (AUROC $\approx 0.50$ ). Le papier soutient que les succès antérieurs détectaient probablement des différences de longueur plutôt que de véritables signaux OOD.

2. Méthodologie : Le cadre à deux voies

Pour identifier de véritables signaux OOD après déconfusion, l'auteur propose un cadre à deux voies organisé selon un spectre de transparence du vocabulaire. Ce cadre distingue ce dont le texte traite et comment le modèle le traite.

Voie A : La voie des embeddings ( $X \to Z$ )

Mécanisme : Utilise des représentations statiques (embeddings) pour capturer le contenu sémantique du texte.
Points forts : Efficace pour les OOD distinctifs par le vocabulaire (par exemple, Spam, discours haineux) où le texte OOD utilise des mots rarement rencontrés dans la distribution d'entraînement.
Limites : Échoue sur les OOD à intention cachée (par exemple, les jailbreaks) où le vocabulaire est identique à celui du texte normal, mais où la structure ou l'intention est adversaire. Le papier montre que les modèles d'embedding de phrases autonomes (MiniLM, BGE, etc.) échouent complètement sur ces tâches, quelle que soit la capacité du modèle.

Voie B : La voie de la trajectoire de traitement ( $\{h_l\}_{l=0}^L$ )

Mécanisme : Analyse la séquence des états cachés à travers les couches pour capturer la dynamique du traitement.
Caractéristiques : L'auteur extrait 9 caractéristiques réparties en quatre catégories :
1. Dynamique des états cachés : Similarité cosinus entre les couches consécutives (régularité de la transition).
2. Géométrie de la représentation : Changements dans la dispersion/variabilité des représentations de tokens à travers les couches.
3. Décomposition des composants : L'équilibre entre les contributions de l'Attention et du MLP à chaque couche.
4. Sondes spécifiques aux couches : Signaux de perturbation des premières couches.
Garantie théorique : Contrairement aux poids d'attention, les états cachés $h_l \in \mathbb{R}^d$ ont une dimensionnalité fixe $d$ indépendamment de la longueur de la séquence $T. Par conséquent, les caractéristiques de trajectoire (spécifiquement les catégories A et G) sont structurellement indépendantes de la longueur.

3. Contributions clés

Identification du biais de longueur : Le papier prouve formellement et valide empiriquement que les scores OOD dérivés de l'attention dépendent structurellement de la longueur de la séquence. Sous une évaluation appariée par longueur, ils s'effondrent vers des niveaux de hasard.
Le cadre à deux voies : Propose une théorie unifiée expliquant pourquoi différents types d'OOD nécessitent des stratégies de détection distinctes :
- Les OOD distinctifs par le vocabulaire sont mieux détectés par les voies d'embedding.
- Les OOD structurellement adversaires (par exemple, les jailbreaks) sont mieux détectés par les voies de trajectoire de traitement.
Indépendance formelle de la longueur : Fournit des preuves mathématiques (Propositions A.2, A.4) montrant que les caractéristiques de trajectoire basées sur les états cachés évitent la dépendance $\Theta(\log T)$ inhérente aux statistiques d'attention.
Preuves mécanistiques : Utilise le patching causal d'activation et l'analyse de circuits pour montrer que les tâches adversaires (jailbreaks) engagent les circuits d'attention de manière significativement plus importante que les tâches sémantiques, tandis que les tâches de décalage de contenu engagent les circuits MLP.

4. Résultats expérimentaux

Le cadre a été évalué sur Qwen3-0.6B (principal) et validé sur 6 modèles (360M–7B) et 6 tâches (ToxicChat, Jailbreak, discours haineux, Spam, AGNews, Classification de jailbreak).

Performance sous contrôle de longueur :
- Méthodes basées sur l'attention (CED, RAUQ, Entropie) : S'effondrent à un AUROC de 0,491 – 0,527 (proche du hasard).
- Caractéristiques de trajectoire (Maha-Traj) : Maintiennent un signal fort avec un AUROC moyen de 0,721.
  - Jailbreak : 0,850
  - Spam : 0,848
  - Discours haineux : 0,605
  - ToxicChat : 0,580
L'effet de croisement :
- k-NN (Signal de contenu/embedding) : Surpasse les caractéristiques de trajectoire sur les tâches différenciables par le contenu (Spam, ToxicChat, AGNews).
- Trajectoire (Signal de traitement) : Surpasse le k-NN sur les tâches structurellement adversaires (Jailbreak, Classification de jailbreak).
- Fusion : Une fusion à poids fixe des deux voies atteint un AUROC moyen de 0,730, démontrant la complémentarité.
Résultats mécanistiques :
- Jailbreaks : Ont montré une dominance de l'attention (p < 0,001). Le patching causal a révélé des circuits épars où des têtes d'attention spécifiques déplacent leur attention de "vous/votre" vers des tokens directifs/métalinguistiques ("ignore", "prompt").
- Discours haineux : Ont montré une dominance du MLP (p = 0,002), reposant sur une activation neuronale distribuée plutôt que sur des têtes d'attention spécifiques.
- Construction du signal : L'analyse de la Couche 0 par rapport à la dernière couche a montré que pour les jailbreaks, le signal d'embedding à la Couche 0 est proche du hasard (0,389), mais le traitement construit un signal fort (0,684) d'ici la dernière couche.

5. Signification et implications

Réévaluation des benchmarks de sécurité : Le papier suggère que de nombreux résultats publiés de détection de sécurité basés sur des scores d'attention sont probablement de faux positifs entraînés par des différences de longueur de séquence entre les prompts bénins et adversaires.
Nouvelle norme d'évaluation : Les auteurs préconisent une évaluation appariée par longueur comme contrôle obligatoire pour toute méthode de détection OOD.
Insight architectural : Ce travail fournit une compréhension mécanistique de la façon dont les LLM traitent différents types d'anomalies. Il suggère que détecter les "jailbreaks" nécessite de surveiller le processus (dynamique de trajectoire/attention), tandis que détecter le "spam" ou les discours haineux peut reposer sur le contenu (embeddings).
Application pratique : La méthode proposée basée sur la trajectoire (Maha-Traj) offre une alternative robuste, non supervisée et invariante à la longueur pour détecter les entrées adverses sans nécessiter de réentraînement ni de classifieurs externes.

En résumé, ce papier modifie fondamentalement le paradigme de la détection OOD dans les LLM en exposant un biais de longueur omniprésent dans les méthodes basées sur l'attention et en introduisant un cadre théorique à deux voies qui dissocie avec succès les anomalies basées sur le contenu des attaques adverses structurelles.