🤖 machine learning

Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams

Cette étude démontre que l'intention nuisible est une caractéristique géométriquement récupérable dans les flux résiduels des grands modèles de langage sous forme de direction linéaire ou de déviation angulaire, persistant même après l'ablation des mécanismes de refus et suggérant que l'alignement façonne la réponse sans réorganiser la reconnaissance de l'intention.

Auteurs originaux : Isaac Llorente-Saguer

Publié 2026-04-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Isaac Llorente-Saguer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que les grands modèles de langage (comme ceux qui écrivent des histoires ou répondent à vos questions) sont comme de gigantesques usines de pensée. À l'intérieur de ces usines, l'information circule sous forme d'électricité dans des câbles invisibles appelés "flux résiduels".

Ce papier de recherche, écrit par Isaac Llorente-Saguer, a découvert quelque chose de fascinant : l'intention de faire du mal (comme demander à l'IA de fabriquer une bombe ou de voler des données) laisse une trace géométrique très précise dans ces câbles, un peu comme une empreinte digitale ou une odeur spécifique.

Voici l'explication simple, avec quelques analogies pour mieux visualiser :

1. La "Boussole du Danger"

Les chercheurs ont découvert que l'intention malveillante n'est pas cachée au hasard. Elle suit une direction linéaire précise dans l'espace de pensée du modèle.

L'analogie : Imaginez que l'IA a une boussole interne. Pour une question normale (ex: "Comment faire un gâteau ?"), l'aiguille pointe vers le Nord. Pour une question dangereuse (ex: "Comment faire une bombe ?"), l'aiguille pointe vers le Sud.
La découverte : Les chercheurs ont pu créer une petite "boussole" mathématique (un vecteur) capable de repérer cette direction. Même si le modèle est entraîné à refuser de répondre, cette boussole continue de pointer vers le danger.

2. Le Mythe du "Refus"

Jusqu'à présent, on pensait que pour détecter le danger, il fallait regarder si le modèle disait "Non".

L'analogie : C'est comme essayer de savoir si quelqu'un est en colère en regardant s'il crie. Si la personne est très calme mais intérieurement furieuse, vous ne le savez pas.
La réalité : Les chercheurs ont pris des modèles dont on a "chirurgicalement" retiré la capacité de dire "Non" (les modèles abliterated). Résultat ? La boussole du danger fonctionne toujours aussi bien !
Conclusion : Reconnaître le danger et décider de refuser sont deux choses différentes. Le modèle sait que c'est dangereux, même s'il a été programmé pour ne pas le dire.

3. La Différence entre "Classement" et "Détection Réelle"

Le papier fait une distinction cruciale entre deux façons de mesurer la performance, ce qui est souvent un piège dans le monde de l'IA.

L'analogie du tri de fruits :
- L'AUC (le classement) : C'est comme dire "J'ai réussi à mettre les pommes pourries après les bonnes pommes dans ma liste". C'est bien, mais si vous devez trier 1000 pommes par seconde, vous ne pouvez pas vous permettre d'en rater une seule.
- Le TPR (la détection réelle) : C'est la capacité à attraper vraiment la pomme pourrie sans jeter une pomme saine par erreur.
Le problème : Beaucoup de méthodes disent "Nous sommes excellents (98% de réussite)" en se basant sur le classement. Mais en réalité, si on essaie de les utiliser pour bloquer les dangers sans bloquer les utilisateurs normaux, elles échouent souvent. Les chercheurs disent : "Ne nous contentons pas de dire que nous sommes bons sur le papier, prouvez que ça marche dans la vraie vie."

4. Deux Façons de Voir le Danger

Les chercheurs ont testé six méthodes pour trouver cette "boussole".

La méthode classique (Projection) : C'est comme regarder si l'aiguille de la boussole pointe exactement vers le Sud. Ça marche très bien (98% de réussite).
La méthode angulaire (La découverte surprise) : Dans certaines couches profondes du modèle (surtout chez Qwen2.5), la boussole classique s'emballe et ne pointe plus bien. Mais la méthode "angulaire" (qui regarde l'écart d'angle plutôt que la direction exacte) continue de fonctionner !
L'analogie : Imaginez que dans une pièce sombre, une lampe torche (méthode classique) s'éteint. Mais si vous utilisez un radar (méthode angulaire), vous voyez toujours l'objet. Cela prouve que le danger est codé de plusieurs façons géométriques différentes selon l'endroit où on regarde dans le cerveau de l'IA.

5. Ça marche partout et à toutes les tailles

Les chercheurs ont testé cela sur 12 modèles différents (de différentes familles comme Qwen, Llama, Gemma) et de différentes tailles (du petit au grand).

Le résultat : Que le modèle soit petit (0,8 milliard de paramètres) ou grand (9 milliards), la "boussole du danger" existe toujours. Plus le modèle est grand, plus cette boussole est stable et difficile à cacher.

En résumé

Ce papier nous dit trois choses importantes :

Le danger est visible : L'IA "sait" quand on lui demande quelque chose de mal, et cette connaissance est facile à lire mathématiquement, même si elle refuse de parler.
On peut le détecter facilement : Il faut très peu d'exemples (environ 100 questions dangereuses et 100 normales) pour entraîner un détecteur ultra-rapide et peu coûteux.
Attention aux fausses promesses : Ne vous fiez pas uniquement aux scores de classement (AUC). Il faut vérifier si le détecteur fonctionne vraiment sans bloquer les gens innocents (TPR).

C'est une avancée majeure pour la sécurité : au lieu de devoir deviner si une réponse sera mauvaise, on peut maintenant "sentir" l'intention dangereuse dès qu'elle entre dans le cerveau de la machine, comme un détecteur de fumée qui s'active avant même que le feu ne prenne.

Titre : L'intention nuisible en tant que caractéristique géométriquement récupérable des flux résiduels des LLM

Auteur : Isaac Llorente-Saguer (Chercheur indépendant)
Date : 22 avril 2026

1. Problématique et Contexte

Les modèles de langage (LLM) basés sur l'architecture Transformer encodent les propriétés sémantiques du texte dans leurs flux résiduels (residual streams) sous forme de directions approximativement linéaires. Une question centrale en sécurité des IA est de savoir si l'intention nuisible (harmful intent) dans une requête utilisateur peut être détectée de manière fiable et efficace en examinant ces activations internes, avant même que la génération de la réponse ne commence.

Les travaux précédents ont identifié des directions de "refus" (refusal directions) dans les modèles alignés, suggérant que l'alignement modifie le comportement de sortie. Cependant, il restait trois questions ouvertes :

La direction de détection du danger se généralise-t-elle à travers différentes architectures et variantes d'alignement (y compris les modèles "abliterated" où le refus a été chirurgicalement supprimé) ?
Quelle est la relation géométrique entre la direction du danger et la variance dominante des activations de prompts bénins ?
La détection basée sur les activations est-elle fiable dans des conditions de déploiement réelles, où le taux de faux positifs doit être extrêmement faible (contrairement aux métriques de classement comme l'AUC) ?

2. Méthodologie

L'étude évalue six stratégies de détection de direction sur 12 modèles couvrant quatre familles architecturales (Qwen2.5, Qwen3.5, Llama-3.2, Gemma-3) et trois variantes d'alignement (base, instruction-tuned, et abliterated).

Données et Protocole :

Ensembles de données : Utilisation d'AdvBench pour l'ajustement (fitting), et de HarmBench, JailbreakBench et XSTest pour l'évaluation hors distribution (OOD).
Extraction des activations : Les activations du flux résiduel sont extraites via des hooks, résumées par un max-pooling élément par élément sur la dimension des tokens, et mises en cache.
Stratégies de détection :
1. PC1 (Zero-shot) : La première composante principale des prompts bénins.
2. $\theta$ -normative (Zero-shot) : Déviation angulaire par rapport au centroïde des prompts bénins.
3. Différence de moyennes ( $w_{LDA}$ ) : Vecteur de différence entre les moyennes des classes nuisibles et bénines (équivalent à la Discrimination Linéaire de Fisher).
4. Optimisation Soft-AUC ( $w_{opt}$ ) : Direction optimisée pour maximiser une approximation différentiable de l'AUC (statistique U de Mann-Whitney).
5. $\theta$ deux-classes : Optimisation de la déviation angulaire (sans signe).
6. Baselines : Vecteur aléatoire et Perplexité.

Métriques d'évaluation :
L'article met l'accent sur deux métriques :

AUROC (Area Under the ROC Curve) : Mesure la capacité de classement globale.
TPR@1%FPR (True Positive Rate à 1% de Faux Positifs) : Mesure l'efficacité opérationnelle à un seuil de sécurité strict, crucial pour le déploiement réel.

3. Contributions Clés

Évaluation transversale : Preuve que la détection de l'intention nuisible est stable à travers 12 modèles, 4 familles d'architectures et 3 variantes d'alignement, y compris les modèles abliterated.
Caractérisation géométrique : Démonstration que la direction du danger est presque orthogonale à la première composante principale des prompts bénins (82° en moyenne) et découverte d'une deuxième mode géométrique (déviation angulaire) qui fonctionne là où les méthodes de projection échouent.
Dissociation fonctionnelle : Preuve empirique que l'intention nuisible et le comportement de refus sont des représentations fonctionnellement dissociées. Supprimer le mécanisme de refus ne supprime pas la représentation de l'intention nuisible.
Évaluation opérationnelle : Mise en évidence du décalage entre l'AUC élevé (>0.97) et la performance opérationnelle réelle (TPR), plaidant pour l'inclusion systématique de métriques à faible taux de faux positifs.

4. Résultats Principaux

Performance de Détection

Stratégies supervisées : La direction optimisée par Soft-AUC ( $w_{opt}$ ) atteint un AUROC moyen de 0,982 et un TPR@1%FPR de 0,797. La méthode simple de différence de moyennes ( $w_{LDA}$ ) atteint un AUROC de 0,975 et un TPR de 0,706, avec un coût d'ajustement inférieur à 1 ms.
Stratégie angulaire : La stratégie de déviation angulaire ( $\theta$ two-class) atteint un AUROC de 0,962 et un TPR de 0,607. Elle est cruciale car elle détecte le danger dans les couches intermédiaires des modèles Qwen2.5 où les méthodes de projection ( $w_{LDA}$ , $w_{opt}$ ) s'effondrent (baisse de l'AUC à <0,80).
Baselines : Les méthodes zero-shot (PC1, $\theta$ -normative) et la perplexité échouent (TPR < 0,05), confirmant que la détection nécessite un ajustement supervisé.

Généralisation et Transfert

Transfert entre variantes : Une direction ajustée sur un modèle "base" transfère efficacement aux versions "instruction-tuned" et "abliterated" (dégradation AUROC < 0,01 pour Qwen et Llama).
Cas Gemma-3 : Dans Gemma-3, l'alignement fait pivoter la représentation de 73°, mais la détection reste possible (l'intention est toujours linéairement récupérable, juste dans une direction différente).
Échelle (Scale) : Sur la famille Qwen3.5 (de 0,8B à 9B paramètres), l'AUC reste $\ge$ 0,98. Le transfert croisé s'améliore avec la taille du modèle, le variant 9B montrant le transfert le plus propre.

Dissociation Intention/Refus

Les modèles abliterated (où la direction de refus a été supprimée) détectent l'intention nuisible aussi bien que les modèles alignés. Cela prouve que l'alignement modifie ce que le modèle fait avec une entrée nuisible, mais ne réorganise pas le signal de reconnaissance en amont. L'intention nuisible est une caractéristique acquise lors de la compréhension du langage général.

Métriques Opérationnelles

L'étude révèle une forte dissociation entre l'AUC et le TPR. Par exemple, la méthode PC1 a un AUC de 0,66 (meilleur que le hasard) mais un TPR de <0,05 (inutile en pratique). À l'inverse, $w_{opt}$ offre un TPR nettement supérieur à $w_{LDA}$ malgré une différence d'AUC minime (0,007), soulignant que l'AUC seul surestime la détectabilité opérationnelle.

5. Signification et Implications

Sécurité Déployable : Il est possible de construire un détecteur de prompts nuisibles très léger (un simple vecteur de projection), rapide (<1 ms), et interprétable, qui fonctionne sur des modèles de différentes tailles et architectures.
Robustesse aux Contournements : Le fait que la détection survive à l'abliteration suggère que les techniques de suppression de refus ne masquent pas la présence de l'intention nuisible dans les représentations internes.
Nouvelle Méthodologie : L'article démontre que la détection par déviation angulaire est un mode complémentaire à la projection linéaire, particulièrement utile dans les couches profondes de certaines architectures.
Recommandation pour l'industrie : Les évaluations de sécurité doivent impérativement inclure des métriques à faible taux de faux positifs (comme TPR@1%FPR) en plus de l'AUC, car un AUC élevé peut masquer une incapacité à opérer dans des conditions réelles.

Conclusion : L'intention nuisible est une caractéristique géométrique stable et récupérable dans les flux résiduels des LLM. Elle est acquise comme sous-produit de la compréhension du langage et persiste indépendamment des mécanismes de refus ou de l'alignement, offrant une voie prometteuse pour la surveillance pré-génération des modèles.