💬 NLP

Fidelity Is Not Safety: Gently-Compressed LLMs Pass Every Data-Free Quality Guard Yet Invent Procedure Steps in Agentic Execution

Cet article révèle que les grands modèles de langage légèrement compressés peuvent franchir tous les garde-fous standards de qualité et de fidélité sans données, tout en hallucinant des étapes procédurales lors de l'exécution agentique, un mode de défaillance spécifique piloté par la cohérence des erreurs de compression plutôt que par leur magnitude, ce qui nécessite une nouvelle métrique de filtrage à deux axes pour les détecter.

Auteurs originaux : I. Kennedy, T. Kennedy

Publié 2026-07-31

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : I. Kennedy, T. Kennedy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef essayant de réduire la taille d'un livre de recettes massif et complexe pour qu'il puisse tenir dans un petit carnet de poche. Vous voulez que le livre soit assez petit pour être transporté partout, mais vous devez toujours pouvoir cuisiner exactement les mêmes plats délicieux. Dans le monde de l'intelligence artificielle, ce « rétrécissement » est appelé compression. Les grands modèles de langage (les cerveaux IA super intelligents qui écrivent du code, racontent des histoires et discutent avec nous) sont énormes, donc les ingénieurs utilisent des astuces comme la quantification (simplifier les nombres à l'intérieur), l'élagage ou pruning (supprimer les connexions inutilisées) et la factorisation de bas rang (trouver un squelette mathématique plus simple) pour les rendre plus petits et plus rapides.

Mais comment savoir si le livre réduit fonctionne toujours ? Vous ne pouvez pas goûter chaque plat qu'il cuisine. Au lieu de cela, vous utilisez des « gardiens de qualité ». Vous vérifiez si l'IA comprend toujours la grammaire de base (la perplexité), si elle peut répondre correctement à des questions de culture générale (comme MMLU) et si ses « pensées » internes ressemblent toujours au cerveau géant original lorsqu'on la sollicite avec des questions aléatoires. Ces vérifications sont rapides et ne nécessitent pas de nouvelles données. La grande question est la suivante : ces gardiens sont-ils suffisants pour prouver que l'IA est sûre d'être envoyée dans le monde réel pour accomplir des tâches ? Ce document explore une possibilité effrayante : et si l'IA réussissait tous les tests, mais commençait à inventer des règles lorsqu'elle essaie de suivre une procédure ?

Le grand casse du « vol d'invention »

Les auteurs de cet article ont découvert un angle mort caché dans notre façon de tester l'IA compressée. Ils ont découvert qu'un modèle d'IA peut réussir tous les tests de sécurité standards, paraître parfait sur le papier, et qu'ensuite, lorsqu'on lui demande d'agir comme un agent (un travailleur numérique suivant un ensemble strict d'instructions), il commence à inventer des étapes qui n'étaient jamais présentes dans les instructions.

Pensez à un étudiant qui réussit un examen de mathématiques avec brio mais qui, lorsqu'on lui demande de suivre une recette pour faire un gâteau, décide d'ajouter « une pincée de paillettes » parce qu'il trouve cela cool. L'étudiant n'a pas échoué à son examen de maths ; il a simplement échoué à la tâche spécifique de suivre les ordres exactement.

Les chercheurs ont testé cela sur trois familles différentes de modèles d'IA (Mistral, Qwen et Llama). Ils ont pris des modèles qui avaient été « doucement compressés » en utilisant une méthode appelée SVD (un type de factorisation de bas rang). Ces modèles étaient si bien compressés qu'ils ont réussi le « garde de perplexité » (leur niveau de confusion n'était que de 1,069 à 1,17 fois plus élevé que l'original, ce qui est largement dans la limite sûre de 1,15) et le « garde de fidélité » (leurs pensées internes correspondaient à l'original).

Mais lorsqu'ils ont demandé à ces modèles d'agir comme des agents et de suivre une procédure opérationnelle standard (SOP) — comme une liste de contrôle pour réparer un serveur ou traiter une commande — les modèles ont commencé à confabuler. Ils ont ajouté des étapes supplémentaires qui n'existaient pas.

Sur le modèle Mistral-7B, la version compressée a inventé en moyenne +1,729 étape supplémentaire par requête.
Sur le modèle Qwen3-8B, elle a inventé +0,208 étape supplémentaire.
Sur le modèle Llama-3.1-8B, la version « doucement compressée » est restée au niveau du bruit de fond (inventant seulement +0,056 étape), ce qui signifie que le test était non diagnostique pour cette version spécifique. Le spectre interne du modèle ne possédait tout simplement pas assez de « réserve de bas rang » pour déclencher l'effet d'invention tout en restant dans la limite de sécurité. L'échec n'est apparu que lorsque le modèle Llama a été compressé de manière plus agressive, sortant ainsi du garde de sécurité standard.

La partie effrayante ? Les modèles qui ont fait cela étaient ceux qui avaient réussi le test de « fidélité ». Le test disait : « Hé, votre cerveau ressemble exactement à l'original ! » Mais la réalité était : « En fait, votre cerveau est maintenant en train d'halluciner de nouvelles règles. »

Le coupable : La cohérence, pas les dégâts

Pourquoi cela s'est-il produit ? Les auteurs ont découvert que ce n'était pas une question de combien le modèle était endommagé (l'« amplitude » de l'erreur). Ils ont comparé la compression « SVD » à l'élagage de magnitude (couper les plus petits nombres).

Lorsqu'ils ont fait correspondre les deux méthodes de sorte qu'elles causent exactement la même quantité de confusion (perplexité), les résultats étaient radicalement différents :

Le modèle SVD (qui crée une erreur « cohérente », comme une distorsion lisse et structurée) a échoué au test, inventant des étapes.
Le modèle d'Élagage (qui crée une erreur « désordonnée », comme un bruit statique aléatoire) a réussi le test, n'inventant presque rien (environ -0,146 étape, ce qui est pratiquement zéro).

Les auteurs ont réalisé que le problème n'est pas la taille de l'erreur, mais sa forme. Ils appellent cela le mécanisme « Cohérence × Taux ».

Cohérence : L'erreur est structurée et lisse (comme un SVD de bas rang).
Taux : Quelle proportion du modèle est affectée.

Si vous avez une erreur lisse et structurée qui est juste assez grande pour passer sous le radar des tests standards, l'IA commence à « halluciner » de nouvelles étapes de procédure. C'est comme si la distorsion lisse trompait l'IA en lui faisant croire qu'elle connaît un raccourci qui n'existe pas. Le « dommage » (la perplexité) ne l'a pas prédit ; c'est la « fluidité » du dommage qui l'a fait.

Le « Canari » et le nouveau détecteur

Pour prouver cela, les chercheurs ont construit un test spécial qu'ils appellent un « canari ». C'est comme un canari dans une mine de charbon. Ils ont donné à l'IA une fausse SOP de 10 étapes avec une 11ème étape conditionnelle, puis lui ont demandé de lister les étapes. Si l'IA listait une étape qui n'était pas dans les instructions, elle échouait.

Ils ont découvert que les mêmes poids d'IA qui avaient gagné le test de « fidélité » standard (prouvant qu'ils ressemblaient à l'original) avaient perdu le test du « canari » (prouvant qu'ils inventaient des étapes). C'est une « dissociation » : les tests standards sont aveugles à ce type spécifique d'échec.

Mais les auteurs ne se sont pas contentés de trouver le problème ; ils ont construit un détecteur sans données pour le détecter avant le déploiement. Ils ont réalisé qu'ils pouvaient mesurer deux choses sans avoir besoin de nouvelles données :

Fraction Cohérente : Quelle part de l'erreur est « lisse » et structurée ?
Taux d'Erreur : Quelle est l'ampleur totale de l'erreur ?

Ils ont créé une simple « porte » (une vérification de passage/échec) :

Si Fraction Cohérente > 0,007 ET Taux d'Erreur > 0,01, alors l'IA ÉCHOUE.
Si elle ne remplit pas les deux conditions, elle RÉUSSIT.

Cette porte a correctement identifié tous les modèles défaillants dans leurs tests. Par exemple, le modèle Mistral qui inventait des étapes avait une fraction cohérente de 0,0080 et un taux d'erreur de 0,0159, déclenchant l'alarme. Le modèle d'élagage qui était sûr avait une fraction cohérente de 0,0054, passant sous le radar du contrôle de « cohérence » et réussissant le test.

La conclusion

L'article conclut que la perplexité, le MMLU et les vérifications de fidélité sans données ne suffisent pas à certifier qu'une IA est sûre pour un travail d'agent. Ce n'est pas parce qu'une IA réussit les « examens scolaires » standards qu'elle n'inventera pas de règles lorsqu'elle sera sur le terrain.

Les auteurs suggèrent qu'avant de déployer une IA compressée pour agir comme un agent (accomplir des tâches, suivre des procédures), nous devons effectuer ce nouveau « écran de cohérence ». Si un modèle est « doucement compressé » à l'aide de méthodes de bas rang (SVD) et qu'il déclenche cette nouvelle porte, il est probable qu'il invente des étapes et échoue à suivre les instructions, même s'il semble parfait lors de tous les autres tests.

En résumé : Ne faites pas confiance à l'IA simplement parce qu'elle a réussi le test. Vérifiez si elle est « lissée » de manière défectueuse, car c'est là qu'elle commence à inventer des choses.

Résumé technique : La fidélité n'est pas la sécurité

Énoncé du problème

Les praticiens déploient actuellement des modèles de langage compressés (LLM) basés sur une « pile » standardisée de gardes de qualité peu coûteuses en données. Ces gardes incluent généralement :

La perplexité : Doit rester dans un facteur étroit (ex. $\le 1,15\times$ ) par rapport au modèle original.
La précision en aval : Des métriques comme MMLU doivent rester dans un intervalle de confiance par rapport à la référence.
La fidélité sans données : Signaux de représentation interne (ex. CKA ou similitude cosinus des activations sous des entrées de sondage aléatoires) comparant les réseaux compressés et originaux.

Le papier identifie un angle mort critique dans ces critères d'acceptation. Des modèles qui passent tous ces tests peuvent néanmoins présenter un échec comportemental agentique spécifique : lorsqu'ils sont chargés d'exécuter une procédure opérationnelle normalisée (SOP), ils « inventent » des étapes procédurales qui n'étaient jamais présentes dans les instructions. Cette « hallucination de procédure » pose un risque de sécurité pour le déploiement agentique, et reste pourtant indétectée par les métriques actuelles de fidélité et de précision.

Méthodologie

Configuration expérimentale : Le « Canari d'étape inventée »

Pour détecter ce mode de défaillance, les auteurs ont construit un benchmark d'évaluation synthétique (le « canari ») :

Tâche : Les modèles reçoivent une SOP cible (10 étapes ordonnées + 1 étape conditionnelle) et une SOP de distraction. Ils doivent énumérer les étapes exactes sous des conditions système spécifiques.
Métrique : L'axe décisif est l'invention de procédure croisée ( $invented\_x$ ), définie comme le nombre de chaînes de caractères d'étapes tirées du vocabulaire global de la SOP qui apparaissent dans la sortie mais n'appartiennent ni à la SOP cible, ni à la logique conditionnelle.
Échelle : Pré-enregistrée sur 24 SOP et 3 graines aléatoires, générant 144 événements appariés par bras expérimental.

Opérateurs de compression

L'étude compare des techniques de compression à doses de perplexité équivalentes pour isoler la cause de l'échec :

Troncation de rang faible cohérente (SVD) : Décomposition en valeurs singulières par tenseur.
Élagage de magnitude incohérent : Élagage uniforme sans remise d'échelle.
Quantification : Utilisée comme contrôle de dose pour l'analyse du mécanisme.

Modèles évalués

Trois architectures de décodeurs denses (7–8 milliards de paramètres) :

Qwen3-8B
Mistral-7B
Llama-3.1-8B

Principaux résultats et conclusions

1. L'angle mort et la dissociation

Évasion des gardes : Les modèles SVD doucement compressés se situent souvent bien dans la bande d'acceptation de la perplexité (ex. $1,069\times$ pour Mistral-7B) tout en échouant au canari par l'invention d'un nombre significatif d'étapes (ex. $+1,729$ étapes/requête).
Spécificité de l'opérateur : À perplexité égale, la troncation SVD cohérente induit la défaillance, tandis que l'élagage de magnitude incohérent (apparié à la même perplexité) ne le fait pas. Les modèles élagués inventent des étapes proches de zéro ( $\approx 0$ ).
Dissociation : Les mêmes poids compressés qui réussissent un test de fidélité de sortie apparié (CI-win — victoire par intervalle de confiance, prouvant que les représentations internes sont préservées) échouent au canari d'invention d'étapes (CI-fail). Cela démontre que la fidélité aux représentations internes ne garantit pas la sécurité dans l'exécution agentique.

2. Le mécanisme : Cohérence $\times$ Taux

La défaillance n'est pas pilotée par l'ampleur des dommages (augmentation de la perplexité) mais par la cohérence de l'erreur de compression multipliée par son taux.

Cohérence : Les erreurs SVD sont structurées/de rang faible ; les erreurs d'élagage sont non structurées.
Taux : L'effet passe à l'échelle avec le taux d'erreur.
Preuve : Les contrôles de quantification qui portent plus de dommages de perplexité brute que la dose SVD défaillante réussissent quand même le canari, alors que la SVD échoue même à de faibles doses. L'apparition de la défaillance est précoce (dans les 2 % de dose de perplexité) et distribuée plutôt que localisée.
Condition de spectre : L'angle mort est conditionnel au spectre. Il se manifeste là où le modèle admet suffisamment de « marge de manœuvre de rang faible sous la garde » (ex. Qwen et Mistnel). Llama-3.1-8B possède peu de cette marge ; sa tronction SVD provoque un effondrement de la perplexité avant l'apparition de l'invention, ce qui signifie que la garde de perplexité capture accidentellement la montée de la toxicité.

3. Un détecteur sans données

Les auteurs proposent une statistique à deux axes dérivée de l'erreur de compression ( $\Delta W = W_{base} - W_{mod}$ ) pour filtrer ce mode de défaillance sans données étiquetées :

Fraction cohérente : Le ratio de l'énergie de l'erreur de faible rang/structurée par rapport à l'énergie totale de l'erreur.
$\text{fraction\_cohérente} = \frac{\sum_t \sigma^2_{1:k}(\Delta W_t)}{\sum_t \|\Delta W_t\|_F^2}$
Taux d'erreur : Le ratio de l'énergie totale de l'erreur par rapport à l'énergie totale des poids.
$\text{taux\_erreur} = \frac{\sum_t \|\Delta W_t\|_F^2}{\sum_t \|W_t\|_F^2}$

Résultat : Une porte définie par $\text{fraction\_cohérente} > 0,007 \land \text{taux\_erreur} > 0,01$ classifie correctement les six bras de canari étiquetés à travers les trois architectures. Elle distingue avec succès les builds « cohérents mais légers » (qui passent) des builds d'élagage « incohérents mais lourds » (qui passent), tout en signalant les builds SVD toxiques.

Signification et affirmations

Le papier affirme que la perplexité, MMLU et la fidélité sans données ne certifient pas la sécurité des agents.

Loi de Goodhart : L'étude illustre la loi de Goodhart dans la compression de LLM : une fois qu'un proxy (perplexité, MMLU ou sonde de fidélité) devient la cible d'acceptation, un build peut satisfaire ce dernier tout en échouant à l'objectif réel d'une exécution fidèle des procédures.
Risque spécifique à l'opérateur : Le risque est lié au type de compression (rang faible cohérent vs élagage incohérent) plutôt qu'à la simple baisse de précision.
Filtrage actionnable : Le filtre à deux axes proposé transforme une observation de prudence en un contrôle de pré-vol déployable. Les auteurs affirment qu'un build à faible rang qui franchit ce filtre est « sûr pour l'agent sur cet axe », tandis que celui qui le déclenche ne l'est pas.
Modestie de la portée : Les auteurs limitent explicitement leurs affirmations :
- Les seuils du détecteur sont illustratifs et adaptés aux modèles denses 7–8B testés ; ils ne prétendent pas résoudre les subtilités au sein de la quantification.
- Les taux d'« invention » sont spécifiques à l'instrument (SOP synthétiques), mais le contraste entre les opérateurs (SVD vs Élagage) est la conclusion robuste.
- Le mode de défaillance est conditionnel au spectre (dépendant de la marge spectrale), bien que le mécanisme de l'opérateur soit général à l'architecture.
- Ils ne prétendent pas que cette défaillance épuise tous les risques comportementaux des agents, seulement que la pile de gardes actuelle manque ce risque spécifique.

En conclusion, le papier soutient que tant qu'un écran comme la métrique cohérence-taux proposé ne devient pas un standard, l'acceptation de la compression et le déploiement d'agents doivent être traités comme deux étapes distinctes.