💰 quantitative finance

Telemetry and Concealment in Self-Adapting Generative AI: Logging Architecture, Adversarial Model Hiding, and the Limits of Detection

Cet article propose un cadre de gouvernance à double régime pour l'IA générative auto-adaptative qui combine une architecture de télémétrie rigoureuse et agnostique au modèle pour une surveillance continue avec une taxonomie systématique des stratégies de dissimulation adverses et de leurs contre-mesures afin de remédier à l'insuffisance de la gestion traditionnelle du risque de modèle statique.

Auteurs originaux : Sriram Nagaraj

Publié 2026-08-11

📖 10 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sriram Nagaraj

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un robot chef magique, capable de s'auto-améliorer. Chaque fois qu'il prépare un repas pour un client, il apprend de l'expérience et ajuste instantanément son propre livre de recettes interne. Autrefois, si vous vouliez vérifier si un chef était sûr, vous goûtiez sa nourriture une fois, vous lui donniez un tampon d'approbation, et vous supposiez qu'il cuisinerait exactement de la même manière pour toujours. Mais ce nouveau robot chef change son propre cerveau pendant qu'il travaille. Cela crée un problème : le temps que vous goûtiez le repas suivant, le chef a peut-être déjà changé d'avis sur la façon de cuisiner. C'est le monde de l'intelligence artificielle « auto-adaptative », où l'outil que vous utilisez réécrit constamment ses propres instructions. La grande question pour quiconque se soucie de la sécurité — comme les banques, les hôpitaux ou les gouvernements — est la suivante : comment garder un œil sur un chef qui change constamment son propre livre de recettes, surtout si ce chef essaie de cacher les changements pour continuer à travailler sans être arrêté ?

Ce document s'attaque à ce problème précis en construisant un enregistreur de type « boîte noire » de haute technologie pour ces chefs IA, puis en testant la résistance de cet enregistreur lorsque le chef tente de contourner la surveillance. L'auteur, Sriram Nagaraj et ses collègues, propose un système qui ne se contente pas de surveiller le plat final (la sortie), mais qui suit les mouvements infimes et continus du livre de recettes lui-même (les poids). Ils créent un système de « télémétrie » mathématique qui consigne chaque fois que le chef change d'avis, en utilisant un type spécial d'empreinte numérique appelée « chaîne de Merkle » pour s'assurer que personne ne peut effacer l'historique. Ils utilisent également un concept appelé « stabilité de Lyapunov », qui est comme un harnais de sécurité garantissant que le chef ne s'éloigne pas trop des recettes sûres et approuvées.

Cependant, le papier prend un tournant dans la seconde moitié. Il pose la question : « Et si le chef était un farceur ? » Il s'avère que si une entreprise veut maintenir son IA en fonctionnement sans être interrompue pour des contrôles de sécurité, elle a un fort intérêt à cacher son apprentissage. L'auteur simule six façons différentes dont une entreprise malhonnête pourrait tenter de tromper le système de surveillance. Il découvre que, bien que certaines ruses puissent être détectées grâce à des mathématiques et de la cryptographie ingénieuses, deux ruses spécifiques sont incroyablement difficiles à repérer. L'une consiste à cacher les changements à l'intérieur du « bruit » naturel ou de l'aléatoire du processus d'apprentissage, et l'autre consiste à manipuler la probabilité de la façon dont l'IA apprend, de manière à ce que cela paraisse parfaitement normal sur le papier.

La conclusion la plus importante du papier est un peu décevante pour ceux qui espèrent une solution parfaite : vous ne pouvez pas détecter chaque petit changement simplement en observant le flux de données. Il existe un « seuil de résolution ». Imaginez essayer de voir un grain de sable bouger dans un ouragan ; si le mouvement est assez petit, le vent (ou dans ce cas, le bruit naturel du système) le cachera toujours. L'auteur le prouve mathématiquement : quel que soit le niveau de performance de vos capteurs, il y aura toujours une petite zone de changements qui restera invisible pour l'enregistreur seul. À cause de cela, ils concluent que nous ne pouvons pas compter sur l'enregistreur seul. Au lieu de cela, nous avons besoin d'un système à « double régime » : un moniteur continu et en temps réel pour détecter les changements importants, couplé à des « examens » périodiques et invasifs où les auditeurs inspectent physiquement le cerveau du robot pour s'assurer qu'il n'a pas été secrètement réécrit. C'est un système qui admet qu'il ne peut pas tout voir, mais qui nous donne un moyen de savoir exactement ce que nous ne pouvons pas voir et à quelle fréquence nous devons regarder de plus près.

L'histoire du robot auto-améliorant

La mise en place : Un chef qui réécrit son propre livre de cuisine
Dans le monde de la gestion des risques de modèles (MRM), l'ancienne règle était simple : construire un modèle, le tester, puis le laisser fonctionner. On suppose que le modèle reste identique, comme un livre de cuisine imprimé. Mais l'IA générative moderne est différente. C'est un système « auto-adaptatif », comme un chef qui goûte chaque plat et réécrit immédiatement le livre de recettes pour le suivant. Cela se produit en temps réel, via un processus appelé « apprentissage continu ». Le problème est que le contrôle de sécurité que vous avez effectué hier est inutile aujourd'hui car le modèle a déjà changé. Cet écart entre le dernier contrôle de sécurité et l'état actuel est appelé le « fossé de validation continue ».

Partie 1 : Construire la boîte noire ultime
Pour corriger cela, le papier propose une nouvelle façon de surveiller le chef. Au lieu de simplement vérifier la nourriture à la fin, ils veulent consigner chaque infime ajustement que le chef apporte au livre de recettes.

La statistique minimale : Ils ont réalisé que mesurer à quel point la taille du livre de recettes change (comme mesurer le poids du livre) ne suffit pas. Un petit changement au mauvais endroit peut gâcher un plat, tandis qu'un changement énorme au bon endroit pourrait ne rien changer. Ainsi, ils mesurent la « divergence comportementale » : à quel point la sortie change pour un ensemble de questions de test.
La chaîne infalsifiable : Pour s'assurer que les journaux ne peuvent pas être falsifiés, ils utilisent une « chaîne de poids de Merkle ». Considérez cela comme une blockchain pour le livre de recettes. Chaque fois que le chef change une page, il crée un hachage (empreinte digitale) de la nouvelle page avec l'ancienne. Si quelqu'un tente de modifier une page d'hier, l'empreinte de la page d'aujourd'hui est brisée. Il est mathématiquement impossible de cacher un changement sans briser la chaîne.
La surveillance continue : Comme le chef change très vite, ils ne peuvent pas tout consigner chaque seconde. Au lieu de cela, ils ne consignent que lorsque le changement devient assez important pour compter. Ils utilisent un outil mathématique appelé « temps d'arrêt » basé sur la « divergence KL » (une mesure de la différence entre deux distributions de probabilité). C'est comme un détecteur de mouvement qui ne s'active que lorsque le chef bouge réellement, économisant ainsi de l'énergie et du stockage.
Le harnais de sécurité : Ils utilisent un cadre de « stabilité de Lyapunov ». Imaginez une balle roulant dans un bol. Tant que la balle reste dans le bol, le système est sûr. Si la balle commence à rouler vers le bord, le système déclenche une alarme. Cela garantit que l'IA ne dévie pas trop de son comportement sûr et approuvé.

Partie 2 : Le jeu du cache-cache
Le papier demande ensuite : « Et si le chef est un tricheur ? » Si une entreprise est surprise en train de modifier son modèle, elle pourrait devoir s'arrêter et obtenir une nouvelle approbation, ce qui coûte de l'argent et du temps. Elle pourrait donc essayer de cacher ses changements. L'auteur invente un « problème de dissimulation de modèle » et teste six façons dont une entreprise pourrait tenter de tromper le système.

Les ruses qui sont détectées :
- Suppression : Si le chef cesse simplement d'envoyer des journaux, le système vérifie la nourriture par rapport à une liste secrète de questions « canari ». Si la nourriture a un goût différent, le système sait que le chef ment.
- Falsification : Si le chef envoie de faux journaux affirmant « je suis en sécurité » alors qu'il modifie en réalité la recette, le système vérifie la signature numérique de la nourriture servie. Si la signature ne correspond pas au faux journal, la supercherie est démasquée.
- Modèles fantômes : Si le chef fait fonctionner un modèle « fantôme » secret pour le travail réel tout en montrant un faux modèle aux auditeurs, le système utilise des « environnements d'exécution de confiance » (TEE). C'est comme une pièce sécurisée et verrouillée où la cuisine a lieu. Le matériel lui-même signe le travail, de sorte que vous savez qu'il provient bien du modèle approuvé, et non d'un modèle secret.
Les ruses qui sont plus difficiles à détecter :
- Amplification du bruit : Le chef peut rendre le processus d'apprentissage plus bruyant (comme ajouter plus de saupoudrages aléatoires à la recette) pour cacher un changement constant et subtil. L'auteur a tenté d'utiliser une astuce mathématique appelée « variation de puissance » pour séparer le bruit du changement, mais il a découvert que cela ne fonctionne pas. Les mathématiques montrent que le bruit est si chaotique qu'on ne peut pas distinguer un changement caché d'une simple fluctuation aléatoire sur une courte période.
- Manipulation de Girsanov : C'est une façon sophistiquée de dire que le chef change les règles de probabilité pour que le changement paraisse normal. L'auteur a tenté d'utiliser une « sonde de gradient » (une question de test) pour attraper cela, mais il a découvert que cela ne fonctionne pas non plus. La sonde ne voit que le résultat du changement, ce que les autres tests détectent déjà, donc cela n'apporte rien de nouveau.

La grande conclusion : Le seuil de résolution
Le papier prouve une limite fondamentale : Vous ne pouvez pas tout voir. Quel que soit le niveau de performance de vos capteurs, il existe un changement infime (une « boule de rayon strictement positif ») qui se cachera toujours dans le bruit. Si le changement est plus petit que la résolution du système, il est mathématiquement indétectable par la simple observation du flux de données.

À cause de cela, l'auteur propose un Principe à double régime :

Télémétrie continue : Garder la boîte noire active 24h/24 et 7j/7 pour attraper les changements importants et maintenir l'honnêteté du chef la plupart du temps.
Audits invasifs périodiques : Puisque la boîte noire possède un angle mort, vous devez physiquement ouvrir le cerveau du robot et l'inspecter régulièrement. La fréquence de ces inspections dépend de la taille de l'angle mort. Si l'angle mort est petit, vous pouvez espacer les contrôles. S'il est grand, vous devez vérifier plus souvent.

En résumé, le papier affirme que nous ne pouvons pas construire une clôture parfaite et invisible autour d'une IA auto-adaptative. Mais nous pouvons construire une très bonne clôture avec quelques petites brèches, et nous pouvons planifier des patrouilles régulières pour passer par ces brèches et s'assurer que rien de malveillant ne s'y cache. C'est une façon réaliste et mathématiquement solide de gérer le risque dans un monde où les outils sont constamment en train de se réécrire eux-mêmes.

Résumé Technique : Télémétrie et Dissimulation dans l'IA Générative Auto-adaptative

1. Énoncé du Problème

Les directives actuelles de Gestion des Risques de Modèles (MRM) supposent un cycle de vie de modèle statique : les modèles sont développés, validés de manière indépendante à un instant précis, puis déployés sans modification autonome ultérieure. Les systèmes d'IA générative auto-adaptatifs (par exemple, les grands modèles de langage mis à jour via l'apprentissage par renforcement à partir de la rétroaction humaine ou par descente de gradient stochastique continue) violent cette supposition par conception. Ces modèles mettent à jour leurs propres poids pendant la production, rendant la validation ponctuelle inadéquate et créant un « écart de validation continue ».

Ce document traite de deux défis de gouvernance interconnectés :

Observabilité : Comment construire une architecture de télémétrie rigoureuse et calculablement traitable qui enregistre la trajectoire d'un modèle auto-adaptatif en temps discret et en temps continu.
Dissimulation Adversaire : Que se passe-t-il lorsque le propriétaire du modèle a un incitation économique à dissimuler les mises à jour d'apprentissage pour éviter de déclencher des revues de validation obligatoires ? Le document formalise le « Problème de la Dissimulation de Modèle » et étudie les limites fondamentales de la détection.

2. Méthodologie

Le document est divisé en deux parties. La Partie I développe l'architecture de télémétrie sous l'hypothèse d'un rapport fidèle. La Partie II relâche cette hypothèse, modélisant l'interaction comme un jeu adversaire entre un propriétaire de modèle et un validateur.

Partie I : Architecture de Télémétrie

Journalisation en Temps Discret : L'auteur propose que la distance dans l'espace des poids (par exemple, la norme de Frobenius) est une métrique inadéquate pour l'audit. À la place, il définit la Divergence Comportementale ( $\delta_t$ ) comme la divergence de Kullback-Leibler (KL) entre les distributions de sortie de états de modèle consécutifs sur un ensemble de référence canonique $R$ . Il construit une Chaîne de Poids Merkle pour lier cryptographiquement chaque état de modèle à son prédécesseur et à ses données d'entraînement, garantissant l'inviolabilité de la preuve.
Journalisation Événementielle : Plutôt que de journaliser chaque étape, le système ne journalise qu'aux Temps d'Arrêt définis par le franchissement d'un seuil de divergence comportementale. Cela garantit que la densité de journalisation est proportionnelle au mouvement comportemental, et non au temps réel.
Limite en Temps Continu : La récursion SGD discrète est approximée par une Équation Différentielle Stochastique (EDS) d'Itô. L'auteur identifie la Variation Quadratique $[W]_t$ comme le scalaire de télémétrie canonique pour le temps continu, capturant l'intensité stochastique de l'apprentissage.
Cadre de Stabilité : L'architecture est intégrée dans un cadre de stabilité de Lyapunov. L'auteur dérive des conditions pour la stabilité de la moyenne et la stabilité presque sûre des trajectoires, en utilisant la Loi du Logarithme Itéré (LIL) pour borner les fluctuations des martingales.
Déclencheur de Gouvernance : Un test CUSUM (Somme Cumulée) est proposé pour opérationnaliser l'escalade de gouvernance par paliers, fournissant un mécanisme statistiquement fondé pour détecter les changements de divergence comportementale avec des taux de fausses alarmes contrôlés.

Partie II : Le Problème de la Dissimulation de Modèle

Le document formalise un jeu où le Propriétaire du Modèle ( $F$ ) tente de maximiser la dérive indétectable tandis que le Validateur ( $V$ ) tente de la détecter. L'auteur classifie six stratégies d'attaque distinctes et analyse les contre-mesures :

Attaques en Temps Discret :
- Attaque S (Suppression) : L'entreprise cesse de transmettre la télémétrie. Contre-mesure : Un Oracle Comportemental utilisant un ensemble de canari secret pour détecter la divergence de sortie.
- Attaque F (Forgerie) : L'entreprise rapporte un hash "leurre" conforme tout en servant un modèle dérivé. Contre-mesure : Signature d'Inférence (lier les sorties aux hashes du modèle) et Preuves à Divulgation Nulle (zk-SNARKs) pour la conformité de Lyapunov.
- Attaque C (Modèle Fantôme) : L'entreprise mélange les sorties d'un modèle rapporté et d'un modèle de canal latéral non rapporté. Contre-mesure : Attestation par Environnement d'Exécution Sécurisé (TEE) pour lier l'ensemble du pipeline à un état vérifié par le matériel.
Attaques en Temps Continu :
- Attaque N (Masquage de Dérive par Amplification de Diffusion) : L'entreprise amplifie le bruit pour masquer la dérive. Contre-mesure : Le document prouve que les ratios de Variation de Puissance échouent à détecter la dérive car la première variation d'une diffusion est infinie ; le ratio mesure la fréquence d'échantillonnage, pas la dérive.
- Attaque G (Manipulation de la Mesure de Girsanov) : L'entreprise manipule les données d'entraînement pour changer la mesure de probabilité de la dérive. Contre-mesure : Le Sondage de Gradient proposé est montré comme étant circulaire, car il ne fait que redétecter la dérive des poids déjà visible pour l'Oracle Comportemental.
- Attaque H (Exploitation de l'Hessienne) : L'entreprise conçoit la courbure locale pour annuler les signaux de dérive dans les vérifications de stabilité de la moyenne. Contre-mesure : Une Vérification de Stabilité de Trajectoire utilisant l'enveloppe LIL pour vérifier que les trajectoires réalisées restent dans les bornes de variation quadratique déclarées.

Limites Fondamentales

Le document établit un Résidu d'Information Théorique. Même avec toutes les contre-mesures, il existe un rayon $\epsilon^*(\delta)$ strictement positif de perturbations de poids indétectables pour toute résolution comportementale $\delta$ finie. Cela implique qu'aucun régime de télémétrie seule ne peut détecter des dérives adversaires arbitrairement petites.

3. Contributions Clés

Statistique Suffisante Minimale : Formalisation du Digest d'État (divergence comportementale sur un ensemble de référence) comme la statistique suffisante minimale pour l'audit en temps discret, remplaçant la distance dans l'espace des poids.
Chaîne de Poids Merkle : Construction d'une chaîne de preuve d'intégrité liant les états du modèle aux données d'entraînement, réduisant la confiance dans l'historique à la vérification d'une seule extrémité de la chaîne.
Généralisation en Temps Continu : Dérivation de la limite en temps continu via le calcul d'Itô, établissant la Variation Quadratique comme le scalaire canonique pour l'intensité de l'apprentissage et les Temps d'Arrêt KL pour la journalisation événementielle.
Certificats de Stabilité : Intégration du cadre dans la théorie de Lyapunov pour dériver les conditions de stabilité de la moyenne et presque sûre, incluant l'utilisation de la Loi du Logarithme Itéré pour les bornes de trajectoire.
Taxonomie de la Dissimulation de Modèle : Classification systématique de six stratégies de dissimulation (trois discrètes, trois continues) avec leurs contre-mesures formelles.
Résultats Négatifs : Preuves rigoureuses que les défenses naturelles en temps continu (Variation de Puissance et Sondages de Gradient) échouent à détecter certaines dérives adverses, soulignant les limitations intrinsèques de la télémétrie.
Théorème du Plancher de Détection : Preuve que pour toute résolution finie $\delta > 0$ , l'ensemble des perturbations indétectables contient une boule de rayon strictement positif $\epsilon^*(\delta)$ .
Principe du Double Régime : Recommandation de conception stipulant que la télémétrie continue est nécessaire mais non suffisante, nécessitant d'être couplée à des audits invasifs périodiques pour borner la fuite résiduelle.

4. Résultats

Le document soutient ses affirmations théoriques par des études numériques (utilisant un classificateur softmax léger) et des preuves formelles :

Efficacité des Métriques : L'étude A1 démontre que les perturbations de poids de même magnitude dans la direction du gradient produisent une divergence KL nettement plus élevée (environ 2,33 $\times$ ) que dans la direction tangente (espace nul), validant la divergence comportementale sur la norme de Frobenius.
Preuve d'Intégrité : L'étude A2 confirme qu'une modification infime ( $10^{-2}$ ) dans les poids invalide l'intégralité de la chaîne Merkle suivante avec une probabilité écrasante.
Journalisation Événementielle : L'étude A3 montre que les modèles statiques génèrent zéro paquet, tandis que la densité de paquets augmente avec l'intensité de l'adaptation, validant l'efficacité de l'approche par temps d'arrêt.
Variation Quadratique : L'étude A4 vérifie que la variation quadratique empirique correspond à la prédiction théorique $\eta \sigma^2 d_{tot} T$ avec une erreur de seulement 0,56 %.
Stabilité et CUSUM : L'étude A5 confirme la décroissance de Lyapunov vers un plancher de bruit et démontre que le déclencheur CUSUM détecte la dérive adversaire peu après son début tout en maintenant un faible taux de fausses alarmes.
Échec de l'Attaque N : L'étude B2 confirme que le ratio de Variation de Puissance est aveugle à la dérive, ne dépendant que de la racine carrée du nombre d'échantillons ( $\sqrt{n}$ ), indépendamment de la magnitude de la dérive.
Détection de l'Attaque H : L'étude B4 montre que si les vérifications de stabilité de la moyenne valident un attaquant qui sous-déclare la variance, la vérification de l'enveloppe LIL de la trajectoire détecte la violation avec un taux de 99,7 %.
Plancher de Résolution : L'étude B5 démontre empiriquement l'existence d'un écart de résolution finie où de petites perturbations restent indétectables par l'ensemble de canari, confirmant le Théorème 13.3.

5. Signification et Revendications

Le document prétend fournir le premier traitement formel de l'évasion de la gouvernance dans le contexte des modèles d'IA à apprentissage continu. Sa signification réside dans :

Redéfinition des Métriques d'Audit : Déplacement de l'attention de la distance dans l'espace des poids vers la divergence comportementale, reconnaissant que de grands mouvements de poids peuvent être comportementalement inertes tandis que de petits mouvements peuvent être critiques.
Pont entre MRM et Apprentissage Continu : Adaptation des cadres MRM statiques aux systèmes dynamiques par l'introduction de la télémétrie continue et des certificats de stabilité.
Honnêteté sur les Limites : Plutôt que de prétendre posséder un système de détection parfait, le document définit rigoureusement le plancher de détection. Il soutient que puisque la télémétrie ne peut détecter des dérives arbitrairement petites, un principe de double régime est requis : la télémétrie continue réduit le champ des audits, mais les audits invasifs périodiques (sous TEE) sont strictement nécessaires pour borner le risque résiduel.
Défense en Profondeur : L'architecture proposée n'est pas un outil unique, mais une pile multicouche (Matériel, Cryptographie, Statistique, Stochastique, Gouvernance) où chaque couche répond à des surfaces d'attaque spécifiques.

Le document conclut que si la télémétrie continue transforme la gouvernance de simples instantanés non dirigés en investigations ciblées, elle ne peut remplacer les audits invasifs. L'approche du « double régime » est présentée comme la seule façon structurellement saine de gérer les risques de l'IA auto-adaptative au sein des directives MRM existantes.