The Boiling Frog Threshold: Criticality and Blindness in World Model-Based Anomaly Detection Under Gradual Drift

Cette étude révèle que la détection des dérives d'observation par les agents d'apprentissage par renforcement repose sur un seuil critique universel, mais que l'incapacité des détecteurs à identifier certaines dérives sinusoïdales ou à prévenir l'effondrement dans des environnements fragiles démontre que ces limites sont déterminées par l'interaction dynamique entre le bruit, le détecteur et la structure de l'environnement plutôt que par la seule sensibilité du modèle.

L'essentiel

🐸 Le Mythe de la Grenouille Bouillie : Quand l'IA ne se réveille pas assez tôt

Imaginez une grenouille posée dans une casserole d'eau tiède. Si vous chauffez l'eau très doucement, la grenouille ne remarque rien. Elle s'adapte, elle se détend, et elle finit par bouillir sans jamais avoir sauté hors de la casserole. C'est ce qu'on appelle le "paradoxe de la grenouille bouillie".

Les chercheurs de cet article se sont demandé : Si un robot intelligent (une IA) apprend à marcher et que ses capteurs commencent à se dérégler très lentement, à quel moment va-t-il se dire "Hé, il y a un problème !" ?

Ils ont découvert que la réponse n'est pas aussi simple qu'un interrupteur "marche/arrête". Voici les quatre grandes découvertes, expliquées avec des métaphores du quotidien.

---

1. La "Ligne Rouge" Invisible (Le Seuil Critique)

Imaginez que vous écoutez de la musique dans une pièce bruyante. Si quelqu'un chuchote une nouvelle information, vous ne l'entendez pas. Mais si la personne crie, vous l'entendez immédiatement.

Les chercheurs ont découvert qu'il existe une "Ligne Rouge" (un seuil critique) très précise pour les IA.

• En dessous de la ligne : Le robot pense que les changements sont juste du "bruit de fond" normal. Il continue de marcher, même si ses yeux (ses capteurs) commencent à voir flou. Il est dans le déni.
• Au-dessus de la ligne : Soudain, le robot se réveille ! Il réalise : "Attends, ce n'est pas normal !" et il s'arrête.

Ce qui est fascinant, c'est que cette ligne existe pour tous les types de robots, mais sa position change selon la pièce dans laquelle ils se trouvent (l'environnement) et la sensibilité de leurs oreilles (le détecteur).

2. L'IA est "Aveugle" aux Mouvements de Balancier

C'est peut-être la découverte la plus étrange. Les chercheurs ont essayé de tromper les robots avec un changement qui va et vient, comme un balancier (un mouvement sinusoïdal).

• L'analogie : Imaginez que vous marchez sur un tapis roulant qui oscille doucement de gauche à droite. Votre corps s'adapte automatiquement. Vous ne vous rendez pas compte que le tapis bouge, car le mouvement est régulier et symétrique.

Résultat : Tous les robots, peu importe leur intelligence, sont totalement aveugles à ce type de changement. Leurs cerveaux internes (leurs "modèles du monde") absorbent ce mouvement comme étant normal. C'est comme si le robot "rêvait" que le balancement était normal. Même si le changement est énorme, le robot ne le voit pas, car son cerveau a décidé que c'était juste du bruit de fond.

3. La Chute Avant la Prise de Conscience (Le Danger Mortel)

C'est le point le plus inquiétant pour la sécurité.

• L'analogie : Imaginez un funambule (un équilibriste) sur une corde. Si le vent commence à souffler doucement, il ajuste son équilibre. Mais si le vent devient soudainement trop fort, il tombe avant même d'avoir eu le temps de réaliser que le vent a changé.

Dans certains environnements fragiles (comme un robot à une seule jambe, le "Hopper"), le robot tombe et s'écrase avant que son système d'alarme interne ne puisse se déclencher.
C'est une zone de danger mortel : le problème est assez grave pour tuer le robot, mais pas assez "bruyant" pour que l'alarme sonne à temps. C'est comme conduire une voiture dont les freins lâchent progressivement : vous vous écrasez avant de vous rendre compte que vous n'avez plus de freins.

4. Ce n'est pas la faute du Robot, c'est la faute de la "Pièce"

On pensait peut-être que si le robot était plus intelligent (avec un cerveau plus gros), il verrait mieux les problèmes.

• La révélation : Non. Que le robot ait un petit cerveau ou un cerveau de super-homme, le seuil de détection reste le même.
• Pourquoi ? Parce que le problème ne vient pas du robot, mais de la relation entre le bruit de fond et le changement. C'est comme essayer d'entendre un chuchotement dans une tempête : peu importe si vous avez de superbes oreilles, si le vent (l'environnement) est trop fort, vous n'entendrez rien.

🎯 En résumé : Ce qu'il faut retenir

1. Il y a un seuil : Les robots ne voient pas les petits changements progressifs. Ils ne réagissent que si le problème devient soudainement énorme.
2. Ils sont hypnotisés par la régularité : Si le problème est un mouvement régulier (comme un balancier), le robot l'ignore complètement. C'est une faille fondamentale de son cerveau, pas un bug de son logiciel.
3. Le danger silencieux : Dans les situations fragiles, le robot peut mourir avant de se rendre compte qu'il est en danger.
4. La leçon pour nous : Si vous voulez surveiller une IA, ne vous fiez pas seulement à sa précision. Vous devez comprendre comment son environnement réagit aux changements. Parfois, il faut un "gardien" extérieur (un autre robot ou un humain) pour surveiller le robot, car le robot lui-même peut être aveugle à sa propre chute.

En gros, cette étude nous dit : Ne faites pas confiance aveuglément à l'IA pour se surveiller elle-même. Elle peut très bien être la grenouille dans la casserole, en train de bouillir sans le savoir.

Résumé technique

1. Problématique

L'article s'interroge sur la capacité des agents d'apprentissage par renforcement (RL) à détecter une corruption progressive de leurs observations (dérive graduelle), par opposition aux changements abrupts déjà étudiés.

• Contexte : Les agents RL modernes utilisent des "modèles du monde" (world models) pour la planification. Ces modèles peuvent servir d'auto-surveillance en détectant les erreurs de prédiction.
• Question centrale : À quel taux de dérive un agent "se réveille-t-il" (détecte-t-il l'anomalie) ? Existe-t-il une frontière critique entre l'ignorance (la dérive est absorbée comme du bruit normal) et la prise de conscience ?
• Hypothèse de départ : La détection dépendrait uniquement de la sensibilité du détecteur ou de la précision du modèle. L'article vise à déterminer si ce seuil est une propriété émergente du modèle ou le résultat d'une interaction complexe.

2. Méthodologie

Les auteurs ont mené une étude systématique par ablation sur quatre environnements MuJoCo (HalfCheetah, Hopper, Walker2d, Ant) avec des modèles de dynamique appris (MLP simples).

• Injection de Dérive : À partir d'un point de référence, une dérive est appliquée aux dimensions d'observation liées à la vitesse. Deux profils sont testés :
  • Linéaire : Augmentation monotone de l'intensité ($\epsilon$).
  • Sinusoïdale : Dérive périodique à moyenne nulle.
• Familles de Détecteurs : Trois familles fondamentalement différentes ont été utilisées pour isoler les artefacts spécifiques :
  1. Doubt Index (DI) : Moyenne mobile exponentielle (EMA) de l'erreur de prédiction, déclenchement par score-z sur une fenêtre glissante.
  2. Détecteur de Variance : Surveillance de la variance de l'erreur (deuxième moment) sur une fenêtre.
  3. Détecteur de Percentile : Comparaison directe de l'erreur instantanée à la distribution de base (aucun lissage temporel).
• Variables Expérimentales :
  • Trois capacités de modèles (petit, moyen, grand).
  • Plusieurs hyperparamètres pour chaque détecteur (seuils $z$, tailles de fenêtres $W$, etc.).
  • 16 niveaux d'intensité de dérive ($\epsilon$).

3. Contributions Clés

L'article propose quatre contributions majeures qui redéfinissent la compréhension de la surveillance autonome en RL :

1. Existence et Invariance de la Forme du Seuil ($\epsilon^*$) :

   • Une transition sigmoïde nette existe universellement : en dessous d'un seuil critique $\epsilon^*$, la dérive est ignorée ; au-dessus, la détection est rapide.
   • La forme de cette courbe est invariante (tous les détecteurs la voient), mais sa position dépend de l'interaction entre le détecteur et l'environnement.

2. Cécité Sinusoïdale (Propriété du Modèle du Monde) :

   • Tous les détecteurs, y compris ceux sans lissage temporel, sont totalement aveugles aux dérives sinusoïdales.
   • Ce n'est pas un défaut du détecteur, mais une propriété du signal d'erreur de prédiction : les déviations positives et négatives s'annulent, et le modèle du monde absorbe cette variance périodique comme du bruit normal (optimisation de la preuve du modèle).

3. Effondrement avant Prise de Conscience (CBA - Collapse Before Awareness) :

   • Dans des environnements fragiles (notamment Hopper), l'agent s'effondre physiquement avant que le détecteur n'ait accumulé suffisamment de preuves pour déclencher une alarme.
   • Cela crée un régime de défaillance léthal mais invisible, où la dérive est trop forte pour la stabilité de l'agent mais trop faible pour être détectée à temps.

4. Caractérisation Analytique du Seuil :

   • Le seuil $\epsilon^*$ suit une loi de puissance par rapport aux paramètres du détecteur (ex: $\log(\epsilon^*) = a + \alpha \log(z) + \beta \log(W)$) au sein d'un même environnement.
   • Cependant, un modèle global échoue à prédire $\epsilon^*$ entre différents environnements ($R^2 = 0.45$), révélant que la variable manquante est la structure dynamique de l'environnement ($\partial P_E / \partial \epsilon$), et non simplement le bruit de base (MSE).

4. Résultats Détaillés

• Invariance de la forme : La transition de détection est toujours sigmoïde, quelle que soit la capacité du modèle ou la famille du détecteur.
• Indépendance de la capacité du modèle : L'augmentation de la taille du modèle (128 à 1024 neurones) réduit l'erreur absolue (MSE) mais ne change pas la position du seuil $\epsilon^*$. Cela s'explique par le fait que les détecteurs utilisent une normalisation (score-z) basée sur la déviation standard de base, rendant le seuil invariant à l'échelle absolue du bruit.
• Analyse du bruit de fond (Walker2d) : Dans des environnements bruyants comme Walker2d, le taux de faux positifs (FPR) est élevé. Une fois corrigé pour le FPR de base, le seuil réel converge vers une valeur unique, prouvant que la dépendance apparente au détecteur est un artefact du bruit environnemental.
• Cécité Spectrale : L'analyse spectrale montre que la dérive linéaire augmente la puissance du signal d'erreur de 200x, tandis que la dérive sinusoïdale n'ajoute pratiquement rien (0.8x), confirmant que le signal ne contient aucune information de dérive extractible pour les détecteurs.

5. Signification et Implications

• Refonte Théorique : Le seuil de détection n'est pas une propriété émergente simple du modèle du monde, mais le résultat d'une interaction à trois voies :
  1. La structure du bruit de fond (distribution de l'erreur de prédiction).
  2. La sensibilité du détecteur (point de fonctionnement sur la courbe ROC).
  3. La dynamique de l'environnement (comment l'erreur réagit à la dérive).
• Lien avec le Traitement Prédictif : Les résultats s'alignent sur le principe de l'énergie libre (Friston). Le modèle du monde "rêve" à travers les perturbations périodiques en les intégrant comme du bruit attendu pour maximiser la preuve du modèle.
• Implications pour le Déploiement :
  • Vulnérabilité aux attaques : Les perturbations oscillatoires (sinusoïdales) sont invisibles pour les systèmes de surveillance basés sur l'erreur de prédiction.
  • Limites de la sécurité : Pour les agents fragiles, il existe une "zone aveugle" où une perturbation peut causer un crash catastrophique sans jamais déclencher d'alerte interne. Une surveillance externe est nécessaire.
  • Métriques trompeuses : La précision du modèle (MSE de base) ne prédit pas la capacité de détection. Il faut caractériser la réponse dynamique de l'environnement ($\partial PE / \partial \epsilon$) avant le déploiement.

En conclusion, cet article démontre que la surveillance autonome dans les environnements non stationnaires est soumise à des limites fondamentales dictées par la physique de l'environnement et la nature du signal d'erreur, et non uniquement par la sophistication de l'algorithme de détection.