The Boiling Frog Threshold: Criticality and Blindness in World Model-Based Anomaly Detection Under Gradual Drift

Die Studie zeigt, dass die kritische Driftschwelle, ab der ein RL-Agent mit Weltmodell Anomalien erkennt, durch das Zusammenspiel von Detektorempfindlichkeit, Rauschuntergrund und Umgebungsstruktur bestimmt wird, wobei subtile Drifts oft unentdeckt bleiben und in fragilen Umgebungen ein Zusammenbruch vor einer Wahrnehmung erfolgen kann.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Roboter, der lernt, auf zwei Beinen zu laufen. Damit er nicht stolpert, hat er ein inneres Gehirn, das ihm ständig sagt: „Wenn ich jetzt meinen linken Fuß hebe, werde ich genau hier landen." Das nennt man in der Forschung ein „Weltmodell".

Normalerweise funktioniert das super. Aber was passiert, wenn die Sensoren Ihres Roboters langsam kaputtgehen? Vielleicht wird die Kamera leicht trübe oder der Sensor für die Geschwindigkeit gibt immer etwas zu hohe Werte an.

Die Forscher von dieser Studie haben genau das untersucht. Sie haben herausgefunden, dass Roboter eine sehr seltsame Art von „Blindheit" haben, wenn sich ihre Wahrnehmung langsam verändert. Hier ist die Geschichte in einfachen Worten:

1. Der „Kochende Frosch"-Effekt (Die Schwelle)

Stellen Sie sich vor, Sie legen einen Frosch in kaltes Wasser und erhitzen es ganz langsam. Der Frosch merkt nichts, bis es plötzlich zu heiß ist und er kocht.

Genau das passiert mit dem Roboter:

• Langsame Veränderung: Wenn die Sensoren sich nur ganz langsam verfälschen, denkt das Gehirn des Roboters: „Ach, das ist nur normales Rauschen. Kein Problem." Er ignoriert es.
• Der Punkt des Erwachens: Es gibt einen ganz bestimmten Punkt (eine Schwelle). Solange die Verfälschung darunter liegt, passiert nichts. Sobald sie darüber liegt, schreit der Roboter plötzlich: „Hey! Etwas stimmt nicht!"
• Die Überraschung: Es ist egal, wie clever der Roboter gebaut ist oder welches Alarm-System er benutzt. Dieser „Kochpunkt" existiert immer. Aber wo genau dieser Punkt liegt, hängt davon ab, wie empfindlich das Alarm-System ist und wie „laut" die Umgebung eigentlich ist.

2. Der unsichtbare Tanz (Die Sinus-Blindheit)

Das ist der verrückteste Teil der Studie. Die Forscher haben den Robotern einen ganz speziellen Trick gezeigt: Sie haben die Sensoren nicht einfach nur langsam verdreht, sondern sie haben sie wie eine Wellenbewegung manipuliert (hin und her, wie eine Sinuswelle).

• Das Ergebnis: Der Roboter hat gar nichts gemerkt. Nichts! Selbst wenn die Verfälschung riesig war.
• Warum? Weil das Gehirn des Roboters so clever ist, dass es denkt: „Oh, das ist nur eine Welle, die hin und her geht. Das ist normal." Es fasst die Schwankungen als „normales Wetter" zusammen und ignoriert sie.
• Die Gefahr: Ein böser Hacker könnte genau das ausnutzen. Wenn er die Sensoren des Roboters in einem perfekten Rhythmus manipuliert, kann er den Roboter zum Absturz bringen, ohne dass der Roboter auch nur eine Sekunde lang merkt, dass etwas faul ist. Es ist, als würde jemand den Roboter im Takt der Musik schubsen – er merkt es nicht, weil es sich wie ein Tanz anfühlt.

3. Der Sturz vor dem Aufwachen (Der „Tod vor dem Erwachen")

Bei manchen Robotern, besonders bei solchen, die sehr wackelig auf einem Bein balancieren (wie ein Hüpfer), gibt es ein noch schlimmeres Problem.

• Szenario: Die Sensoren beginnen zu verrückt spielen.
• Das Problem: Der Roboter stürzt so schnell hin, dass sein Alarm-System gar keine Zeit hat, zu klingeln.
• Die Metapher: Stellen Sie sich vor, Sie laufen über ein Seil. Jemand schüttelt das Seil. Sie fallen, bevor Sie überhaupt bemerkt haben, dass das Seil wackelt.
• Die Konsequenz: In solchen instabilen Umgebungen gibt es eine Zone, in der die Gefahr tödlich ist, aber für den Roboter unsichtbar bleibt. Er stirbt, bevor er „aufwacht".

4. Warum ist das wichtig?

Früher dachten die Forscher: „Wenn wir nur bessere Roboter bauen, merken sie alles."
Diese Studie sagt: Nein.

Es ist nicht nur eine Frage der Qualität des Roboters. Es ist ein Zusammenspiel aus drei Dingen:

1. Wie laut ist das normale Hintergrundrauschen?
2. Wie empfindlich ist das Alarmsystem?
3. Wie reagiert die Welt auf die Störung?

Die große Lehre für uns alle:
Wenn wir autonome Systeme (wie selbstfahrende Autos oder Roboter) in die echte Welt schicken, müssen wir vorsichtig sein.

• Langsame Veränderungen werden oft ignoriert.
• Rhythmische Täuschungen sind unsichtbar.
• Bei instabilen Systemen kann der Fehler tödlich sein, bevor er gemeldet wird.

Man kann sich nicht einfach darauf verlassen, dass der Roboter „aufwacht", wenn etwas schiefgeht. Manchmal wacht er gar nicht auf, bevor es zu spät ist.

Technische Zusammenfassung

1. Problemstellung

Reinforcement-Learning-(RL)-Agenten nutzen zunehmend gelernte Weltmodelle zur Planung. Diese Modelle bieten die Möglichkeit der Selbstüberwachung (Self-Monitoring): Wenn das Weltmodell Vorhersagefehler macht, könnte dies auf eine Störung in der Umgebung oder der Wahrnehmung des Agenten hindeuten.

Während abrupte Änderungen (z. B. plötzlicher Sensorausfall) bereits untersucht wurden, ist das Verhalten bei graduellem Drift (z. B. langsam trübende Kameras, imperzeptible Kalibrierungsdrifts) weniger erforscht. Die zentrale Forschungsfrage lautet:

• Bei welcher Drift-Rate „wacht" ein Agent auf?
• Was bestimmt die Grenze zwischen Bewusstsein und Blindheit („Boiling Frog"-Effekt)?
• Ist die Detektierbarkeit eine Eigenschaft des Weltmodells, des Detektors oder der Umgebung?

2. Methodik

Die Studie führt systematische Ablationsstudien durch, um die Grenzen der Detektierbarkeit zu isolieren.

• Umgebungen & Agenten: Vier MuJoCo-Umgebungen (HalfCheetah, Hopper, Walker2d, Ant) mit PPO-Agenten.
• Weltmodelle: Ein einfaches MLP (3 Schichten), das die nächste Zustandsdynamik $f_\theta(s_t, a_t) \to \hat{s}_{t+1}$ vorhersagt. Es wurden drei Modellkapazitäten getestet (Small: 128, Medium: 512, Large: 1024 Hidden Units).
• Drift-Injektion: Ab Schritt 300 wird eine Drift in geschwindigkeitsbezogene Beobachtungsdimensionen injiziert:
  • Linear: Monoton steigend ($g = \varepsilon \cdot t$).
  • Sinusförmig: Periodisch mit Mittelwert Null ($g = \varepsilon \cdot \sin(\dots)$).
  • Intensität $\varepsilon$ wurde von $10^{-4}$bis$0.5$ variiert.
• Detektor-Familien: Um Artefakte einzelner Detektoren auszuschließen, wurden drei grundlegend verschiedene Ansätze verwendet:
  1. Doubt Index (DI): Z-Score gegen einen Baseline-Mittelwert (mit gleitendem Durchschnitt/EMA).
  2. Variance Detector: Überwacht die Varianz des Vorhersagefehlers (zweiter Moment).
  3. Percentile Detector: Vergleicht den Fehler direkt mit dem Perzentil der Baseline-Verteilung (keine zeitliche Glättung).

3. Schlüsselbeiträge und Ergebnisse

A. Existenz und Invarianz der Schwellenwert-Form (Threshold Existence)

• Scharfer Sigmoid-Übergang: Über alle Umgebungen, Detektoren und Modellgrößen hinweg zeigt sich ein universeller, scharfer sigmoider Übergang der Detektionsrate von ~0 % auf ~100 %.
• Invarianz: Die Existenz und die Form (Sigmoid) dieses Schwellenwerts $\varepsilon^*$ sind universell.
• Variabilität: Die Position des Schwellenwerts $\varepsilon^*$ variiert stark und hängt von der Interaktion zwischen Detektorsensitivität, Rauschboden-Struktur und Umgebungs-Dynamik ab.

B. Sinusförmige Blindheit (Sinusoidal Blindness)

• Fundamentale Unwahrnehmbarkeit: Alle Detektoren (inklusive Varianz- und Perzentil-Detektoren ohne zeitliche Glättung) sind komplett blind gegenüber sinusförmigem Drift.
• Ursache: Dies ist keine Eigenschaft des Detektors, sondern des Weltmodells. Da die sinusförmige Störung symmetrisch um Null oszilliert, heben sich positive und negative Abweichungen auf. Das Weltmodell absorbiert diese periodische Varianz als „normale Variation" (Optimierung der Model-Evidence), ähnlich wie das Gehirn im Traum (Hobson & Friston). Der Vorhersagefehler-Signal enthält schlicht keine Information über den Drift.

C. Kollaps vor Bewusstsein (Collapse Before Awareness - CBA)

• Phänomen: In fragilen Umgebungen (insbesondere Hopper) kollabiert die Policy des Agenten (der Roboter fällt), bevor irgendein Detektor genug Evidenz gesammelt hat, um auszulösen.
• Bedeutung: Es gibt einen tödlichen, aber unsichtbaren Bereich, in dem die Drift stark genug ist, um katastrophales Versagen zu verursachen, aber zu schwach, um zeitnah erkannt zu werden. Dies ist eine fundamental nicht überwachbare Fehlermode für interne Monitore.

D. Analytische Charakterisierung von $\varepsilon^*$

• Power-Law-Beziehung: Innerhalb einer Umgebung folgt $\varepsilon^*$ einem klaren Potenzgesetz in Bezug auf die Detektor-Parameter (z. B. Z-Score-Schwellenwert $z$ und Fenstergröße $W$).
  • $R^2$ Werte liegen zwischen 0,89 und 0,97.
• Fehlende Variable: Ein globales Modell, das über alle Umgebungen hinweg trainiert wird, versagt ($R^2 = 0,45$). Der fehlende Faktor ist die umgebungsspezifische Dynamikstruktur ($\partial P_E / \partial \varepsilon$), also wie der Vorhersagefehler auf Drift reagiert.
• Rauschboden-Struktur: Die Basis-MSE (Mean Squared Error) ist kein guter Prädiktor für $\varepsilon^*$. Stattdessen ist die Form der Fehlerverteilung (z. B. „schwere Tails" bei Ant vs. „sauberer Rauschboden" bei HalfCheetah) entscheidend.

E. Unabhängigkeit von der Modellkapazität

• Die Position des Schwellenwerts $\varepsilon^*$ ändert sich nicht signifikant, wenn die Kapazität des Weltmodells (Anzahl der Neuronen) variiert wird.
• Begründung: Da Detektoren oft Z-Scores verwenden (relativer Fehler), kompensiert eine genauere Vorhersage (niedrigerer absoluter Fehler) durch eine niedrigere Baseline-Varianz. Das Verhältnis von Signal zu Rausch bleibt gleich.

4. Signifikanz und Implikationen

Das Paper redefiniert das Verständnis von Selbstüberwachung in RL-Agenten:

1. Von Emergenz zu Interaktion: Der Detektionsschwellenwert ist keine einfache emergente Eigenschaft des Weltmodells, sondern das Ergebnis einer Drei-Wege-Interaktion:
   • Struktur des Rauschbodens (Noise Floor).
   • Sensitivität des Detektors.
   • Dynamik der Umgebung.
2. Theoretische Verankerung: Die Ergebnisse lassen sich nahtlos in die Theorie des Predictive Processing (Friston) einordnen. Die „Blindheit" gegenüber Sinus-Drift ist keine Fehlfunktion, sondern eine adaptive Optimierung der Model-Evidence (Reduktion der freien Energie).
3. Praktische Warnsignale:
   • Sicherheitslücke: In fragilen Umgebungen existiert ein „blinder Fleck", in dem Agenten sterben, bevor sie es merken. Externe Überwachung ist zwingend erforderlich.
   • Adversarial Potential: Gegner könnten Sinus-artige Störungen nutzen, um Agenten unbemerkt zu manipulieren.
   • Fehleinschätzung: Die bloße Genauigkeit eines Modells (niedrige MSE) garantiert keine gute Detektionsfähigkeit. Die Umgebungs-Dynamik muss vor dem Einsatz von Monitoren charakterisiert werden.

Fazit: Die Studie zeigt, dass die Grenzen der Selbstüberwachung in RL-Agenten strukturierte Interaktionen sind und nicht nur von der Modellgüte abhängen. Sie identifiziert fundamentale physikalische und informationstheoretische Grenzen, insbesondere bei periodischen Störungen und in instabilen Umgebungen.