The Boiling Frog Threshold: Criticality and Blindness in World Model-Based Anomaly Detection Under Gradual Drift

El estudio revela que la capacidad de un agente de aprendizaje por refuerzo para detectar la degradación gradual de sus observaciones depende de un umbral crítico universal que surge de la interacción entre el nivel de ruido, el detector y la dinámica específica del entorno, lo que explica tanto la existencia de un punto de ruptura agudo como la imposibilidad de detectar ciertos patrones de deriva o fallos catastróficos antes de que ocurran.

Lo esencial

Imagina que un robot inteligente (un agente de Inteligencia Artificial) tiene un "soñador" interno. Este soñador es un modelo que le dice al robot: "Si hago esto, pasará aquello". El robot confía en este soñador para moverse por el mundo.

El problema es: ¿Qué pasa si los ojos del robot se van empañando poco a poco? ¿Cuándo se da cuenta el robot de que algo va mal? ¿O sigue caminando felizmente hasta que se estrella?

Este estudio, titulado "El Umbral de la Rana Hervida", investiga exactamente eso. Los investigadores descubrieron que la capacidad del robot para darse cuenta de que está "ciego" no depende solo de lo inteligente que sea, sino de una mezcla extraña entre tres cosas: cómo funciona el robot, cómo mide sus errores y qué tan frágil es el entorno.

Aquí tienes los hallazgos principales explicados con analogías sencillas:

1. La "Rana Hervida" tiene un punto de no retorno

Imagina que pones una rana en agua fría y la calientas muy lentamente. La rana no se da cuenta hasta que es demasiado tarde.

• El descubrimiento: Los robots también tienen un "punto de ebullición" (llamado $\epsilon^*$).
• La regla: Si el empañamiento de sus ojos es muy lento (por debajo del umbral), el robot lo ignora y lo considera "ruido normal". Pero si el empañamiento cruza una línea invisible, el robot se despierta de golpe y dice: "¡Algo está mal!".
• La sorpresa: Esta línea existe siempre, sin importar qué tipo de alarma uses o qué tan potente sea el cerebro del robot. La forma de la alarma es siempre la misma (una curva suave que se vuelve vertical), pero dónde está esa línea cambia según el entorno.

2. La ceguera ante el "bailarín" (Drift Sinusoidal)

Los investigadores probaron dos tipos de empañamiento:

1. Lineal: Como un vaso de agua que se llena lentamente hasta desbordarse.
2. Sinusoidal (Oscilante): Como si alguien empujara al robot hacia la izquierda y luego hacia la derecha con la misma fuerza, una y otra vez, como un péndulo.

• El hallazgo: ¡El robot es completamente ciego al movimiento oscilante!
• La analogía: Imagina que estás en un barco en medio del mar. Si el barco se inclina un poco a la izquierda y luego a la derecha, tu cerebro asume que es el balanceo normal del mar. No te das cuenta de que el barco se está hundiendo porque el movimiento "cancela" el error.
• Conclusión: Si un enemigo quiere engañar a un robot, no necesita empañarle los ojos lentamente; solo necesita hacer que los ojos vibren de un lado a otro. El robot creerá que es normal y no se despertará nunca.

3. El colapso antes de despertar (El robot se cae antes de darse cuenta)

En algunos entornos, como un robot que salta sobre una sola pierna (llamado Hopper), ocurre algo trágico:

• El escenario: El robot empieza a fallar por el empañamiento.
• El problema: El robot se cae y muere antes de que su alarma interna suene.
• La analogía: Es como un conductor que se queda dormido al volante. El coche empieza a salirse de la carretera, pero el conductor no se despierta hasta que ya ha chocado contra el árbol. En estos casos, el robot es demasiado frágil; el peligro es mortal pero invisible para sus propios sensores internos.

4. No basta con tener un "cerebro" más grande

Mucha gente pensaría: "Si le damos al robot un cerebro más grande y potente, verá los errores antes".

• La realidad: No sirve de nada. Si el robot tiene un cerebro gigante pero el entorno es ruidoso, seguirá fallando en el mismo momento.
• La explicación: El robot no compara el error absoluto (¿cuánto me equivoqué?), sino el error relativo (¿cuánto me equivoqué comparado con lo que suelo equivocarme?). Si el robot es muy bueno, se equivoca muy poco, pero su alarma también se ajusta a ese nivel bajo. Es como intentar escuchar un susurro en una biblioteca: si el susurro es igual de fuerte que el silencio de fondo, no importa si tienes oídos de superhéroe; no lo escucharás.

¿Qué nos enseña esto para el futuro?

1. Cuidado con los movimientos oscilantes: Si un sistema de IA se basa en predecir el futuro, puede ser engañado fácilmente por perturbaciones que van y vienen (como un ataque cibernético sutil).
2. No confíes solo en la precisión: Tener un modelo de IA muy preciso no garantiza que detecte peligros. A veces, el entorno es tan inestable que el robot se rompe antes de poder decir "ayuda".
3. Necesitamos vigías externos: En situaciones críticas (como un coche autónomo o un robot médico), no podemos confiar solo en que el robot se dé cuenta de que está fallando. Necesitamos un "segundo piloto" o un sistema externo que vigile al robot, porque a veces el robot está ciego hasta que es demasiado tarde.

En resumen: El robot no es un detective infalible. Tiene un "punto de despertar" que depende de una danza compleja entre su propio diseño, su sistema de alarma y la naturaleza del mundo en el que vive. A veces, esa danza le impide ver el peligro hasta que ya es demasiado tarde.

Resumen técnico

Resumen Técnico: El Umbral de la Rana Hirviendo en Agentes de RL

1. Planteamiento del Problema

Los agentes de Aprendizaje por Refuerzo (RL) dependen cada vez más de modelos del mundo internos para la planificación. Una capacidad subexplorada de estos modelos es la auto-supervisión: si un agente puede predecir su entorno, los fallos sistemáticos en la predicción podrían señalar anomalías (degradación de sensores o cambios adversarios).

El problema central abordado no es si un agente puede detectar cambios abruptos, sino cómo y cuándo detecta la corrupción perceptiva gradual. En escenarios del mundo real (niebla en cámaras, deriva de LiDAR), los cambios son lentos. La pregunta crítica es: ¿A qué tasa de deriva ("drift") el agente "despierta" y qué determina este límite? El estudio busca definir la frontera entre la conciencia (detección) y la oblivious (fallo silencioso).

2. Metodología

El estudio se basa en una ablación sistemática en cuatro entornos de MuJoCo (HalfCheetah, Hopper, Walker2d, Ant) utilizando agentes PPO.

• Modelo del Mundo: Se entrena un modelo de dinámica forward simple (MLP de 3 capas) para predecir el siguiente estado $s_{t+1}$ dado el estado actual $s_t$ y la acción $a_t$. El error de predicción ($PE$) es la señal de monitoreo.
• Inyección de Deriva: Se introduce una deriva gradual en las dimensiones de observación relacionadas con la velocidad a partir del paso 300. Se prueban dos perfiles:
  • Lineal: $g = \varepsilon \cdot t$ (crecimiento monótono).
  • Sinusoidal: $g = \varepsilon \cdot \sin(2\pi \cdot 0.01 \cdot t)$ (periódico, media cero).
• Familias de Detectores: Se evalúan tres tipos fundamentalmente diferentes para aislar efectos del detector:
  1. Índice de Duda (Doubt Index - DI): Promedio móvil exponencial (EMA) con umbral z-score.
  2. Detector de Varianza: Monitorea la varianza del error de predicción (segundo momento).
  3. Detector Percentil: Compara el error actual directamente con la distribución base (sin suavizado temporal).
• Variables: Se prueban tres capacidades de modelo (pequeño, mediano, grande) y múltiples configuraciones de hiperparámetros.

3. Contribuciones Clave

El artículo presenta cuatro hallazgos principales que redefinen la comprensión de la auto-supervisión en RL:

1. Existencia e Invarianza del Umbral ($\varepsilon^*$): Existe un umbral de detección agudo y universal con forma de sigmoide. Por debajo de $\varepsilon^*$, la deriva se absorbe como variación normal; por encima, la detección es rápida. La forma es invariante, pero la posición del umbral depende de la interacción entre el detector y el entorno.
2. Ceguera Sinusoidal como Propiedad del Modelo: Todos los detectores (incluso los que no usan suavizado temporal) son completamente ciegos a la deriva sinusoidal. Esto no es un artefacto del detector, sino una propiedad del modelo del mundo: el modelo "absorbe" la varianza periódica como ruido esperado, optimizando la evidencia del modelo.
3. Caracterización Analítica de $\varepsilon^*$: Dentro de un entorno, $\varepsilon^*$ sigue una ley de potencia en función de los parámetros del detector ($R^2 = 0.89–0.97$). Sin embargo, predecir $\varepsilon^*$ entre diferentes entornos falla ($R^2 = 0.45$), revelando que la variable faltante es la estructura dinámica específica del entorno ($\partial PE / \partial \varepsilon$).
4. Colapso antes de la Conciencia (CBA): En entornos frágiles (como Hopper), la política del agente colapsa físicamente antes de que cualquier detector acumule evidencia suficiente para disparar. Esto crea un modo de fallo fundamentalmente no monitoreable.

4. Resultados Detallados

• Comportamiento Sigmoidal: La tasa de detección transita abruptamente de ~0% a ~100% a medida que aumenta la intensidad de la deriva. La posición de este umbral varía según la sensibilidad del detector (ej. detectores de varianza con $k=2$ detectan más temprano que índices de duda estrictos), pero la forma de la curva es consistente.
• Análisis de Ceguera Sinusoidal: Incluso con perturbaciones de gran magnitud ($\varepsilon=0.5$), la tasa de detección es cero. El análisis espectral confirma que la deriva sinusoidal produce un poder de error de predicción indistinguible del ruido base (0.8x), mientras que la deriva lineal lo aumenta drásticamente (201.6x). El modelo del mundo trata la oscilación simétrica como ruido, no como señal.
• Colapso antes de la Conciencia (CBA): En Hopper, el agente cae en ~25 pasos tras el inicio de la deriva, mientras que los detectores requieren ~50 pasos de datos post-deriva para activarse. Esto define un régimen de "punto ciego" donde la perturbación es letal pero invisible para el monitor interno.
• Independencia de la Capacidad del Modelo: Aumentar el tamaño del modelo (de 128 a 1024 unidades ocultas) reduce el error absoluto (MSE), pero no cambia la posición del umbral $\varepsilon^*$. Esto se debe a que los detectores usan normalización z-score (relativa), por lo que la relación señal-ruido permanece constante.
• Estructura del Ruido: El umbral no depende solo del MSE base, sino de la forma de la distribución del error (peso de la cola). Por ejemplo, en Ant, el umbral es muy sensible al parámetro $z$ (cola pesada), mientras que en HalfCheetah es menos sensible.

5. Significado e Implicaciones

• Reencuadre Teórico: El umbral de detección no es una propiedad emergente simple del modelo del mundo, sino el resultado de una interacción de tres vías:
  1. Estructura del suelo de ruido (distribución del error).
  2. Sensibilidad del detector.
  3. Dinámica del entorno (cómo responde el error a la deriva).
• Conexión con Procesamiento Predictivo: Los resultados se alinean con el principio de energía libre. El modelo "sueña" a través de la perturbación periódica absorbiéndola para maximizar la evidencia del modelo, lo que explica la ceguera sinusoidal.
• Implicaciones Prácticas para Despliegue:
  • Vulnerabilidad a Adversarios: Los atacantes pueden diseñar perturbaciones oscilatorias (cero media) que sean invisibles para los monitores basados en error de predicción.
  • Necesidad de Monitoreo Externo: Para agentes frágiles en entornos críticos, el monitoreo interno es insuficiente debido al fenómeno CBA; se requieren sistemas de supervisión externos.
  • MSE no es suficiente: La precisión del modelo (MSE bajo) no garantiza una buena capacidad de detección. Es necesario caracterizar la respuesta dinámica del entorno ($\partial PE / \partial \varepsilon$) antes de desplegar.

En conclusión, el paper demuestra que la auto-supervisión en RL tiene límites fundamentales definidos por la física del entorno y la naturaleza de la perturbación, y no solo por la calidad del modelo o la sensibilidad del detector.