Anomaly detection using surprisals

Este artículo propone un marco unificado para la detección de anomalías basado en los valores de sorpresa (surprisals) y sus distribuciones de cola, ofreciendo estimadores empíricos y de valores extremos que permiten identificar anomalías en datos complejos incluso bajo una especificación de modelo incorrecta.

Lo esencial

🕵️‍♂️ El Problema: Buscar lo raro en un mundo desordenado

Imagina que eres un detective buscando comportamientos extraños en una multitud.

• El método antiguo: La mayoría de los detectores de anomalías actúan como guardias de seguridad muy estrictos que solo miran si alguien está muy lejos de la multitud (en la cola de la distribución). Si alguien está en el medio, pero en un lugar extraño (como entre dos grupos de gente que no se llevan bien), el guardia lo ignora porque "está cerca de alguien". Además, estos métodos suelen asumir que la gente se comporta de una manera muy predecible (como si todos fueran normales), lo cual no siempre es cierto.

💡 La Idea Brillante: La "Sorpresa" (Surprisal)

Los autores, Rob Hyndman y David Frazier, proponen una nueva forma de pensar. En lugar de medir la distancia, miden la sorpresa.

Imagina que tienes un mago que conoce las reglas del juego (el modelo estadístico).

1. Cuando ves a alguien, el mago dice: "¡Qué sorpresa! ¡Esto es muy raro según mis reglas!".
2. A esa sensación de sorpresa la llaman "Surprisal" (o sorpresa en español).
   • Si algo es muy común, la sorpresa es baja (como ver a alguien usando un abrigo en verano: normal, poca sorpresa).
   • Si algo es muy raro, la sorpresa es alta (como ver a alguien usando un traje de baño en la nieve: ¡mucha sorpresa!).

El truco: No importa si el mago es un poco torpe y sus reglas no son perfectas. Lo importante es que, si algo es realmente extraño, el mago se sorprenderá mucho.

🛠️ La Herramienta: Dos formas de medir la sorpresa

El problema es que a veces no sabemos las reglas exactas del juego (no conocemos la distribución real de los datos). Entonces, ¿cómo sabemos si la sorpresa es demasiado alta? Usan dos métodos:

1. El Método del "Contador" (Empírico)

Imagina que tienes una lista de 1,000 personas.

• Calculas la sorpresa de cada una.
• Ordenas la lista de "menos sorpresa" a "más sorpresa".
• Si alguien está en el top 1% de la lista de los más sorprendentes, ¡ese es un sospechoso!
• La ventaja: No necesitas saber la teoría compleja. Solo necesitas ordenar la lista. Es como decir: "No importa quién sea, si estás en el grupo de los 10 más raros de la sala, te vamos a investigar".

2. El Método del "Adivino Extremo" (GPD)

A veces, la lista es tan larga que el "top 1%" es difícil de ver, o los datos son muy pocos.

• Aquí usan una técnica de matemáticas avanzadas (Teoría de Valores Extremos) que actúa como un adivino.
• El adivino mira a las personas más sorprendentes que ha visto hasta ahora y dice: "Basado en estos pocos casos extremos, puedo predecir qué tan raro es el siguiente".
• La ventaja: Funciona incluso si no tienes muchos datos, pero requiere que el adivino elija bien su "punto de partida".

🌍 ¿Por qué es tan genial? (La Magia de la Robustez)

Aquí viene la parte más importante. Imagina que el mago (el modelo) está un poco equivocado.

• Escenario: El mago cree que todos los días son soleados, pero en realidad llueve a veces.
• Resultado: Si llueve, el mago se sorprenderá mucho. Aunque su regla ("hace sol") sea incorrecta, su nivel de sorpresa sigue siendo alto para los días de lluvia.
• La conclusión: El sistema funciona incluso si el modelo es incorrecto, siempre y cuando el modelo sepa dónde buscar lo raro. No necesita ser perfecto, solo necesita saber que "aquí hay algo fuera de lugar".

📊 Ejemplos de la vida real (de la investigación)

Los autores probaron su método en dos casos reales:

1. La mortalidad en Francia:

   • Analizaron datos de muertes durante 200 años.
   • El sistema detectó picos de mortalidad que coincidían perfectamente con guerras y epidemias (como la gripe española o la Primera Guerra Mundial).
   • La analogía: Fue como si el sistema dijera: "Oye, en 1918 hubo una 'sorpresa' masiva en las muertes, ¡algo muy grave está pasando!".

2. El Críquet (Béisbol británico):

   • Analizaron a jugadores de críquet. La mayoría de los "no eliminados" (no out) son comunes.
   • Pero el sistema encontró a un jugador (Jimmy Anderson) que tenía una cantidad de "no eliminados" que, aunque no era el récord absoluto, era estadísticamente imposible según su modelo de carrera.
   • La analogía: Era como encontrar a un corredor que, aunque no corre rápido, nunca tropieza en una carrera de obstáculos. El sistema detectó que su habilidad de "no caer" era anormalmente alta para su tipo de jugador.

🎯 En resumen

Este papel nos dice que para encontrar cosas raras (anomalías):

1. No necesitas un modelo perfecto.
2. Solo necesitas medir cuánto te sorprende un dato.
3. Luego, comparas esa sorpresa con la historia de las sorpresas anteriores.
4. Si la sorpresa es mayor de lo esperado, ¡tienes una anomalía!

Es como tener un termómetro de rareza que funciona incluso si el clima cambia de repente. Es más flexible, más inteligente y menos propenso a errores que los métodos antiguos.

¡Y lo mejor de todo! Los autores han creado un paquete de software (llamado weird en R) para que cualquiera pueda usar esta magia para detectar lo extraño en sus propios datos.

Resumen técnico

Resumen Técnico: Detección de Anomalías mediante Surprisals

1. El Problema

Los métodos tradicionales de detección de anomalías suelen basarse en reglas ad hoc o en supuestos distribucionales fuertes que a menudo no se cumplen en la práctica. Además, tienden a centrarse exclusivamente en eventos de cola (valores extremos), ignorando las anomalías "inliers" que ocurren en brechas de baja densidad entre modos en distribuciones multimodales.

El desafío principal radica en definir una anomalía de manera rigurosa que sea robusta ante la mala especificación del modelo. Si el modelo subyacente (la distribución $F$) es incorrecto, los métodos basados en la cola de esa distribución específica pueden generar falsos positivos o negativos masivos.

2. Metodología Propuesta

Los autores proponen un marco unificado que redefine una anomalía como una observación con una probabilidad inusualmente baja bajo un modelo (posiblemente mal especificado). La metodología se basa en tres pilares:

A. Definición de Surprisal (Sorpresa)

En lugar de trabajar directamente con la distribución multivariada o compleja $F$, el método transforma los datos en una variable univariada llamada surprisal ($s$), definida como el logaritmo negativo de la densidad generalizada:
$$s_i = -\log f(y_i)$$
Donde $f$ es la función de densidad de probabilidad (o masa) del modelo asumido.

• Un valor alto de $s_i$ indica que la observación $y_i$ es poco probable (baja densidad) y, por tanto, potencialmente anómala.
• Este enfoque convierte cualquier problema de detección de anomalías (univariado, multivariado, en variedades o espacios no euclidianos) en un problema de estimación de la cola de una distribución univariada $G(s)$.

B. Puntuación de Anomalía

La puntuación de anomalía para una observación $y_i$ se define como la probabilidad de observar un surprisal tan grande o mayor:
$$p_i = \Pr(S \ge s_i) = 1 - G(s_i^-)$$
Una observación se marca como anomalía si $p_i < \alpha$ (donde $\alpha$ es la tasa de falsos positivos deseada). Esto permite detectar anomalías en cualquier región de baja densidad, no solo en las colas extremas.

C. Estimación de Probabilidades de Cola

Dado que la verdadera distribución $F$ suele ser desconocida, el método estima las probabilidades de cola de los valores de surprisal utilizando tres enfoques, siendo los dos últimos robustos a la mala especificación:

1. Estimador Empírico: Calcula la proporción de valores de surprisal observados que son mayores o iguales a $s_i$.

   • Condición de validez: Requiere que el ordenamiento de los valores de surprisal en la cola del modelo ajustado coincida con el de la distribución real (transformación estrictamente creciente en la cola).
   • Garantía: Se derivan garantías de confianza de muestra finita mediante la desigualdad de Dvoretzky–Kiefer–Wolfowitz.

2. Estimador de Valores Extremos (GPD): Ajusta una Distribución de Pareto Generalizada (GPD) a los valores de surprisal más altos (por encima de un umbral).

   • Fundamento: Bajo condiciones débiles sobre la cola de la distribución de surprisals (sub-Gaussiana, sub-exponencial o con momentos polinomiales), el máximo de los surprisals converge a una distribución de valores extremos.
   • Ventaja: Permite extrapolar más allá de los datos observados y reduce la varianza en muestras pequeñas.

D. Aplicación a Distribuciones Condicionales

El marco se extiende a modelos condicionales (ej. regresión). Si se fija el vector de covariables $X$, la teoría se mantiene. Si $X$ varía, el comportamiento del surprisal está determinado por la distribución conjunta, permitiendo detectar anomalías donde el modelo condicional falla, incluso si los valores marginales de $Z$ y $X$ son típicos.

3. Contribuciones Clave

1. Marco Unificado y Robusto: Proporciona una definición teórica sólida de anomalía basada en la densidad, aplicable a datos univariados, multivariados, discretos, continuos o mixtos.
2. Tolerancia a la Mala Especificación: Demuestran teóricamente que se puede utilizar un modelo incorrecto para calcular los surprisales, siempre que el ordenamiento de la cola se preserve.
   • Hallazgo crucial: Es más seguro asumir colas más pesadas de las reales (sobreestimar) que asumir colas más ligeras (subestimar). Subestimar la pesadez de la cola conduce a una convergencia lenta y detección inexacta, mientras que sobreestimar tiene un costo menor.
3. Garantías Teóricas:
   • Para el método empírico: Condiciones necesarias y suficientes (Asunción 2.1) para preservar el ordenamiento en la cola y garantías de error uniforme.
   • Para el método GPD: Teoremas de límite (Teorema 3.1) que establecen cuándo el máximo de los surprisals converge a distribuciones de valores extremos (Weibull, Gumbel, Fréchet) bajo diferentes supuestos de momentos.
4. Implementación Práctica: Desarrollo del paquete R weird para facilitar la aplicación del método.

4. Resultados y Validación

Simulaciones

• Normal vs. t(4): Se generaron datos de una distribución Normal, pero se calcularon los surprisales usando una distribución t de Student (y viceversa). Los estimadores empíricos y GPD proporcionaron estimaciones de cola precisas a pesar del modelo incorrecto, mientras que el uso directo del modelo mal especificado falló.
• Datos Bivariados Gamma: Se compararon tamaños de muestra de 100 a 10,000. El método GPD convergió más rápido que el empírico. Nuevamente, usar un modelo de cola más pesada (t-Student) como referencia funcionó mejor que usar uno más ligero (Normal) cuando los datos reales eran Gamma.

Aplicaciones del Mundo Real

1. Tasas de Mortalidad Francesas (1816-1999):
   • Se analizaron series temporales por edad y sexo.
   • El método detectó anomalías históricas significativas que coincidían con guerras (Primera y Segunda Guerra Mundial, Guerra Franco-Prusiana) y epidemias (Cólera, Gripe Española), identificando picos de mortalidad en años específicos y grupos de edad.
2. Cricket de Test (Not Outs):
   • Se analizó la proporción de innings donde los bateadores no fueron eliminados ("not out").
   • Se identificó al bateador inglés Jimmy Anderson como una anomalía. Aunque su proporción de "not outs" no parecía extrema en un análisis simple, el modelo (Binomial con enlace logit y splines) reveló que su número de "not outs" (114 en 265 innings) era estadísticamente inusual dado su perfil de bateador defensivo y la cantidad de innings jugados. Esto demuestra la capacidad del método para detectar anomalías contextuales que otros métodos pasarían por alto.

5. Significado e Impacto

Este trabajo transforma la detección de anomalías de un problema de modelado complejo a uno de estimación de colas univariadas. Su principal aporte es la separación entre la especificación del modelo de trabajo y la estimación de la probabilidad de cola.

• Interpretabilidad: Ofrece una medida única de "incredibilidad" (surprisal) aplicable a cualquier tipo de dato.
• Escalabilidad: Computacionalmente eficiente (lineal en el tamaño de la muestra para calcular surprisales, solo requiere ordenamiento para el método empírico).
• Robustez: Permite a los analistas utilizar modelos aproximados o teóricos sin miedo a que una especificación imperfecta arruine la detección de anomalías, siempre que se utilicen los estimadores de cola propuestos (empírico o GPD).

En conclusión, el marco basado en surprisals ofrece un enfoque riguroso, flexible y teóricamente fundamentado para la detección de anomalías, superando las limitaciones de los métodos tradicionales al manejar eficazmente la incertidumbre del modelo y la complejidad de los datos reales.