GEPC: Group-Equivariant Posterior Consistency for Out-of-Distribution Detection in Diffusion Models

Este artículo presenta GEPC, un método libre de entrenamiento que detecta datos fuera de distribución en modelos de difusión midiendo la inconsistencia de las transformaciones de la función de puntuación bajo grupos de simetría, logrando un rendimiento competitivo y mapas interpretables sin depender de la magnitud de la puntuación.

Lo esencial

Imagina que tienes un chef experto (el modelo de difusión) que ha pasado años cocinando solo tacos de carne (los datos de entrenamiento o "In-Distribution"). Este chef conoce cada ingrediente, cada especia y cada movimiento necesario para hacer un taco perfecto. Si le pides un taco, sabe exactamente cómo debe oler, saber y verse.

Ahora, imagina que alguien le da un sushi (un dato "Out-of-Distribution" o OOD) y le pregunta: "¿Qué es esto?".

El problema es que si el chef solo mira la cantidad de comida en el plato (la magnitud del score), el sushi podría parecerle un taco gigante. No sabe distinguir la diferencia porque, para él, ambos son "comida".

Aquí es donde entra el método GEPC de este artículo. En lugar de preguntar "¿cuánta comida hay?", GEPC le hace una pregunta mucho más astuta: "¿Se comporta este plato como un taco si lo giramos o lo volteamos?".

La Analogía del "Chef y el Espejo"

1. La Regla de Oro de los Tacos (Simetría):
   Los tacos tienen una regla interna: si los giras 180 grados o los reflejas en un espejo, siguen siendo tacos. Su estructura es consistente. El chef, al haber aprendido a hacer tacos, ha internalizado esta regla. Si le muestras un taco y luego le muestras el mismo taco reflejado, sus "instrucciones internas" (el score) deberían cambiar de la misma manera que la imagen. Todo encaja perfectamente.

2. El Sushi Rompe la Regla (Inconsistencia):
   Ahora, le das el sushi al chef. Si giras el sushi, su estructura interna (el arroz, el pescado, el alga) no se comporta igual que la de un taco. El sushi tiene una forma y una lógica diferente. Cuando el chef intenta aplicar sus "instrucciones de taco" al sushi girado, algo sale mal. Sus predicciones se vuelven locas y contradictorias.

3. GEPC es el Inspector:
   GEPC es como un inspector que no se fija en el sabor, sino en la coherencia de las reglas.

   • Toma una imagen (el plato).

   • La "ruido" un poco (como si el chef estuviera un poco mareado por el humo de la cocina).

   • Le pide al chef que prediga cómo se ve el plato.

   • Luego, gira o refleja el plato y le pide al chef que prediga de nuevo.

   • Finalmente, gira la predicción del chef para ver si coincide con la predicción original.

   • Si es un Taco (Datos Normales): La predicción gira y encaja perfectamente. El inspector dice: "¡Todo está bien! Esto es consistente".

   • Si es un Sushi (Datos Extraños): La predicción no encaja. El inspector nota la discrepancia: "¡Oye! Si giras esto, las reglas del taco no funcionan. ¡Esto es una anomalía!".

¿Por qué es genial esto?

• No necesita reentrenar al chef: GEPC funciona con el chef que ya tienes. No tienes que enseñarle de nuevo qué es un sushi. Solo lo usas como una herramienta de prueba.
• Es rápido y eficiente: A diferencia de otros métodos que tienen que "deshacer" todo el proceso de cocina paso a paso (lo cual es lento y costoso), GEPC solo da un par de vueltas rápidas al plato para ver si se rompe la lógica.
• Funciona incluso en imágenes complejas: El artículo prueba esto con imágenes de radar (como ver barcos en el mar). El "mar" es el fondo (datos normales) y el "barco" es la anomalía. GEPC logra ver el barco porque rompe la simetría del mar, creando un mapa visual que dice: "Aquí, la regla del mar se rompió".

En resumen

GEPC es como un detective de la lógica. En lugar de decir "esto se ve raro", dice: "esto no sigue las reglas de simetría que aprendimos de los datos normales".

• Datos Normales: Se comportan bien al girarlos (como un taco).
• Datos Extraños: Se rompen al girarlos (como un sushi intentando ser un taco).

Al medir cuánto se "rompe" la lógica al girar la imagen, GEPC puede detectar con gran precisión si algo no pertenece a nuestro mundo conocido, todo sin necesidad de volver a entrenar al modelo ni de hacer cálculos matemáticos extremadamente pesados. Es una forma inteligente de usar la geometría y la simetría para encontrar lo extraño.

Resumen técnico

Resumen Técnico: GEPC para Detección de Distribución Fuera de Entrenamiento (OOD)

1. El Problema

La detección de entradas fuera de distribución (OOD) es un desafío fundamental para desplegar modelos de aprendizaje automático fiables. Aunque los modelos de difusión (Diffusion Models) han emergido como priors potentes para la detección de anomalías, los métodos actuales basados en difusión presentan limitaciones:

• Enfoque en magnitud o geometría local: La mayoría de los detectores OOD existentes explotan la magnitud del score (gradiente logarítmico) o la geometría local (energía, curvatura, espectro de covarianza).
• Ignorancia de simetrías: Estos métodos a menudo ignoran las simetrías aproximadas (como inversiones, rotaciones o desplazamientos circulares) que los modelos de difusión aprenden de los datos de entrenamiento (ID) y de sus arquitecturas base (como las CNN).
• Costo computacional: Algunos métodos requieren pasos inversos adicionales o cálculos costosos relacionados con el Jacobiano (productos Jacobiano-vector).

El objetivo es desarrollar un método que detecte OOD midiendo la inconsistencia de las simetrías aprendidas por el modelo, sin necesidad de reentrenamiento ni cálculos de Jacobiano.

2. Metodología: GEPC (Group-Equivariant Posterior Consistency)

Los autores proponen GEPC, una sonda (probe) libre de entrenamiento que mide la consistencia posterior de un modelo de difusión preentrenado bajo un grupo finito de transformaciones $G$.

Concepto Central:
Si los datos de entrenamiento (ID) son aproximadamente invariantes bajo un grupo $G$ (ej. rotaciones, flips) y la red base es convolucional, el campo de scores aprendido $s_\theta(x_t, t)$ debería ser aproximadamente equivariante en $G$ para muestras ID. Sin embargo, para muestras OOD (que violan estas simetrías o están lejos de la variedad de datos), esta consistencia posterior se rompe.

Algoritmo GEPC:

1. Ruido y Transporte: Dada una entrada $x_0$, se genera una versión ruidosa $x_t$ en un paso de tiempo $t$. Se aplica una transformación $g \in G$ a $x_t$ para obtener $P_g x_t$.
2. Evaluación de Score: Se calcula el score predicho por el modelo para la imagen transformada: $s_\theta(P_g x_t, t)$.
3. Transporte Inverso: Se transporta este score de vuelta al marco original aplicando la operación inversa $P_g^\top$ (o $P_g^{-1}$): $\tilde{s} = P_g^\top s_\theta(P_g x_t, t)$.
4. Cálculo del Residual: Se mide la diferencia entre el score transportado y el score original:
   $$r_t(x_t, g) = P_g^\top s_\theta(P_g x_t, t) - s_\theta(x_t, t)$$
   Si el modelo es equivariante, este residual debería ser cero.
5. Agregación: Se calcula la energía del residual (norma $L_2$), se promedia sobre el grupo $G$ y se agrega a través de varios pasos de tiempo seleccionados $T$.
6. Calibración: El estadístico resultante se calibra utilizando únicamente datos de entrenamiento (ID) (mediante KDE, puntuación Z o Mahalanobis) para obtener una puntuación OOD final.

Ventajas Clave:

• Libre de entrenamiento: No requiere fine-tuning ni cambios arquitectónicos.
• Sin Jacobiano: No requiere calcular derivadas de segundo orden o productos Jacobiano-vector.
• Interpretabilidad: Genera mapas espaciales de "ruptura de equivarianza" que muestran dónde el modelo falla en mantener la simetría.

3. Contribuciones Clave

1. Introducción de GEPC: Un nuevo puntaje OOD que prueba la consistencia grupal de los campos de score de difusión a través de transformaciones y pasos de tiempo.
2. Análisis Teórico:
   • Derivan cotas superiores para la distribución ID y cotas inferiores para la OOD bajo suposiciones suaves de error de score.
   • Demuestran que el residual ideal de GEPC está relacionado con un funcional de ruptura de equivarianza.
   • Analizan el caso de "backbone cruzado" (cuando el modelo se entrena en una distribución fuente y se prueba en otra), mostrando que la distancia a la variedad de datos fuente impulsa la detección.
3. Receta Práctica: Proporcionan un protocolo completo que incluye selección de pasos de tiempo basada en estabilidad (coeficiente de variación), agrupación de características y calibración solo con datos ID.
4. Validación Empírica: Demuestran que GEPC es competitivo o superior a métodos basados en curvatura, espectro y trayectorias, manteniendo un costo computacional bajo.

4. Resultados Experimentales

El método se evaluó en dos regímenes principales:

• Benchmarks de Imágenes (32x32):

  • Configuración: Se utilizó un único backbone de difusión mejorado entrenado en CelebA para detectar OOD en pares de conjuntos de datos como CIFAR-10, SVHN y CIFAR-100.
  • Rendimiento: GEPC logró un AUROC competitivo (ej. ~0.908 promedio en 9 pares) comparado con baselines como SCOPED, DiffPath y LMD.
  • Eficiencia: Requiere un número de evaluaciones de funciones (NFE) similar a las baselines simples de norma de score (aprox. 16 forward passes), evitando los costosos pasos inversos de otros métodos.

• Detección en Imágenes SAR (Alta Resolución):

  • Escenario: Detección de barcos y estelas en imágenes de Radar de Apertura Sintética (SAR) de 256x256, utilizando un backbone entrenado en LSUN (sin ajuste fino en SAR).
  • Resultado: GEPC mostró una fuerte separación entre el fondo (clutter marino, ID) y los objetivos (barcos, OOD).
  • Interpretabilidad: Los mapas de ruptura de equivarianza generados por GEPC localizaron visualmente con precisión los barcos y sus estelas, demostrando utilidad en escenarios de sensores críticos.

5. Significado e Impacto

• Nueva Perspectiva: GEPC cambia el paradigma de usar la equivarianza como un sesgo inductivo para el entrenamiento a utilizarla como una señal estadística de prueba para la detección.
• Robustez en Dominios Cruzados: La capacidad de GEPC para funcionar bien cuando el backbone se entrena en un dominio (ej. imágenes naturales) y se aplica a otro (ej. radar SAR) sin ajuste fino es un hallazgo significativo para aplicaciones de sensores remotos y seguridad.
• Eficiencia y Simplicidad: Al evitar el cálculo de Jacobianos y el reentrenamiento, GEPC ofrece una solución práctica y escalable para la detección de anomalías en modelos generativos modernos.
• Interpretabilidad: A diferencia de los puntajes escalares oscuros, GEPC proporciona mapas de calor que explican por qué una imagen se considera OOD (violación de simetrías específicas), lo cual es crucial para la confianza en sistemas de IA.

En conclusión, el artículo presenta GEPC como una herramienta robusta, eficiente e interpretable que aprovecha las propiedades de simetría inherentes a los modelos de difusión para mejorar la detección de datos fuera de distribución.