Ranked Activation Shift for Post-Hoc Out-of-Distribution Detection

El artículo propone un método post-hoc libre de hiperparámetros llamado Ranked Activation Shift que mejora la detección de datos fuera de distribución al reemplazar las magnitudes de activación ordenadas por un perfil de referencia fijo, logrando un rendimiento consistente en diversos modelos y conjuntos de datos sin alterar la precisión de clasificación.

Lo esencial

¡Claro que sí! Imagina que tienes un chef experto (el modelo de Inteligencia Artificial) que ha pasado años cocinando solo platos italianos (datos de entrenamiento). Su especialidad es la pasta, la pizza y el risotto.

Ahora, imagina que este chef empieza a trabajar en un restaurante abierto al público. Un día, alguien le entrega un plato de sushi crudo o un postre mexicano que nunca ha visto.

• El problema: El chef, al no reconocer los ingredientes, podría decir: "¡Esto es la mejor pizza que he probado!" con total seguridad, o podría entrar en pánico y decir "¡No sé qué es esto!". En el mundo de la IA, esto se llama detección de datos "fuera de distribución" (OoD). Si el coche autónomo ve un oso en la carretera y el modelo cree que es un cartel de "Stop", es un desastre. Necesitamos que el modelo sepa decir: "Oye, esto no es lo que yo sé cocinar".

• La solución actual (y sus fallos): Hasta ahora, los métodos para detectar estos "platos extraños" funcionaban como un filtro de cocina. Decían: "Si el chef está usando demasiada sal (activaciones muy altas), quítale un poco" o "Si usa muy poca, agrégale más".

  • El problema es que estos filtros a veces fallaban. Si el chef usaba un tipo de sartén diferente (una arquitectura de modelo nueva, como los Transformers) o si los ingredientes tenían sabores extraños (valores negativos), el filtro se rompía. Era como intentar usar una regla de madera para medir un líquido: no funcionaba bien en todos los casos.

La nueva propuesta: RAS (El "Perfil de Sabor" Estándar)

Los autores de este paper, Gianluca y Marc, proponen una idea brillante y sencilla llamada RAS (Ranked Activation Shift).

Imagina que, en lugar de intentar adivinar cuánto sal o pimienta le falta al plato extraño, hacemos algo más inteligente:

1. Creamos una "Huella Digital" de la cocina: Durante la preparación, tomamos todos los platos italianos que el chef sabe hacer (los datos de entrenamiento). Ordenamos los ingredientes de cada plato por intensidad (del más suave al más fuerte) y calculamos el promedio.

   • Ejemplo: En un plato de pasta promedio, el 10% más fuerte es el queso, el 20% siguiente es el tomate, etc. Guardamos este "perfil de sabor promedio" como una referencia perfecta.

2. La prueba del plato extraño: Cuando llega ese sushi o ese postre mexicano (el dato fuera de distribución), no lo comemos tal cual. En su lugar, reorganizamos sus ingredientes para que coincidan con nuestro "perfil de sabor promedio" de la pasta.

   • Si el sushi tiene un ingrediente muy fuerte que no debería estar ahí, lo bajamos al nivel promedio.
   • Si le falta un sabor, lo subimos al nivel promedio.

3. El resultado:

   • Si el plato era realmente italiano (un dato normal), al reorganizarlo, seguirá sabiendo a italiano. El chef lo reconocerá fácilmente.
   • Si el plato era sushi (un dato extraño), al intentar forzarlo a tener el perfil de una pasta, se romperá. El sabor será una mezcla extraña y confusa. El chef dirá inmediatamente: "¡Esto no es pasta! ¡Algo va mal!".

¿Por qué es tan genial este método?

1. No necesita "ajustes de cocina" (Sin hiperparámetros): Los métodos anteriores requerían que un experto ajustara la temperatura, la cantidad de sal, etc., para cada tipo de plato. RAS funciona solo con la receta estándar. Es "enchufar y usar".
2. Funciona con cualquier sartén: No importa si el chef usa una sartén de hierro fundido, una de teflón o una olla de presión (modelos CNN, ViT, ConvNeXt). El método de reorganizar los ingredientes por intensidad funciona igual de bien.
3. No arruina los platos buenos: Al igual que en la analogía, si el plato ya era bueno, al ajustarlo a la norma, sigue siendo bueno. La precisión del modelo para clasificar lo que sí conoce no se ve afectada.

En resumen

Imagina que RAS es como un traductor universal de sabores. En lugar de intentar adivinar si un ingrediente es raro, simplemente le dice al modelo: "Oye, compara este plato con el promedio de lo que sabes hacer. Si al compararlos las diferencias son enormes, ¡es un intruso!".

Es una solución simple, robusta y que no requiere que el chef (la IA) vuelva a estudiar en la escuela, lo que la hace perfecta para implementarla en sistemas reales de seguridad, medicina o conducción autónoma sin tener que reentrenar todo el sistema.

Resumen técnico

1. El Problema: Inestabilidad en la Detección OoD Post-Hoc

La detección de datos fuera de distribución (OoD) es crucial para la seguridad de los sistemas de IA en aplicaciones de alto riesgo (como conducción autónoma o medicina). Los métodos post-hoc son preferibles porque permiten mejorar la detección sin reentrenar el modelo, operando directamente sobre las activaciones de la capa penúltima o los logits.

Sin embargo, los métodos de estado del arte basados en el ajuste de activaciones (como ReAct, ASH, SCALE) sufren de dos problemas principales:

1. Inconsistencia de rendimiento: Su eficacia varía drásticamente dependiendo de la arquitectura del modelo y del conjunto de datos.
2. Dependencia de hiperparámetros: La mayoría requiere la optimización de umbrales o percentiles utilizando un conjunto de datos OoD de validación, lo cual es poco práctico en escenarios reales donde estos datos no están disponibles.
3. Fallo en arquitecturas modernas: Los métodos basados en escalado (como SCALE) asumen que las activaciones son rectificadas (no negativas). En arquitecturas modernas como ViT (Transformers de Visión) o ConvNeXt, que utilizan funciones de activación como GELU o SiLU, las activaciones pueden ser negativas. Esto rompe las suposiciones teóricas de estos métodos, provocando fallos en la detección.

2. Metodología: Ranked Activation Shift (RAS)

Los autores proponen RAS, un método post-hoc libre de hiperparámetros que aborda los fallos anteriores mediante un enfoque basado en el orden de rango en lugar de la magnitud absoluta.

Concepto Central

En lugar de intentar escalar o recortar activaciones basándose en umbrales estadísticos (que fallan si la distribución de activaciones cambia de signo), RAS alinea la distribución de las activaciones de una muestra de prueba con un perfil de referencia fijo derivado de los datos de distribución interna (ID).

Algoritmo Paso a Paso

1. Fase de Configuración (Offline):

   • Se extraen las activaciones de la capa penúltima de un subconjunto de datos ID.
   • Se ordenan (clasifican) las activaciones de cada muestra de menor a mayor.
   • Se calcula el vector de referencia $\mu$ como la media de estas activaciones ordenadas. Este vector representa el "perfil de intensidad promedio" de los datos ID.

2. Fase de Inferencia (Online):

   • Para una nueva muestra de entrada $x$, se extraen sus activaciones $a$.
   • Se determina la permutación $\pi$ que ordena $a$ de mayor a menor.
   • Se construye un nuevo vector de activaciones $\bar{a}$ reemplazando la activación en la posición $j$-ésima del orden original por el valor correspondiente del perfil de referencia $\mu_j$.
   • Matemáticamente: $\bar{a}_{\pi(j)} = \mu_j$.

Características Clave

• Sin Hiperparámetros: No requiere ajustar percentiles ni umbrales.
• Independencia de la Función de Activación: Al operar sobre el orden y no sobre el signo o la magnitud absoluta, funciona tanto con activaciones rectificadas (ReLU) como no rectificadas (GELU, SiLU), haciéndolo compatible con ViTs y ConvNeXts.
• Preservación de la Precisión ID: Al mantener la estructura espacial (orientación) de la muestra original y solo ajustar la distribución de magnitudes, la precisión de clasificación en datos ID se mantiene casi intacta.

3. Contribuciones Clave

1. Análisis de Fallos: Los autores demuestran que los métodos basados en escalado (SCALE, ASH-S) fallan cuando las activaciones no son rectificadas, ya que la relación entre la suma total de activaciones y la suma de las activaciones por encima de un percentil se rompe, invalidando sus suposiciones teóricas.
2. Propuesta de RAS: Introducen un método universal que reemplaza las magnitudes de activación ordenadas por un perfil de referencia ID fijo.
3. Análisis de Mecanismos de Mejora: Mediante abalación, demuestran que tanto el inhibir (bajar activaciones altas) como el excitar (subir activaciones bajas) contribuyen independientemente a mejorar la separación OoD. RAS logra la mejor performance al aplicar ambos efectos simultáneamente, comprimiendo la varianza de las puntuaciones.

4. Resultados Experimentales

El método se evaluó utilizando el benchmark OpenOOD, cubriendo múltiples arquitecturas (ResNet, EfficientNet, ConvNeXt, ViT, Swin) y conjuntos de datos (CIFAR-10/100, ImageNet-200, ImageNet).

• Rendimiento Consistente: RAS superó o igualó a los métodos de estado del arte (ReAct, DICE, ASH, SCALE, EBO) en la gran mayoría de las configuraciones, especialmente en arquitecturas donde otros métodos fallaban (ViT y ConvNeXt).
• Robustez: A diferencia de otros métodos que requieren optimización de hiperparámetros en un conjunto de validación OoD, RAS funciona con su configuración por defecto sin ajuste.
• Compatibilidad: Se integró exitosamente con diferentes funciones de puntuación (EBO, ViM, GEN), mejorando consistentemente sus resultados.
• Precisión ID: La tabla S11 del artículo muestra que RAS mantiene la precisión de clasificación en datos ID prácticamente inalterada (cambios menores al 0.1%), a diferencia de métodos como DICE o RankFeat que pueden degradar significativamente la precisión.
• Eficiencia: Añade una sobrecarga computacional mínima (aprox. 6% sobre la inferencia estándar EBO) con una complejidad de $O(D \log D)$ debido a la operación de ordenamiento.

5. Significado e Impacto

Este trabajo es significativo porque resuelve la inestabilidad que ha limitado la adopción práctica de métodos post-hoc de detección OoD.

• Universalidad: RAS es el primer método de mejora de puntuación que funciona robustamente tanto en CNNs tradicionales como en arquitecturas basadas en Transformers (ViT), eliminando la necesidad de elegir métodos específicos según la arquitectura.
• Simplicidad Operativa: Al eliminar la necesidad de hiperparámetros y datos OoD de validación, RAS facilita la implementación en entornos de producción donde los datos de distribución externa son desconocidos o no están etiquetados.
• Insight Teórico: El hallazgo de que tanto el desplazamiento hacia arriba como hacia abajo de las activaciones mejora la detección desafía la noción previa de que solo la supresión de activaciones anómalas (como en ReAct) es necesaria, sugiriendo que la normalización de la forma de la distribución de activaciones es el factor clave.

En resumen, RAS ofrece una solución "plug-and-play" robusta, eficiente y teóricamente fundamentada para mejorar la seguridad de los modelos de visión por computadora frente a datos inesperados.