Resumen Técnico: Puntuaciones de Novedad Vendi para la Detección de Fuera de Distribución

Enunciado del Problema

Los sistemas modernos de aprendizaje automático a menudo exhiben un comportamiento impredecible al encontrar entradas fuera de distribución (OOD), produciendo frecuentemente predicciones incorrectas pero con alta confianza. Esto plantea riesgos significativos en dominios de alto riesgo como la conducción autónoma, la imagen médica y el descubrimiento científico. Aunque la detección OOD es crítica para la seguridad, los métodos post-hoc existentes enfrentan limitaciones:

• Métodos basados en logits (por ejemplo, Probabilidad Máxima Softmax, puntuaciones de Energía) ignoran las estadísticas de características dentro de la distribución, reduciendo la fiabilidad.
• Métodos de densidad en el espacio de características (por ejemplo, distancia de Mahalanobis) a menudo dependen de supuestos restrictivos sobre la geometría de las representaciones (por ejemplo, Gaussianidad, colapso neuronal) que pueden no cumplirse en arquitecturas diversas.
• Métodos basados en similitud (por ejemplo, k-Vecinos más Cercanos) incurren en una sobrecarga computacional significativa en el momento de la inferencia.
• Métodos basados en gradientes a menudo requieren múltiples pasadas hacia adelante y hacia atrás, haciéndolos poco prácticos para aplicaciones sensibles a la latencia.

Existe una necesidad de un detector OOD post-hoc computacionalmente eficiente que no dependa de supuestos distribucionales restrictivos y que pueda operar efectivamente incluso con acceso limitado a los datos de entrenamiento.

Metodología: La Puntuación de Novedad Vendi (VNS)

Los autores proponen la Puntuación de Novedad Vendi (VNS), un detector OOD post-hoc fundamentado en el concepto de diversidad en lugar de la estimación de densidad. La VNS aprovecha la Puntuación Vendi (VS), una familia de métricas de diversidad basadas en similitud, para cuantificar cuánto aumenta una muestra de prueba la diversidad de un conjunto de características dentro de la distribución (ID).

Algoritmo Central

1. Novedad Condicional por Clase:

   • Para un clasificador entrenado $f_\theta$ con $C$ clases, el método extrae incrustaciones $h(x)$ de la capa penúltima.
   • Para cada clase $c$, se calcula una matriz de densidad condicional por clase $\rho_c$ a partir de las incrustaciones de entrenamiento de esa clase.
   • La novedad de una muestra de prueba $x$ con respecto a la clase $c$ se define como el aumento en log-ratio de la Puntuación Vendi de orden 2 ($VS_2$) cuando $x$ se añade al conjunto de la clase:
     $$\Delta_c(x) = \log VS_2(\rho'_c) - \log VS_2(\rho_c)$$
   • Para garantizar la eficiencia, los autores emplean una aproximación de rango 1. En lugar de mantener el espectro completo de eigenvalores de $\rho_c$, aproximan el cambio en $VS_2$ utilizando únicamente el eigenvalor más grande $\lambda_c$ y su correspondiente eigenvector $u_c$. Esto reduce la complejidad de calcular las puntuaciones condicionales por clase a $O(D)$ por clase.

2. Agregación Ponderada por Probabilidad:

   • En lugar de depender de una única clase predicha, la VNS agrega las puntuaciones de novedad condicionales por clase utilizando las probabilidades de clase predichas por el modelo $p(x)$.
   • La puntuación OOD local se calcula como:
     $$S_{\text{LOCAL-OOD}}(x) = \sum_{c \in T_K(x)} N_c p_c(x)^\gamma \Delta_c(x)$$
     donde $T_K(x)$ representa las $K$ clases predichas principales, $N_c$ es el tamaño de la clase (utilizado para la escalación) y $\gamma$ controla la nitidez de la agregación.

3. Corrección de Diversidad Global:

   • Para tener en cuenta las variaciones de densidad global, se calcula una puntuación de novedad global basada en el cambio en $VS_\infty$ (que depende del eigenvalor máximo de la matriz de densidad global) cuando la muestra de prueba se añade a todo el conjunto de datos.
   • La puntuación VNS final combina señales locales y globales:
     $$\text{VNS}(x) = S_{\text{LOCAL-OOD}}(x) - g \cdot S_{\text{GLOBAL-OOD}}(x)$$
     donde $g \in \{0, 1\}$ es un coeficiente binario que determina si se aplica la corrección global.

Complejidad

• Complejidad Temporal: $O(CD)$, donde $C$ es el número de clases y $D$ es la dimensión de la incrustación. Esto es lineal en ambos parámetros, haciéndolo significativamente más rápido que los métodos basados en Mahalanobis ($O(CD^2)$) y los enfoques k-NN.
• Complejidad Espacial: $O(CD)$, ya que solo requiere almacenar el eigenvalor y el eigenvector principales para cada clase.

Contribuciones Clave

1. Nuevo Paradigma: Introduce una perspectiva basada en la diversidad para la detección OOD, alejándose del modelado de densidad tradicional o el análisis de logits.
2. Puntuación de Novedad Vendi (VNS): Propone un algoritmo específico que cuantifica la novedad a través del impacto de una muestra de prueba en la diversidad de representaciones, utilizando aproximaciones eficientes de rango 1 de la Puntuación Vendi.
3. Integración de Señales Híbridas: Combina señales de novedad locales (condicionales por clase) y globales, ponderadas por probabilidades predictivas, para mejorar la robustez.
4. Eficiencia de Datos: Demuestra que la VNS mantiene un rendimiento de vanguardia incluso cuando se calcula utilizando solo el 1% de los datos de entrenamiento, permitiendo su despliegue en entornos con restricciones de memoria.
5. Validación Teórica y Empírica: Proporciona justificación teórica para la aproximación de rango 1 y validación empírica extensa en múltiples conjuntos de datos y arquitecturas.

Resultados Experimentales

Los autores evaluaron la VNS en benchmarks OOD estándar: CIFAR-10, CIFAR-100 e ImageNet-1K, utilizando arquitecturas que incluyen ResNet, ViT y Swin-T.

• Rendimiento: La VNS logró un rendimiento de vanguardia (SOTA) en CIFAR-10 y resultados competitivos en CIFAR-100. En el benchmark ImageNet-1K, la VNS redujo la Tasa de Falsos Positivos al 95% de Tasa de Verdaderos Positivos (FPR@95) en un 13% en promedio en comparación con el segundo algoritmo con mejor rendimiento.
• Robustez: A diferencia de algunos métodos de conformación de activación que funcionan bien en ResNet pero se degradan en Transformadores, la VNS demostró un rendimiento consistente en diferentes arquitecturas (ResNet, ViT, Swin-T).
• Eficiencia: La VNS es órdenes de magnitud más rápida que el segundo método más preciso (RMDS++) y comparable en latencia a los métodos solo de logits (por ejemplo, GEN, NCI).
• Escasez de Datos: Cuando se entrenó con solo el 1% de los datos de entrenamiento de ImageNet, la VNS logró un AUROC promedio del 88.96%, casi idéntico a su rendimiento con acceso completo a los datos (88.59% de AUROC).

Significado y Afirmaciones

El artículo afirma que la VNS ofrece una solución fundamentada, eficiente y robusta para la detección OOD. Su importancia radica en:

• Evitar Supuestos Restrictivos: Al depender de métricas de diversidad en lugar de supuestos de densidad Gaussiana, la VNS es menos sensible a las violaciones de supuestos geométricos comunes en las representaciones de aprendizaje profundo.
• Despliegue Práctico: La complejidad de tiempo lineal y la capacidad de funcionar con datos de entrenamiento mínimos hacen que la VNS sea adecuada para escenarios del mundo real donde el acceso a los datos de entrenamiento es limitado o la latencia es crítica.
• Seguridad: El método proporciona un mecanismo para que los sistemas de ML identifiquen entradas más allá de su competencia, desencadenando respuestas más seguras como la abstención o la escalación a humanos.

Los autores señalan limitaciones, incluida la necesidad de ajuste de hiperparámetros (que abordan mediante un conjunto de validación automatizado) y la dependencia del kernel coseno. Enfatizan que, aunque la VNS mejora la seguridad, no es una solución completa y debe formar parte de un protocolo de seguridad más amplio que involucre monitoreo y supervisión humana.