Resumen Técnico: Un Análisis Sistemático de la Detección Fuera de Distribución Bajo Cambios de Paradigma en Representación y Entrenamiento

Enunciado del Problema

Las redes neuronales profundas frecuentemente producen "fallos silenciosos", entregando predicciones incorrectas con alta confianza. La detección Fuera de Distribución (OOD) busca señalar estos fallos asignando puntuaciones de confianza que distingan predicciones fiables de las no fiables. Aunque existen numerosas Funciones de Puntuación de Confianza (CSF), sus clasificaciones de rendimiento son notoriamente inestables entre diferentes conjuntos de datos, arquitecturas y pipelines de entrenamiento. La pregunta central abordada por este trabajo es: ¿Cuándo funciona una familia específica de detectores y qué propiedad del modelo entrenado determina su efectividad?

Los autores desafían la visión de que la detección OOD es meramente un concurso entre reglas de puntuación. En su lugar, hipotetizan que el rendimiento está gobernado principalmente por la geometría de la representación aprendida, moldeada por la arquitectura, el paradigma de entrenamiento y la complejidad del espacio de etiquetas, más que por el diseño de la puntuación aplicada sobre ella.

Metodología

1. Benchmark Centrado en Representación

Los autores presentan un benchmark sistemático que varía factorialmente cuatro dimensiones clave:

• Backbones: CNNs (VGG-13, ResNet-18) y Vision Transformers (ViT).
• Paradigmas de Entrenamiento: Entropía Cruzada Vanilla (ConfidNet), DeVries (confianza interpolada) y Deep Gamblers (pérdida de apuestas con reserva).
• Conjuntos de Datos de Origen: CIFAR-10, CIFAR-100, SuperCIFAR-100 y TinyImageNet.
• Regímenes OOD: Los conjuntos de datos se agrupan en regímenes cercano, medio y lejano basados en distancias semánticas derivadas de CLIP, superando las agrupaciones binarias estándar de cercano/lejano.

2. Pipeline de Clasificación Estadística

Para abordar la inestabilidad de las clasificaciones, el artículo reemplaza los resúmenes de un solo ganador con un pipeline de clasificación controlado por comparaciones múltiples:

• Métricas: Métricas sin umbral AURC (Área bajo la Curva de Riesgo-Cobertura) y AUGRC (Área bajo la Curva de Riesgo-Cobertura Generalizada).
• Procedimiento: La prueba de Friedman identifica diferencias significativas en las clasificaciones. Las pruebas post-hoc Conover–Holm con corrección de Holm identifican cliques de "ganadores" estadísticamente indistinguibles. Esto permite identificar grupos de CSFs que son competitivos conjuntamente, en lugar de forzar una única mejor opción.

3. Filtrado por Proyección

El estudio introduce el filtrado por proyección como una intervención controlada sobre la geometría de la representación. Utilizando Análisis de Componentes Principales (PCA) en las características de la penúltima capa, los autores reconstruyen características desde subespacios de rango bajo. Evalúan tres variantes:

• Proyección Global: Un único subespacio para todas las clases.
• Proyección por Clase: Subespacios específicos para cada clase.
• Proyección Predicha por Clase (CPP): Utilizando el subespacio de la clase predicha por el modelo.

4. Análisis de Colapso Neuronal (NC)

Los autores utilizan métricas de Colapso Neuronal (NC) para cuantificar la geometría de las características de la última capa. Estas métricas miden fenómenos como el colapso de la variabilidad, la convergencia hacia un marco equiangular simplexo (ETF) y la auto-dualidad entre las medias de clase y los pesos del clasificador.

• Correlación: Se utilizan pruebas de Mantel para correlacionar las distancias de la geometría NC con las distancias de clasificación de CSF.
• Predicción: Se propone un marco predictivo basado en NC. Se entrena un modelo de regresión logística L2 por CSF sobre características NC (calculadas a partir del clasificador entrenado) para predecir la lista corta competitiva de detectores para un nuevo modelo, sin requerir datos de validación OOD.

Contribuciones Clave

1. Benchmark Consciente de la Representación: Una evaluación exhaustiva que abarca CNNs, ViTs, múltiples paradigmas de entrenamiento y un régimen OOD granular de tres niveles (cercano/medio/lejano).
2. Pipeline de Cliques Estadísticos: Un método robusto para identificar las CSFs de mejor rendimiento estadísticamente indistinguibles, ofreciendo una visión más matizada del rendimiento competitivo que los promedios agregados.
3. Estratificación Basada en CLIP: Una agrupación de conjuntos de datos OOD impulsada por datos que revela una transición sistemática en la efectividad del detector, desde puntuaciones basadas en márgenes (OOD cercano) hasta puntuaciones conscientes de la geometría (OOD medio/lejano).
4. Insights del Filtrado por Proyección: La demostración de que la granularidad óptima de filtrado depende de la arquitectura: la Proyección Global mejora ampliamente las CSFs en CNNs, mientras que la Proyección Predicha por Clase (CPP) es la intervención crítica para ViTs ajustados finamente.
5. Predictor Basado en NC: Un método para recomendar una lista corta competitiva de detectores para un modelo no visto utilizando únicamente el perfil NC del modelo, eliminando la necesidad de datos de validación OOD.

Resultados

Hallazgos Empíricos sobre Familias de Detectores

La familia de detectores competitiva transiciona sistemáticamente con la severidad del cambio y la arquitectura:

• CNNs:
  • Dentro de Distribución/Malclasificación: Dominadas por puntuaciones probabilísticas simples (ej. GEN, MSR).
  • OOD Cercano: Las puntuaciones basadas en márgenes (Energy, MLS) y NNGuide son las más fuertes.
  • OOD Medio/Lejano: Las puntuaciones conscientes de la geometría (CTM, fDBD, NNGuide) se vuelven dominantes.
• ViTs (Ajustados finamente):
  • La transición es más abrupta. El OOD cercano es heterogéneo.
  • El OOD medio está dominado por puntuaciones basadas en reconstrucción (KPCA RecError).
  • El OOD lejano cambia a puntuaciones basadas en residuos (Residual, ViM, pNML).

Impacto del Filtrado por Proyección

• CNNs: La proyección global mejora significativamente las puntuaciones basadas en distancia (ej. Mahalanobis, CTM) al eliminar variaciones molestas, mientras que las variantes condicionales por clase a menudo degradan el rendimiento.
• ViTs: La Proyección Predicha por Clase (CPP) impulsa las mayores ganancias (ej. para GradNorm), eliminando efectivamente los residuos de preentrenamiento que oscurecen la geometría específica de la tarea. La proyección global proporciona ganancias modestas para puntuaciones basadas en logits.

Geometría NC y Predicción

• Correlación: Las pruebas de Mantel confirman una correlación significativa ($r = 0.31\text{--}0.68, p \le 0.004$) entre la geometría NC y las clasificaciones de CSF en todos los paradigmas de entrenamiento.
• Transferencia Cross-Arquitectura: Un predictor basado en NC entrenado en VGG-13 predice con éxito listas cortas competitivas para ResNet-18 sin reentrenamiento.
  • Rendimiento: La lista corta predicha reduce el arrepentimiento medio del conjunto sobre la línea base fija de CSF más fuerte en un 51% al 84% a través de los regímenes OOD cercano, medio y lejano.
  • Significancia: En 49 de 54 comparaciones pareadas de Wilcoxon corregidas con Holm, el predictor superó significativamente a las líneas base.

Significancia y Afirmaciones

El artículo afirma que el rendimiento de la detección OOD está gobernado principalmente por el régimen de representación, no solo por el diseño de la puntuación.

• Mecanismo: La geometría de la representación aprendida (específicamente el grado de Colapso Neuronal y la alineación con los pesos del clasificador) dicta qué reglas de puntuación son efectivas. Las puntuaciones conscientes de prototipos y fronteras prosperan cuando las representaciones están colapsadas y alineadas; se prefieren las puntuaciones basadas en gradientes y variedades cuando el colapso es más débil.
• Utilidad Práctica: Los autores demuestran que se puede predecir qué detector OOD funcionará para un modelo dado simplemente analizando la geometría interna del modelo (métricas NC), eliminando la necesidad de costosos datos de validación OOD.
• Cambio Metodológico: El trabajo mueve el campo de preguntar "¿Qué CSF gana en promedio?" a "¿Qué familia es estadísticamente competitiva bajo qué régimen de representación y por qué?".

Los autores permanecen modestos respecto al alcance, señalando que los resultados se restringen a la clasificación de imágenes en conjuntos de datos y backbones específicos, y que la transferencia cross-arquitectura se probó en un único par de CNN a CNN. Enfatizan que el predictor NC proporciona una lista corta de candidatos en lugar de una única elección determinista, reconociendo que puede ser necesario un desempate adicional en la implementación.