When Confidence Lacks Concepts: Interpretable OOD Detection via Representation Perturbations

Resumen Técnico: Cuando la Confianza Carece de Conceptos: Detección de OOD Interpretable mediante Perturbaciones de la Representación

Planteamiento del Problema
Las redes neuronales profundas, particularmente en el ámbito de las imágenes médicas, exhiben una tendencia a la sobregeneralización cuando se enfrentan a cambios en la distribución (por ejemplo, variaciones en los protocolos de imagen, la demografía de los pacientes o enfermedades novedosas). Aunque existen métodos de detección de fuera de la distribución (OOD, por sus siglas en inglés) para mitigar los riesgos de predicciones poco fiables, la mayoría dependen de señales internas opacas (como las probabilidades de softmax, las puntuaciones de energía o las distancias de características) con un significado semántico poco comprendido. Esta falta de interpretabilidad limita la confianza en entornos clínicos críticos para la seguridad, donde comprender por qué una muestra es marcada como anómala es tan crucial como la detección misma. El artículo aborda la necesidad de un marco de detección de OOD que sea tanto discriminativo como interpretable, vinculando las decisiones de detección con conceptos específicos y clínicamente significativos.

Metodología: Perturbaciones de Activación Condicionadas a la Clase (CAPS)
El marco propuesto, CAPS, opera sondeando la estabilidad de las predicciones del modelo bajo perturbaciones semánticas condicionadas a la clase dentro del espacio de representación. La metodología procede en tres etapas:

1. Entrenamiento de Autoencoders Dispersos (SAE):
   Los autores emplean Autoencoders Dispersos para descomponer las activaciones intermedias densas (específicamente el token [CLS] de un Vision Transformer) en componentes dispersos y semánticamente significativos. El SAE aprende una representación latente dispersa $s(h)$ y un decodificador $D$ tales que la activación original $h$ se aproxima mediante una combinación lineal de columnas del decodificador (características). El objetivo de entrenamiento equilibra la fidelidad de la reconstrucción con la dispersión ($L = \|h - \bar{h}\|^2_2 + \gamma\|s(h)\|_1$).

2. Extracción de Conceptos Específicos de la Clase:
   Para cada clase $c$, los autores identifican un subconjunto de latentes del SAE que están característicamente activos mediante el cálculo de la media de la activación latente sobre las muestras de entrenamiento dentro de la distribución (ID). Se seleccionan las dimensiones latentes de los top-$k$ con la mayor activación media para formar un diccionario de conceptos específico de la clase $K_c$. Estas columnas del decodificador representan las direcciones lineales que codifican las características definitorias de la clase.

3. Perturbación y Análisis de Estabilidad:
   En la inferencia, para una entrada de prueba $\bar{x}$, el modelo predice primero una clase $\hat{y}$. El vector de concepto correspondiente $v_{\hat{y}}$ se construye agregando y normalizando los vectores de concepto seleccionados para $\hat{y}$. Este vector se inyecta entonces en la activación intermedia del modelo en la capa $l$ mediante una perturbación controlada: $\tilde{h}_l = h_l + \beta v_{\hat{y}}$, donde $\beta$ controla la fuerza de la perturbación.

La hipótesis central es que las muestras ID, que se alinean con las direcciones semánticas específicas de la clase, exhibirán una baja sensibilidad a estas perturbaciones (resultando en cambios pequeños en los logits de la clase). Por el contrario, las muestras OOD, que carecen de alineación con estas direcciones aprendidas, mostrarán desviaciones amplificadas en los logits. La puntuación de detección de OOD se define como la magnitud del cambio en el logit $\Delta \ell_c$. Las muestras que exceden un umbral $\tau$ (calibrado en un conjunto ID mantenido aparte) se clasifican como OOD.

Contribuciones Clave

1. Marco Novedoso: La propuesta de CAPS, un método de detección de OOD que aprovecha las perturbaciones a nivel de concepto en el espacio de representación en lugar de puntuaciones de salida opacas.
2. Evaluación Cross-Domain: Evaluación extensiva a través de tres modalidades distintas de imágenes médicas: endoscopia (Kvasir-v2), histopatología (NCT-CRC-HE-100K/CRC-VAL-HE-7K) y de la retina (OCT retinal).
3. Interpretabilidad Clínica: Demostración de que las características del SAE extraídas corresponden a patrones visuales clínicamente significativos (por ejemplo, hitos anatómicos como la apertura pilórica o características fisiológicas como la tinción de la bilis), validados mediante la revisión de expertos clínicos a ciegas.

Resultos
El método fue evaluado frente a líneas base de vanguardia (incluyendo Energy, MSP, Mahalanobis, ViM y NERO) utilizando métricas de AUROC y FPR95:

• Histopatología: CAPS logró el mejor rendimiento con un 95.28% de AUROC y un 23.17% de FPR95.
• OCT: CAPS logró un 93.67% de AUROC y un 24.80% de FPR95, superando a todas las líneas base.
• Kvasir-v2 (Endoscopia): El método alcanzó un 79.58% de AUROC. Los autores atribuyen este rendimiento moderado a que el tamaño reducido del conjunto de datos (2,400 muestras) limita la capacidad del SAE para aprender direcciones altamente discriminativas y específicas de la clase en comparación con los conjuntos de datos más grandes de histopatología y OCT (>50k muestras).
• Robustez: El análisis de sensibilidad mostró que el método es estable a través de un amplio rango de hiperparámetros ($k$ y $\beta$) para conjuntos de datos con suficiente información, aunque se observó inestabilidad en el régimen de bajos datos de Kvasir-v2.

Significancia y Reivindicaciones
El artículo afirma que CAPS proporciona una "señal de OOD discriminativa y una lente interpretable hacia los mecanismos internos que impulsan la incertidumbre del modelo". Al enmarcar la detección de OOD como un análisis de estabilidad condicionado al concepto, el enfoque cierra la brecha entre la detección de alto rendimiento y la confianza clínica. Los autores demuestran que las muestras OOD son detectadas no meramente porque sean "diferentes", sino porque carecen de las características semánticas específicas, verificadas por expertos, que impulsan las predicciones con confianza para las clases dentro de la distribución.

Los autores mantienen un tono modesto respecto a las limitaciones, reconociendo que en regímenes de bajos datos, la dificultad de capturar direcciones semánticamente coherentes puede afectar la fiabilidad. Postulan que, si bien el preentrenamiento a nivel de modalidad ayuda, desarrollar estrategias de entrenamiento de SAE más robustas para entornos de atención médica con restricciones de datos sigue siendo una dirección necesaria para el trabajo futuro. El trabajo se presenta como un paso hacia la unificación de la interpretabilidad a nivel de representación con la evaluación de la fiabilidad en las redes neuronales profundas.