Resumen Técnico: Autoencoders Dispersos para la Detección Interpretable de Fuera de Distribución

Planteamiento del Problema

Los modelos de aprendizaje automático, particularmente las redes neuronales profundas (DNN), operan bajo el supuesto de que los datos en tiempo de prueba siguen la misma distribución que los datos de entrenamiento. Cuando este supuesto se viola (Fuera de Distribución o OOD, por sus siglas en inglés), los modelos suelen producir predicciones incorrectas y excesivamente confiadas. Los métodos existentes de detección de OOD sufren dos limitaciones principales:

1. Dependencia de las Capas Finales: La mayoría de los métodos utilizan únicamente las representaciones de la última capa (por ejemplo, logits o embeddings), ignorando la rica información jerárquica presente en las capas intermedias de la red. Como demuestra el artículo, las estructuras discriminativas que distinguen entre entradas ID (Dentro de Distribución) y OOD aparecen en las capas iniciales, pero se vuelven oscurecidas o comprimidas en las representaciones finales.
2. Falta de Interpretabilidad: Incluso cuando los puntajes de detección son efectivos, suelen ofrecer poca información sobre por qué una muestra es OOD o qué representaciones internas distinguen las entradas ID de las OOD. Esto dificulta el diagnóstico de si los cambios de distribución surgen de una corrupción visual de bajo nivel o de desajustes semánticos de alto nivel.

Metodología: SAID

Los autores proponen SAID (Sparse Autoencoders for Interpretable Detection), un marco de detección de OOD post-hoc que aprovecha los Autoencoders Dispersos (SAE) entrenados en activaciones intermedias de un modelo de visión preentrenado y congelado.

1. Entrenamiento de SAE en Capas Intermedias

SAID entrena SAEs separados en las activaciones de características intermedias ($a = f_l(x)$) de capas seleccionadas $l$ en un modelo base congelado (por ejemplo, ViT o ResNet).

• Arquitectura: Los autores utilizan Top-k SAEs, que imponen dispersión al anular explícitamente todas las dimensiones latentes excepto las $k$ más activas. Esto evita la necesidad de una penalización de dispersión L1 en la función de pérdida.
• Objetivo: Los SAEs se entrenan para minimizar el Error Cuadrático Medio (MSE) entre la activación de entrada y la activación reconstruida ($D(E(a)) \approx a$).
• Interpretabilidad: La restricción de dispersión fomenta que las características aprendidas sean "monosemánticas", donde cada característica activa corresponde a un concepto distinto e interpretable por humanos.

2. Puntuación de OOD Basada en Similitud

En el tiempo de inferencia, SAID compara la codificación dispersa de una muestra de prueba contra la distribución aprendida de las clases In-Distribution (ID):

1. Construcción de Prototipos: Para cada clase $c$ y cada capa $l$, se calcula y almacena la media de la codificación latente $\mu_{c,l}$ a partir del conjunto de entrenamiento.
2. Codificación: Para una entrada de prueba $x$, el clasificador preentrenado predice una clase $\hat{c}$. El SAE para cada capa $l$ codifica la activación intermedia de $x$ en un vector disperso $z_l$.
3. Puntuación: Se calcula la puntuación de OOD específica de la capa $s_l(x)$ como la similitud de coseno entre la codificación $z_l$ y la codificación media de la clase predicha $\mu_{\hat{c},l}$.
4. Agregación: El puntaje final de OOD $S(x)$ es el promedio de las similitudes de coseno a través de todas las capas seleccionadas.
5. Decisión: Las muestras con $S(x) \geq \tau$ se clasifican como ID; de lo contrario, son OOD.

3. Anotación de Conceptos vía VLM

Para proporcionar interpretabilidad, los autores emplean un Modelo de Lenguaje-Visión (VLM, específicamente GPT-5.5) para anotar las características latentes del SAE.

• Para cada característica latente, se recuperan las 25 imágenes ID que la activan con mayor fuerza.
• Estas imágenes se pasan al VLM con un prompt para describir los patrones visuales compartidos, generando una etiqueta de concepto legible por humanos (por ejemplo, "Pelaje gris", "Alas").
• Esto permite analizar si las entradas ID y OOD activan conceptos semánticamente consistentes.

Principales Contribuciones

1. Nuevo Marco de Detección: Introducción de SAID, un método post-hoc que utiliza codificaciones SAE de capas intermedias para mejorar la detección de OOD.
2. Demostración de la Utilidad de las Capas Intermedias: Evidencia empírica de que las capas intermedias contienen información discriminativa que a menudo se pierde en las representaciones de la última capa, lo que conduce a una mejor detección tanto en cambios semánticos como de covariable.
3. Interpretabilidad y Diagnóstico: El uso de etiquetas de conceptos derivados de SAE como herramienta diagnóstica. Los autores demuestran que las entradas ID activan conceptos que son semánticamente consistentes con la imagen, mientras que las entradas OOD activan conceptos discordantes o inconsistentes, proporcionando una visión capa por capa de los cambios de distribución.

Resultados Experimentales

El método fue evaluado en ImageNet-1K (ID) frente a varios conjuntos de datos OOD (SSB-Hard, NINCO, ImageNet-C, ImageNet-R, etc.) utilizando backbones ViT-B/16 y ResNet-50.

• Desempeño: SAID logra un desempeño de estado del arte (SOTA) en promedio en ambos tipos de cambios (semántico y de covariable).
  • En el backbone ViT, SAID alcanzó el mejor AUROC promedio para ambos tipos de cambios (por ejemplo, 92.4% de AUROC en cambio semántico, 83.5% en cambio de covariable), superando a líneas base como VIM, RMDS y KNN.
  • En ResNet-50, SAID también logró el mayor AUROC promedio, aunque el margen sobre los métodos existentes fue menor.
• Impacto de las Capas Intermedias: Los estudios de ablación confirmaron que añadir SAEs de capas intermedias mejora consistentemente el AUROC en comparación con el uso de solo la última capa. La capa más informativa varía según el conjunto de datos (por ejemplo, capas tempranas para cambios de textura/covariable, capas tardías para cambios semánticos), lo que justifica la estrategia de agregación.
• Análisis de Conceptos: El análisis cuantitativo mostró que las muestras ID exhiben una mayor "concordancia de conceptos" (fracción de conceptos activados semánticamente consistentes con la imagen) que las muestras OOD. Esta brecha es particularmente pronunciada en las capas posteriores, lo que sugiere que los cambios de distribución son altamente visibles en las representaciones de conceptos de alto nivel.

Significado y Limitaciones

Significado:
El artículo argumenta que SAID ofrece un doble beneficio: mejora la precisión de la detección aprovechando la información distribuida a través de la jerarquía de la red y proporciona un mecanismo para interpretar cómo los cambios de distribución afectan las representaciones aprendidas. Al ir más allá de los "black box" de los logits hacia características dispersas basadas en conceptos, SAID permite a los profesionales diagnosticar si un modelo está fallando debido a una corrupción de bajo nivel o a desajustes semánticos de alto nivel.

Limitaciones:
Los autores reconocen varias restricciones:

• Alcance de Dominio: La evaluación está actualmente limitada al dominio de la visión.
• Dispersión Fija: El uso de una restricción de dispersión de $k$ fijo asume un número constante de características activas por entrada, lo cual puede no adaptarse a la complejidad variable de diferentes puntos de datos.
• Costo Computacional: Entrenar SAEs de alta capacidad para múltiples capas intermedias es intensivo en recursos, lo que podría limitar su aplicabilidad a modelos extremadamente grandes o entornos con recursos limitados.