Resumen Técnico: Concept-SAE

Planteamiento del Problema

Los Autoencoders Dispersos (SAEs) estándar se han consolidado como herramientas poderosas para la interpretabilidad mecanística, permitiendo la descomposición de las activaciones de las redes neuronales en un diccionario de características aprendidas. Sin embargo, su utilidad sigue siendo mayoritariamente pasiva. Los flujos de trabajo actuales requieren que los investigadores inspeccionen manualmente los tokens latentes, identifiquen imágenes con activaciones fuertes e infieran visualmente conceptos subyacentes. Este enfoque es limitado porque solo verifica si un modelo casualmente codifica conceptos especificados por humanos, en lugar de permitir la prueba activa, el sondeo o la evaluación sistemática de conceptos que los usuarios desean explícitamente.

Los intentos existentes para cerrar esta brecha, como los Modelos de Cuello de Botella de Conceptos (CBM) o la inserción de conceptos como vectores latentes, enfrentan desventajas significativas. Los CBM dependen a menudo de señales de presencia binaria que no logran desenredar conceptos de alta dimensión o que causan una "sangría semántica" hacia tokens no restringidos. Los enfoques basados en embeddings, al carecer de supervisión explícita, tienden a desviarse de sus significados previstos, socavando la interpretabilidad y restringiendo el análisis abierto. Existe la necesidad de un marco que permita una interacción bidireccional activa con conceptos definidos por el usuario, preservando al mismo tiempo la capacidad del SAE para el descubrimiento de características novedosas y no restringidas.

Metodología: Concept-SAE

Los autores proponen Concept-SAE, un marco que aumenta los SAE estándar con una interfaz estructurada, controlable e invertible. La innovación central es una estrategia de desenredo híbrida que descompone un subespacio de activación en dos componentes ortogonales:

1. Tokens de Concepto (Supervisados): Estos tokens están alineados con semánticas especificadas externamente (por ejemplo, "barba", "ojos"). Son entrenados bajo doble supervisión:

   • Existencia del Concepto: Una puntuación escalar que indica la presencia binaria del concepto.
   • Localización Espacial: Una máscara de segmentación que indica la posición espacial del concepto dentro del mapa de características.
   • Esta doble supervisión asegura que los tokens sean fieles, estén localizados espacialmente y estén limpiamente separados del espacio residual.

2. Tokens Libres (No Supervisados): Estos operan como los tokens de un SAE estándar, capturando toda la información restante no cubierta por los conceptos predefinidos. Preservan la capacidad del SAE para el descubrimiento pasivo y abierto de características.

Pipeline de Entrenamiento

El proceso de entrenamiento involucra un pipeline de cuatro pasos (ilustrado en la Fig. 1 del artículo):

• Generación de Etiquetas: Un Modelo de Lenguaje-Visión (VLM) genera etiquetas de existencia binaria, y un modelo de segmentación produce máscaras espaciales. Estos se fusionan para crear anotaciones de verdad fundamental (ground-truth) limpias (suprimiendo las máscaras si el concepto está ausente).
• Tokenizador de Conceptos ($T_{concept}$): Un codificador que mapea las características del modelo de visión al espacio de conceptos, prediciendo puntuaciones de existencia y máscaras espaciales. Se entrena para minimizar el MSE entre las predicciones y la verdad fundamental, con una penalización L1 para fomentar la dispersión.
• Agregador de Conceptos ($A_{concept}$): Un decodificador que reconstruye las características originales del modelo de visión a partir de las representaciones de concepto predichas. Se entrena para minimizar el error de reconstrucción y alinea sus distribuciones de pesos internos con el Tokenizador mediante divergencia KL.
• Tokenizador y Agregador Libres ($T_{free}, A_{free}$): Estos módulos se entrenan conjuntamente con los módulos de concepto para reconstruir las características residuales. Se entrenan sin supervisión externa, basándose únicamente en el objetivo de minimizar el error de reconstrucción de la salida combinada (Concepto + Libre) frente a las características originales.

Contribuciones Clave

El artículo reclama tres contribuciones primarias:

1. Marco Concept-SAE: Una arquitectura novedosa que dota a los SAE de una interfaz bidireccional de alta fidelidad para la inspección basada en conceptos, permitiendo la verificación y manipulación de conceptos humanos predefinidos.
2. Estrategia de Desenredo Híbrido: Validación experimental que demuestra que la estrategia propuesta produce representaciones de concepto que son notablemente fieles, localizadas espacialmente y limpiamente desenredadas del espacio residual de los tokens libres, superando a otros métodos en calidad de interfaz.
3. Utilidad Diagnóstica: Demostración de que las puntuaciones de concepto extraídas reflejan con precisión la certeza interna del modelo y pueden utilizarse para tres evaluaciones diagnósticas específicas:
   • Detección: Identificación de muestras de imágenes adversarias.
   • Controlabilidad: Realización de edición contrafactual controlada para corregir las malinterpretaciones del modelo.
   • Estabilidad: Diagnóstico de vulnerabilidades del modelo mediante perturbaciones adversarias.

Resultados Experimentales

Los autores evaluaron Concept-SAE en CelebA (clasificación de género) e ImageNet-1k (clasificación de objetos) utilizando arquitecturas ResNet-18 y Vision Transformer (ViT-B/32).

• Fidelidad y Localización (RQ1): Comparado con el baseline de Modelo de Embedding de Concepto (CEM), Concept-SAE logró Ratios de Localización significativamente más altos (por ejemplo, 1.472 vs. 1.019 en la capa 5 de ResNet). Esto indica que Concept-SAE logra aislar conceptos faciales del ruido de fondo, mientras que el CEM entrelaza los conceptos con el contenido irrelevante del fondo. Los tokens libres retuvieron información semántica rica, confirmando que la introducción de tokens supervisados no disminuyó la capacidad de descubrimiento abierto.
• Detección Adversaria (RQ2): La entropía de las puntuaciones de concepto se utilizó como métrica de la certeza del modelo. Las predicciones incorrectas y las muestras adversarias exhibieron consistentemente una mayor entropía (ambigüedad) en comparación con las predicciones correctas. Un clasificador basado en umbrales usando esta entropía logró puntuaciones AUC superiores (por ejemplo, 0.974 en Celebá-ViT) comparado con baselines establecidos como JPEG, Randomization y Feature Squeezing, probando que las puntuaciones reflejan fielmente el procesamiento interno.
• Controlabilidad (RQ3): El marco permitió la edición contrafactual. Al modificar las puntuaciones de los conceptos (por ejemplo, estableciendo "barba" en 0.0 o 1.0) y reconstruyendo las características a través del agregador, los autores pudieron intervenir causalmente en la salida del modelo. Por ejemplo, aumentar las puntuaciones de "barba" corrigió imágenes masculinas clasificadas erróneamente como femeninas. Las intervenciones fueron más efectivas en las capas profundas de ViT y en ambas capas (profundas y superficiales) de ResNet.
• Diagnóstico de Estabilidad (RQ4): Los autores utilizaron la distancia de Jensen-Shannon (JS) entre las distribuciones de puntuación de conceptos de muestras limpias y adversarias para medir la vulnerabilidad. Las capas con mayores distancias JS fueron identificadas como más frágiles. El ajuste fino (fine-tuning) de estas capas específicas resultó en las mayores mejoras de robustez (por ejemplo, un aumento del 40.77% en la precisión de ResNet-18 cuando se ajustaron todas las capas), validando las representaciones de concepto como una herramienta diagnóstica precisa para localizar vulnerabilidades del modelo.

Significado y Reivindicaciones

El artículo posiciona a Concept-SAE como un mecanismo validado que desplaza la interpretabilidad de los SAE desde la observación pasiva hacia la interrogación activa. Al proporcionar una interfaz estructurada, permite a los investigadores:

• Evaluar sistemáticamente si un modelo representa conceptos específicos.
• Sondear el rol causal de estos conceptos en las decisiones del modelo.
• Diagnosticar fallos y vulnerabilidades del modelo con alta fidelidad.

Los autores enfatizan que su enfoque complementa a los SAE tradicionales en lugar de reemplazarlos, manteniendo la capacidad de descubrir nuevas características mientras se añade una capa de interpretabilidad controlable y alineada con el humano. El trabajo concluye que Concept-SAE ofrece un método fiable, invertible y con base espacial para evaluar y diagnosticar conceptos definidos por el usuario en modelos de visión.