Universal Sparse Autoencoders: Interpretable Cross-Model Concept Alignment

1. El Problema

La interpretabilidad actual de las Redes Neuronales Profundas (DNN) se centra predominantemente en analizar un modelo individual a la vez. Aunque existen métodos para descubrir conceptos dentro de un solo modelo (como los Autoencoders Dispersos o SAEs), estos enfoques tienen limitaciones críticas:

• Falta de unificación: No existe un espacio de conceptos común que permita comparar directamente lo que aprenden diferentes arquitecturas, entrenadas con diferentes objetivos y conjuntos de datos.
• Ineficiencia en métodos post-hoc: Las técnicas actuales para alinear conceptos entre modelos suelen ser post-hoc (después del entrenamiento), requiriendo minería intensiva de datos y optimización computacional para emparejar conceptos de un modelo con los de otro.
• Escalabilidad: A medida que crece el número de modelos capaces, analizar cada uno en aislamiento hace que la gestión de riesgos y la comprensión de sesgos sean inmanejables.

El objetivo es descubrir un espacio de conceptos universal que sea interpretable y compartida entre múltiples modelos pre-entrenados, permitiendo una alineación nativa de sus representaciones internas.

2. Metodología: Autoencoders Dispersos Universales (USAEs)

Los autores proponen USAEs, un marco que extiende los Autoencoders Dispersos (SAEs) tradicionales para operar simultáneamente sobre múltiples modelos.

Arquitectura y Entrenamiento

• Espacio de Código Compartido: En lugar de aprender un diccionario independiente para cada modelo, el USAE aprende un código disperso compartido ($Z$) que sirve como representación común.
• Mecanismo de Codificación/Decodificación:
  • Para un modelo $i$, se utiliza un codificador específico ($\Psi^{(i)}_\theta$) para mapear sus activaciones ($A^{(i)}$) al espacio de código compartido $Z$.
  • Para reconstruir las activaciones de cualquier modelo $j$ (incluso si $j \neq i$), se utiliza un decodificador específico de ese modelo ($D^{(j)}$) aplicado al código $Z$.
  • La ecuación clave es: $\hat{A}^{(j)} = Z D^{(j)}$, donde $Z = \Psi^{(i)}_\theta(A^{(i)})$.
• Función de Pérdida Universal: El entrenamiento minimiza la suma de errores de reconstrucción sobre todos los modelos simultáneamente:
  $$L_{Universal} = \sum_{j=1}^{M} \| A^{(j)} - \hat{A}^{(j)} \|_F$$
  Donde $M$ es el número de modelos. En cada iteración, se selecciona aleatoriamente un modelo para codificar, pero se calcula la pérdida de reconstrucción para todos los modelos usando sus respectivos decodificadores. Esto fuerza al código $Z$ a capturar factores de variación comunes (conceptos universales).

Configuración Experimental

• Modelos Analizados: Se entrenó el USAE sobre las activaciones de la última capa de tres modelos de visión distintos: DinoV2 (aprendizaje auto-supervisado), SigLIP (aprendizaje contrastivo imagen-texto) y ViT (clasificación supervisada en ImageNet).
• Parámetros: Se utilizó un diccionario de tamaño 6144 (factor de expansión 8x respecto a la dimensión de características más grande, 768) y se aplicó la regularización TopK para asegurar la dispersión.

3. Contribuciones Clave

1. Marco USAE: Introducción de un método que aprende un espacio de conceptos compartido y alineado de forma end-to-end, eliminando la necesidad de emparejamiento post-hoc.
2. Descubrimiento de Conceptos Universales: Demostración de que los modelos de visión, a pesar de sus diferencias arquitectónicas y de entrenamiento, comparten una base de conceptos interpretables que van desde características de bajo nivel (colores, texturas) hasta estructuras de alto nivel (partes de objetos, rostros).
3. Correlación Universalidad-Importancia: Evidencia de que los conceptos más importantes para la reconstrucción de las activaciones de un modelo tienden a ser también los más universales (frecuentemente activados en todos los modelos).
4. Aplicación: Maximización de Activación Coordinada: Una nueva técnica que permite visualizar cómo diferentes modelos codifican el mismo concepto optimizando simultáneamente las entradas para activar una dimensión específica del código compartido en todos los modelos.
5. Identificación de Características Únicas: Capacidad de aislar conceptos que son exclusivos de un modelo (baja entropía de activación), revelando sesgos o capacidades únicas (ej. la sensibilidad de DinoV2 a la profundidad y perspectiva).

4. Resultados Principales

Visualización y Calidad de Conceptos

• Se descubrieron conceptos semánticamente coherentes como "amarillo", "azul", "colas de animales", "rostros de multitudes" y "objetos delgados".
• Los conceptos abarcan múltiples niveles de abstracción, validando que el espacio compartido captura tanto primitivas visuales como estructuras complejas.

Validación Cuantitativa

• Reconstrucción Cruzada: Los USAE logran reconstruir las activaciones de un modelo $j$ a partir del código generado por un modelo $i$ con puntuaciones $R^2$ positivas significativas, confirmando la existencia de características compartidas.
• Entropía de Disparo (Firing Entropy): La distribución de la entropía es bimodal. Un gran grupo de conceptos muestra alta entropía (se activan uniformemente en todos los modelos), confirmando la universalidad.
• Proporción de Co-disparo (Co-Fire Proportion): Los conceptos más energéticos (importantes) tienen una alta tasa de co-disparo, indicando que los conceptos fundamentales son compartidos.
• Consistencia con SAEs Independientes: Se encontró que entre el 23% y el 38% de los conceptos universales coinciden con los descubiertos por SAEs entrenados individualmente en cada modelo. Sin embargo, el entrenamiento universal descubre representaciones compartidas que no emergen en el entrenamiento individual.

Hallazgos Específicos por Modelo

• DinoV2: Presenta conceptos únicos relacionados con cues de profundidad, perspectiva y geometría 3D (ej. líneas convergentes, caras superiores de prismas), lo cual se atribuye a su entrenamiento con distilación auto-supervisada y enmascaramiento de imágenes.
• SigLIP: Muestra conceptos únicos que combinan elementos visuales y textuales (ej. la forma de una estrella junto con la letra "C" o palabras impresas), reflejando su naturaleza de modelo visión-idioma.

Maximización de Activación Coordinada

• Al visualizar la entrada que maximiza un concepto específico (ej. "curvas") en todos los modelos simultáneamente, se observan similitudes en la estructura general, pero también diferencias sutiles en la escala y el contexto (ej. DinoV2 responde a curvas de mayor escala).

5. Significado e Impacto

El trabajo de USAE representa un avance significativo hacia la interpretabilidad escalable en sistemas de IA multi-modelo.

• Gestión de Riesgos: Permite auditar riesgos de manera unificada en lugar de analizar cada modelo en silos, facilitando la detección de sesgos compartidos.
• Diseño de Modelos: Ofrece una lente unificada para entender cómo diferentes arquitecturas convergen en representaciones similares, guiando el diseño de futuras arquitecturas más eficientes y robustas.
• Cumplimiento Normativo: Proporciona herramientas para cumplir con marcos regulatorios emergentes (como la Ley de IA de la UE) que exigen transparencia y explicabilidad en sistemas de IA complejos.
• Nueva Línea de Investigación: Establece la base para explorar la "hipótesis de la representación platónica" en la visión por computadora, sugiriendo que los modelos de visión aprenden una representación fundamental compartida del mundo, independientemente de su entrenamiento específico.

En resumen, los USAEs transforman la interpretabilidad de un ejercicio de análisis aislado a un proceso de alineación cruzada, revelando tanto la naturaleza universal de la visión artificial como las peculiaridades únicas de cada arquitectura.