Conceptualizing Embeddings: Sparse Disentanglement for Vision-Language Models

Resumen Técnico: Incrustaciones Conceptuales: Desentrelazado Disperso para Modelos Visión-Lenguaje

Enunciado del Problema
Los modelos visión-lenguaje (VLM) como CLIP, BLIP y CoCa aprenden poderosas incrustaciones compartidas de alta dimensión, pero su estructura semántica interna permanece opaca. Los métodos existentes de interpretabilidad enfrentan limitaciones significativas:

• Explicaciones Locales: Técnicas como mapas de saliencia o métodos de atribución identifican regiones de entrada relevantes, pero no logran revelar la organización global del espacio de incrustaciones.
• Alineación de Conceptos: Métodos como TCAV o sondeo lineal alinean las incrustaciones con conceptos predefinidos, pero a menudo asumen que los conceptos significativos ya son linealmente separables dentro de la geometría original, lo que limita la flexibilidad.
• Autoencoders Dispersos (SAE): Aunque los SAE extraen con éxito características interpretables y monosémicas aprendiendo diccionarios sobredeterminados, expanden la dimensionalidad de la representación. Esta expansión altera la geometría original del espacio de incrustaciones, introduce redundancia y produce representaciones con pérdida e irreversibles, lo que dificulta relacionar fielmente las explicaciones con el modelo subyacente.

Los autores hipotetizan que el aparente entrelazamiento en las representaciones de los VLM puede deberse a un desalineamiento de la base en lugar de una dimensionalidad insuficiente, sugiriendo que la estructura semántica podría revelarse reorganizando el espacio dentro de su dimensionalidad original.

Metodología: CEDAR
Los autores proponen CEDAR (Desentrelazado de Incrustaciones Conceptuales mediante Rotación Adaptativa), un método post-hoc que aprende una reparametrización reversible del espacio de incrustaciones sin aumentar la dimensionalidad.

1. Transformación Reversible: CEDAR busca un operador lineal ortogonal $U$ (parametrizado como $U = \exp(A - A^\top)$) que transforma la incrustación original $z$ en un nuevo espacio $\tilde{z} = U(z - b)$, donde $b$ es la incrustación media. La restricción de ortogonalidad asegura que la transformación preserve la geometría y la norma del espacio original ($\|Uz\|_2 = \|z\|_2$) y sea estrictamente reversible.
2. Cuello de Botella de Dispersión: En el espacio transformado, se aplica un operador top-k ($\Pi_k$) para retener solo las $k$ coordenadas con las mayores magnitudes absolutas, estableciendo el resto en cero. Esto impone una representación dispersa donde la información semántica se concentra en un pequeño subconjunto de dimensiones.
3. Objetivo de Reconstrucción: El modelo se entrena para minimizar el error de reconstrucción entre la incrustación original y la versión dispersa mapeada de vuelta al espacio original:
   $$\min_U \mathbb{E}_z \left[ \| z - (U^{-1}\Pi_k(U(z - b)) + b) \|_1 \right]$$
   Debido a que $U$ es reversible, la incrustación original puede reconstruirse fielmente, preservando la estructura geométrica esencial para tareas como la alineación texto-imagen.
4. Estrategia de Entrenamiento: Para manejar la transición no suave inducida por el operador top-k, los autores emplean un enfoque de aprendizaje curricular, comenzando con reconstrucciones densas y transitando gradualmente al régimen disperso objetivo. Durante el entrenamiento, $k$ se muestrea aleatoriamente para mejorar la robustez.
5. Modos de Interpretabilidad:
   • Basado en Conceptos (tipo CLIP): Los ejes individuales en el espacio transformado se alinean con conceptos textuales utilizando la similitud del coseno contra un codificador de texto (por ejemplo, incrustaciones de texto de CLIP).
   • Libre Forma (Generativo): Para modelos generativos (por ejemplo, BLIP), las incrustaciones reconstruidas dispersas se pasan al decodificador de texto para generar descripciones en lenguaje natural, permitiendo explicaciones a nivel de oración derivadas de un pequeño conjunto de coordenadas activas.

Contribuciones Clave

• Desentrelazado que Preserva la Dimensionalidad: A diferencia de los SAE, CEDAR logra representaciones dispersas y desentrelazadas sin expandir la dimensión de la incrustación, evitando así la distorsión geométrica y la redundancia.
• Reversibilidad: El método garantiza la reconstrucción fiel de la incrustación original, asegurando que las explicaciones permanezcan directamente vinculadas al espacio de representación del modelo original.
• Marco Unificado: CEDAR soporta tanto la alineación basada en conceptos (emparejar neuronas con texto) como la generación libre forma (decodificar vectores dispersos a texto) dentro de un único marco.
• Validación de la Hipótesis: El trabajo proporciona evidencia empírica de que la estructura semántica en los VLM puede descubrirse mediante un cambio de base adecuado, desafiando la necesidad de expansiones sobredeterminadas para la interpretabilidad.

Resultados
Los autores evalúan CEDAR frente a variantes de Autoencoder Disperso (MSAE, TopK, ReLU, BatchTopK) y líneas base densas en puntos de referencia estándar (ImageNet-1K) y mediante estudios con usuarios.

• Compensación Reconstrucción-Dispersión: CEDAR logra una compensación competitiva entre el error de reconstrucción (FVU) y la dispersión (número de características activas $K$). En regímenes de baja dimensionalidad, a menudo requiere menos componentes activos para lograr una fidelidad de reconstrucción comparable a otros métodos.
• Preservación Semántica: Métricas como la Alineación del Vecino Más Cercano del Kernel Centrado (CKNNA) y la entropía cruzada del sondeo lineal (LP) indican que CEDAR preserva la estructura semántica y el rendimiento en tareas posteriores comparable a las líneas base más fuertes (por ejemplo, BatchTopK) y al modelo denso.
• Estudio con Usuarios:
  • Preferencia: Los participantes prefirieron consistentemente las explicaciones conceptuales de CEDAR sobre las de MSAE, encontrándolas más representativas del contenido de la imagen.
  • Relevancia: Los conceptos sugeridos por CEDAR fueron seleccionados como relevantes por evaluadores humanos significativamente más a menudo que los de MSAE.
  • Calidad de la Descripción: Cuando se utilizan para generar subtítulos mediante un decodificador de texto, las representaciones dispersas de CEDAR produjeron descripciones que "describen la imagen" a tasas comparables al modelo denso completo, superando ampliamente a los modelos dispersos sin desentrelazado.
• Análisis Cualitativo: Los ejemplos visuales muestran que CEDAR identifica conceptos semánticos coherentes y de alto nivel (por ejemplo, "perro", "husky", "madera") y genera subtítulos precisos, mientras que las líneas base a menudo recuperan características ruidosas o de bajo nivel.

Significado y Afirmaciones
El artículo afirma que CEDAR demuestra que el aparente entrelazamiento en las incrustaciones visión-lenguaje modernas es en gran medida resultado de un desalineamiento de la base en lugar de una falta de dimensionalidad. Al aprender un sistema de coordenadas global e irreversible, el método revela una estructura composicional donde los factores semánticos se concentran en un pequeño número de dimensiones alineadas con los ejes.

Los autores posicionan a CEDAR como un marco flexible y agnóstico al modelo que unifica la interpretabilidad basada en conceptos y libre forma. Destacan que su enfoque elimina la necesidad de expansiones sobredeterminadas, ofreciendo una manera más fiel y eficiente en información de entender y manipular las representaciones aprendidas. El trabajo sugiere que una reparametrización adecuada puede resolver el entrelazamiento mientras preserva la integridad geométrica del modelo original.