A Unifying Framework for Concept-Based Representational Similarity

Resumen Técnico: Un Marco Unificador para la Similitud de Representación Basada en Conceptos

Planteamiento del Problema

Los modelos modernos de aprendizaje profundo exhiben a menudo similitudes estructurales sorprendentes en sus representaciones internas, lo que sugiere una descomposición de conceptos subyacentes compartida a través de arquitecturas, inicializaciones y modalidades. Sin embargo, la noción de "alineación de conceptos" permanece mal definida. La literatura existente utiliza la misma terminología para optimizar diferentes objetivos, oscureciendo qué propiedades específicas se están alineando realmente. Además, no está claro si optimizar un objetivo de alineación (por ejemplo, la traslación) recupera de forma fiable otros (por ejemplo, la consistencia de conceptos), o si los objetivos puramente no supervisados y distribucionales pueden recuperar una alineación a nivel de instancia significativa. El artículo argumenta que los métodos actuales carecen de un marco riguroso para distinguir entre alinear representaciones frente a alinear conceptos, y entre la alineación por instancia frente a la distribucional.

Metodología: Un Marco Unificador

Los autores proponen un marco formal que descompone la alineación de conceptos a lo largo de dos ejes:

1. Qué se alinea: Representaciones (traslación) vs. Conceptos (consistencia de conceptos).
2. Nivel de alineación: Por instancia (puntos de datos específicos) vs. Distribucional (propiedades estadísticas de los datos).

Esta descomposición genera cuatro propiedades fundamentales:

• Traslación por instancia ($P_{tr}$): La capacidad de mapear una representación de un sistema $i$ a un sistema $j$ ($(\psi^{-1}_j \circ \psi_i)(x_i) = x_j$).
• Consistencia de conceptos por instancia ($P_{cont}$): La capacidad de ambos sistemas para recuperar la misma vista comprimida de un espacio de conceptos compartido ($\psi_i(x_i) = \psi_j(x_j)$).
• Traslación distribucional ($P^{dist}_{tr}$): La medida de empuje (pushforward measure) de la traslación coincide con la distribución objetivo.
• Consistencia de conceptos distribucional ($P^{dist}_{cont}$): Las medidas de empuje de los espacios de conceptos coinciden.

El marco operacionaliza estas propiedades como términos de regularización en la pérdida de entrenamiento de los Autoencoders Dispersos (SAEs). Los autores analizan las relaciones teóricas entre estas propiedades, señalando que, si bien la traslación y la consistencia de conceptos son teóricamente equivalentes bajo supuestos estrictos de inyectividad y reconstrucción, estas condiciones suelen fallar en la práctica.

Para evaluar estas propiedades, los autores introducen InterVenchA, un benchmark de diagnóstico que extiende SAEBench. Este separa la evaluación en:

• Calidad de Extracción ($M_{extract}$): Qué tan bien el SAE reconstruye y desentrelaza características dentro de un solo dominio.
• Calidad de Traslación ($M_{tr}$): Qué tan bien los conceptos aprendidos en un dominio se transfieren para reconstruir otro (independientemente de la consistencia).
• Consistencia de Conceptos ($M_{cont}$): Qué tan bien el mismo conjunto de conceptos captura información relevante para la tarea a través de los dominios (independientemente de la traslación).

Solución Propuesta: Autoencoder Disperso Acoplado (CoSAE)

Basándose en el hallazgo de que ningún objetivo único es suficiente, los autores proponen CoSAE, un marco de SAE modular que impone conjuntamente objetivos de alineación complementarios. CoSAE combina:

• Pérdida de reconstrucción ($L_{dcy}$).
• Pérdida de traslación por instancia ($L_{tr}$) sobre un pequeño subconjunto de datos emparejados.
• Pérdida de consistencia de conceptos por instancia ($L_{cont}$) sobre los mismos datos emparejados.
• Pérdidas de alineación distribucional ($L^{dist}_{tr}$ y $L^{dist}_{cont}$) sobre el conjunto de datos completo.

Crucialmente, el método depende de "anclar" los objetivos distribucionales con una cantidad mínima de datos emparejados (tan poco como el 0.1% del conjunto de datos) para resolver la no identificabilidad del problema de transporte.

Resultados Clave

A través de experimentos con datos sintéticos, modelos de visión (ViT, DinoV2, SigLIP) y codificadores multimodales (CLIP, OpenCLIP), los autores demuestran:

1. Fallo de las Equivalencias: Las equivalencias comúnmente asumidas entre los objetivos de alineación no se sostienen en la práctica.

   • Optimizar la traslación no recupera de forma fiable la consistencia de conceptos, y viceversa.
   • La consistencia de ciclo (usada a menudo como sustituto de la traslación en entornos sin pares) no es un proxy fiel de la alineación; una alta consistencia de ciclo puede coexistir con una mala alineación.
   • Los objetivos puramente distribucionales fallan en recuperar la alineación a nivel de instancia debido a la no identificabilidad del problema de transporte.

2. Necesidad de Optimización Multiobjetivo: Una alineación fuerte emerge solo cuando la traslación y la consistencia de conceptos se regularizan explícitamente de forma conjunta.

   • En embeddings reales, optimizar $L_{tr}$ por sí solo mejora la traslación pero no la consistencia; optimizar $L_{cont}$ por sí solo mejora la consistencia pero degrada la calidad de la extracción.
   • Solo la combinación de ambos produce puntuaciones altas en ambas métricas.

3. Efectividad de la Supervisión Escasa: La estrategia de "anclaje" es altamente efectiva. Usar solo 1 de cada 1,000 pares emparejados para anclar los objetivos distribucionales permite que CoSAE recupere una fuerte alineación a nivel de instancia, igualando o superando el rendimiento de los modelos entrenados con supervisión completa por instancia.

4. Rendimiento: CoSAE supera a los métodos de vanguardia, incluyendo Crosscoders, SAEs Universales (USAEs) y SAE-Aligned (SAE-A), en todas las métricas de alineación ($M_{tr}$ y $M_{cont}$). Notablemente, los Crosscoders, que imponen la consistencia mediante restricciones arquitectónicas (sumando códigos), fallan en mantener codificadores independientes robustos, mientras que CoSAE mantiene codificadores individuales robustos.

5. Utilidad en Tareas Derivadas: La alineación aprendida por CoSAE soporta un rendimiento competitivo de transferencia zero-shot (por ejemplo, clasificación de ImageNet) comparable a los métodos que utilizan proyectores densos, a pesar de que CoSAE depende de autoencoders dispersos.

Significancia y Reivindicaciones

El artículo sostiene que la alineación de conceptos es fundamentalmente un problema multiobjetivo que no puede capturarse mediante un único objetivo sustituto. Los autores argumentan que:

• Los métodos existentes a menudo confunden propiedades distintas, lo que lleva a interpretaciones ambiguas de la "alineación".
• Es necesaria una definición rigurosa que distinga entre la alineación de representación vs. la de concepto y entre los niveles de instancia vs. distribucional para progresar.
• El rendimiento práctico más fuerte no surge de optimizar un solo objetivo perfectamente, sino de combinar regularizadores complementarios con una supervisión mínima.

Los autores posicionan a CoSAE no solo como un nuevo modelo, sino como una consecuencia constructiva de una comprensión teórica más clara de la alineación. Enfatizan que la alineación significativa requiere respetar la estructura del problema tanto en la evaluación como en el diseño del método, alejándose de las métricas de puntuación única hacia una familia acoplada de objetivos.

Limitaciones Reconocidas:

• El marco se centra en la estructura compartida y no modela explícitamente características idiosincrásicas o específicas de un dominio más allá de la autorreconstrucción.
• La evaluación depende de métricas proxy en lugar de conceptos de verdad fundamental (ground-truth), lo que significa que la alineación semántica y la transferencia funcional pueden no coincidir siempre.
• El objetivo combinado introduce sensibilidad a los hiperparámetros.
• La validación empírica está limitada a arquitecturas y conjuntos de datos específicos, aunque se pretende que el marco sea generalizable.