Resumen Técnico: Una Unificación Geométrica del Aprendizaje de Conceptos con Conos de Conceptos

Declaración del Problema

El artículo aborda el desafío de interpretar las redes neuronales profundas mediante el puente entre dos paradigmas dominantes pero distintos en el aprendizaje de conceptos: los Modelos de Cuello de Botella de Conceptos (CBMs) y los Autoencoders Dispersos (SAEs).

• Los CBMs son métodos supervisados que imponen interpretabilidad al alinear las activaciones del modelo con conceptos etiquetados por humanos. Si bien proporcionan una estructura semántica explícita, dependen de taxonomías predefinidas que pueden ser incompletas o estar desalineadas con las representaciones internas del modelo.
• Los SAEs son métodos no supervisados que descubren conceptos emergentes mediante el aprendizaje de representaciones lineales dispersas sobre un diccionario sobrecompleto. Aunque son escalables, sufren de no-identificabilidad: muchos diccionarios diferentes pueden reconstruir las activaciones con un error similar, lo que dificulta determinar si los conceptos aprendidos son significativos. Además, los SAEs son inestables, donde cambios menores en los hiperparámetros (dispersión, tamaño del diccionario) producen descomposiciones muy diferentes.

Actualmente, no existe una forma de principios para comparar estos enfoques supervisados y no supervisados, ni para evaluar si un SAE no supervisado ha descubierto conceptos "plausibles" para el humano sin una verdad de campo completa.

Metodología: El Marco de Trabajo de Conos de Conceptos

Los autores proponen un marco geométrico unificado basado en el aprendizaje de diccionarios y conos de conceptos para analizar ambos paradigmas.

1. Unificación Geométrica

El artículo postula que tanto los CBMs como los SAEs resuelven el mismo problema inverso: descomponer vectores de activación en combinaciones lineales no negativas de direcciones de concepto.

• Vista de Aprendizaje de Diccionarios: Ambos métodos aprenden un diccionario (las filas son direcciones de conceptos) y códigos (coeficientes).
• No negatividad: Ambos imponen códigos no negativos ($c \geq 0$). En los CBMs, esto se impone mediante la función de activación (p. ej., sigmoid/ReLU); en los SAEs, es una restricción explícita.
• Cono de Conceptos: El conjunto de todas las activaciones representables por un diccionario $D$ forma un cono de conceptos, definido como el envolvente cónico de los átomos del diccionario:
  $$C_D = \{ v \in \mathbb{R}^d : v = \alpha^\top D, \alpha \in \mathbb{R}^c_+ \}$$
  Esta geometría unifica ambos enfoques: difieren no en la estructura que aprenden, sino en cómo seleccionan el cono específico.

2. Anclaje Parcial vía CBMs

Dado que los SAEs no son identificables, los autores utilizan los CBMs como anclajes geométicos parciales. La hipótesis central es que una "buena" descomposición de SAE debería contener las direcciones de concepto aprendidas por un CBM dentro de su propio cono de conceptos. Específicamente, un subconjunto de los átomos de un SAE debería ser capaz de reconstruir los conceptos de un CBM mediante combinaciones dispersas y no negativas. Esto no requiere una alineación perfecta uno a uno, sino que la estructura plausible para el humano exista dentro del espacio representacional del SAE.

3. Operacionalización: Métricas

Para cuantificar la alineación entre el cono del SAE ($C_{SAE}$) y el cono del CBM ($C_{CBM}$), los autores introducen un conjunto de métricas complementarias:

• Cobertura (Coverage): Mide la extensión en la que las direcciones de los conceptos de los CBM residen dentro del cono del SAE. Se calcula resolviendo un problema de reconstrucción no negativa dispersa para cada concepto del CBM frente al diccionario del SAE. Una alta cobertura implica que el SAE puede representar los conceptos del CBM.
• Alineación Geométrica ($\rho_{geom}$): Mide la similitud direccional entre los átomos individuales de los SAE y los conceptos de los CBM (usando correlación). Una versión de top-$k$ permite mapeos de muchos a uno o de uno a muchos.
• Alineación de Activación ($\rho_{act}$): Mide si los conceptos de SAE y CBM se activan en muestras de datos similares, teniendo en cuenta las diferencias en los codificadores y los umbrales.
• Predictibilidad de Regresión ($R^2$): Ajusta un mapa lineal de las activaciones del SAE a las activaciones del CBM para medir la preservación de la información global.
• Acuerdo a Nivel de Muestra: Calcula la precisión, el recall y la puntuación F1 basadas en los conceptos más activos (top-$k$) para cada muestra, mapeando los índices de los SAE a los conceptos de los CBM.

Los autores enfatizan que ninguna métrica por sí sola es suficiente; por ejemplo, una alta cobertura puede ocurrir con diccionarios aleatorios (inflación artificial), mientras que una alta alineación geométrica no garantiza patrones de activación significativos.

Contribuciones Clave

1. Marco Unificado: Demuestra que los CBMs y los SAEs son instancias de la misma estructura geométrica (aprendizaje de un cono en el espacio de activación mediante aprendizaje de diccionario no negativo).
2. Hipótesis de Alineación Parcial: Formaliza la idea de que un SAE es plausible si un subconjunto disperso de sus átomos puede recuperar conceptos de CBM validados independientemente, sirviendo como una verificación de sanidad contra la no-identificabilidad.
3. Métricas de Diagnóstico: Introduce un conjunto de métricas (Cobertura, Alineación Geométrica/de Activación, $R^2$, Acuerdo a Nivel de Muestra) y proporciona aclaraciones teóricas sobre qué mide cada una y sus limitaciones.
4. Guías Empíricas: A través de exhaustivos benchmarks, identifica los "puntos óptimos" en el diseño de SAE (dispersión y factores de expansión) que mejor recuperan la estructura relevante para el humano.

Resultados Experimentales

Los autores evaluaron su marco en arquitecturas de visión (ResNet-50, ViT, DINOv2) entrenadas en ImageNet y CUB (Caltech-UCSD Birds). Compararon varias variantes de SAE (Vanilla, TopK, BatchTopK, JumpReLU, Matching Pursuit, Archetypal).

• Verificación de Sanidad: Los SAEs entrenados mostraron una alineación significativamente mejor con los CBMs que los SAEs inicializados aleatoriamente. Notablemente, los SAEs aleatorios exhibieron una Cobertura artificialmente alta pero una alineación y $R^2$ bajos, confirmando que la cobertura por sí sola es insuficiente y debe emparejarse con otras métricas.
• Variantes de SAE: Los SAEs JumpReLU y Vanilla generalmente lograron una cobertura superior y una alineación geométrica competitiva. El análisis Archetypal mostró mejores puntuaciones F1.
• Compromiso de Dispersión (Sparsity Trade-off): Existe una tensión entre la dispersión y la completitud. Una dispersión agresiva (muy pocas unidades activas) produce una alta alineación geométrica (prototipos localizados) pero una menor cobertura. Una dispersión relajada mejora la cobertura y la reconstrucción pero dispersa la estructura. Un régimen de dispersión intermedia (aproximadamente 0.01–0.05% de unidades activas) proporcionó el mejor equilibrio.
• Factor de Expansión: Aumentar el tamaño del diccionario (factor de expansión) mejoró la cobertura y el $R^2$ hasta cierto punto. Un factor de expansión de 2x fue identificado como el punto óptimo; más allá de esto, la alineación direccional comenzó a difundirse.
• Análisis por Capas: En ResNet-50, las capas más profundas (específicamente la Capa 4, después del pooling final) mostraron la alineación semántica más fuerte con los conceptos de los CBM, capturando características de alto nivel. Las capas inferiores capturaron atributos de bajo nivel (bordes, colores) que se alineaban geométricamente pero carecían de correspondencia semántica con la taxonomía de los CBM.

Significado y Reivindicaciones

El artículo afirma proporcionar una base geométrica de principios para evaluar el descubrimiento de conceptos no supervisados. Al tratar a los CBM no como una verdad de campo, sino como un "ancla semántica parcial", este trabajo ofrece una alternativa estructurada a las prácticas existentes para evaluar los SAE.

Los autores argumentan que la interpretabilidad no requiere elegir entre supervisión (CBM) y descubrimiento (SAE). En cambio, el camino a seguir consiste en armonizar ambos: utilizar los conceptos supervisados para validar y guiar el descubrimiento no supervisado dentro de un marco geométrico compartido. Este enfoque permite a los investigadores identificar sesgos inductivos (como mecanismos de dispersión específicos o ratios de expansión) que sistemáticamente producen diccionarios de conceptos más plausibles y alineados con el humano.

El trabajo concluye que, aunque los CBM no son verdades de campo perfectas (debido al sesgo humano y los límites de anotación), proporcionan un punto de referencia necesario para distinguir las descomposiciones significativas de las infinitas posibilidades permitidas por la no-identificabilidad. Las métricas propuestas sirven como herramientas de diagnóstico para navegar los compromisos entre expresividad e interpretabilidad en las redes neuronales modernas.