Do Sparse Autoencoders Learn Meaningful Concept Hierarchies?

Resumen Técnico: ¿Aprenden los Autoencoders Dispersos Jerarquías de Conceptos Significativas?

Planteamiento del Problema
Los Autoencoders Dispersos (SAEs, por sus siglas en inglés) han emergido como una herramienta primordial para el descubrimiento de conceptos no supervisado en modelos de lenguaje y de visión-lenguaje de gran escala, descomponiendo las activaciones del modelo en características latentes dispersas y de alta dimensionalidad. Sin embargo, a medida que estos espacios de características crecen, se vuelven difíciles de navegar e interpretar debido a la falta de una estructura inherente. Mientras que los humanos organizamos naturalmente los conceptos de forma jerárquica (por ejemplo, tenis $\to$ raqueta de tenis), los enfoques actuales de SAE suelen producir espacios de conceptos desordenados. Aunque métodos recientes intentan imponer estructuras jerárquicas —ya sea explícitamente durante el entrenamiento o implícitamente mediante restricciones—, no existe un marco de trabajo acordado sobre qué constituye una jerarquía de características "significativa". En consecuencia, la comparación rigurosa entre métodos es difícil, y la evaluación se ha basado mayoritariamente en ilustraciones cualitativas o protocolos cuantitativos fragmentados.

Metodología
Para abordar la falta de una evaluación estandarizada, los autores derivan un conjunto exhaustivo de requisitos para jerarquías de generalización/especialización en el aprendizaje de conceptos no supervisado, basándose en la investigación de redes semánticas, la evaluación de taxonomías y la literatura reciente sobre SAE. Estos requisitos se categorizan en tres niveles:

1. Nivel de Concepto: Se centra en características individuales.
   • Interpretabilidad (A1): Los nodos deben corresponder a conceptos comprensibles para el ser humano.
2. Nivel de Estructura: Se centra en la topología estática del grafo.
   • Abstracción Jerárquica (B1): Los nodos hijos deben ser semánticamente más específicos que sus padres.
   • Similitud de Hermanos (B2): Los hijos de un mismo padre deben formar un conjunto coherente y semánticamente relacionado.
3. Nivel de Co-activación: Se centra en el comportamiento dinámico de activación ante entradas concretas.
   • Implicación de Activación (C1): Un hijo activo debe implicar un padre activo (sin "absorción dura").
   • Dominancia de Activación (C2): La fuerza de activación del padre debe ser al menos tan fuerte como la del hijo cuando ambos están activos.
   • Refinamiento Frecuente (C3): Los padres activos deben co-activarse frecuentemente con al menos un hijo activo.
   • Correlación Condicional (C4): La magnitud de la activación del padre debe correlacionarse positivamente con la activación máxima de sus hijos activos (abordando la "absorción suave").

Basándose en estos requisitos, los autores derivan un protocolo de evaluación unificado y no supervisado que consiste en métricas específicas (por ejemplo, Puntuación de Monosemanticidad, Puntuación de Abstracción Jerárquica, Puntuación de Implicación de Activación). Aplican este protocolo para evaluar seis enfoques de SAE entrenados con datos visuales (embeddings de CLIP ViT-L/14 y DINOv2): un SAE TopK estándar, SAEs de Matryoshka (ActMSAE, ArchMSAE), EWG-SAE, SAE de Búsqueda de Coincidencias (MP-SAE) y H-SAE.

Resultos Clave
La evaluación revela varios hallazgos críticos respecto al estado del aprendizaje de conceptos jerárquicos en los SAE:

• Jerarquías Superficiales: La mayoría de los métodos (TopK, EWG-SAE, ArchMSAE, H-SAE) producen jerarquías predominantemente de dos niveles. Solo ActMSAE genera consistentemente estructuras más profundas (más de dos niveles).
• Estructura Semántica vs. Consistencia de Activación: Si bien los espacios de características generalmente proporcionan una base para grafos con estructura semántica (altas puntuaciones de abstracción y similitud de hermanos), establecer un comportamiento de activación jerárquica consistente sigue siendo un desafío.
• El Problema de la Absorción: Un hallazgo central es el compromiso sistemático de la calidad de la jerarquía debido a la absorción de características.
  • Absorción Dura: La supresión de la activación del padre cuando un hijo está activo.
  • Absorción Suave: Un fenómeno recientemente identificado donde las activaciones más fuertes de los hijos suprimen gradualmente las activaciones de los padres incluso cuando ambos están activos, lo que conduce a una baja correlación (baja Puntuación de Correlación Condicional) y puntuaciones de dominancia.
• Rendimiento Específico por Método:
  • Enfoques Matryoshka (ActMSAE): Muestran las mejores métricas de co-activación y estructuras multinivel, aunque la absorción suave persiste.
  • H-SAE (Jerarquía Explícita): Fuerza la co-activación consistente por diseño, pero no logra mantener el significado semántico; sus características a menudo carecen de interpretabilidad, y los hijos a veces parecen más abstractos que los padres.
  • SAE TopK Estándar: Sorprendentemente forma agrupaciones semánticas significativas, pero sufre significativamente de fuerzas de activación inconsistentes entre padres e hijos.
• Independencia del Codificador: Los desafíos para aprender espacios jerárquicos parecen estar impulsados por las estrategias de entrenamiento de los SAE más que por el codificador de visión subyacente (CLIP vs. DINOv2), siempre que los embeddings contengan información suficiente.

Significación y Reivindicaciones
El artículo afirma establecer el primer conjunto general de requisitos y un protocolo de evaluación cuantitativo correspondiente para jerarquías de conceptos no supervisadas. Su principal contribución es identificar que, si bien los SAE pueden aprender características capaces de formar jerarquías significativas, los enfoques actuales luchan por mantener la consistencia dinámica necesaria para que estas jerarquías sean prácticamente útiles.

Los autores argumentan que el campo debe navegar una tensión fundamental entre la dispersión y la consistencia de la activación jerárquica. Sugieren que los enfoques futuros podrían necesitar repensar las restricciones de dispersión dura, postulando que un SAE menos disperso con un comportamiento de activación jerárquica consistente podría ser más valioso que uno más disperso con una estructura fragmentada. Además, destacan que las restricciones estructurales explícitas por sí solas son insuficientes si no se asegura la coherencia semántica dentro de la jerarquía.

El trabajo concluye que, si bien las métricas y requisitos propuestos pueden servir como restricciones de entrenamiento para futuros extractores, permanecen preguntas abiertas sobre el método óptimo para extraer grafos jerárquicos de los espacios latentes y el equilibrio entre la imposición explícita y la inducción implícita de la estructura.