Resumen Técnico: Evaluación de la Interpretabilidad de los Autoencoders Dispersos con Anotaciones de Conceptos

Declaración del Problema

Los Autoencoders Dispersos (SAEs, por sus siglas en inglés) se emplean cada vez más para descomponer representaciones internas de alta dimensión de modelos de visión y de visión-lenguaje (por ejemplo, CLIP, DINOv2) en latentes dispersos e interpretables. Sin embargo, los métodos de evaluación existentes para los SAEs basados en visión dependen en gran medida de proxies estructurales (por ejemplo, fidelidad de reconstrucción, dispersión) o de la inspección cualitativa. Estos métodos no logran medir la correspondencia semántica —el grado en que los latentes aprendidos se alinean con conceptos comprensibles para los humanos.

Además, los modelos de visión exhiben modos de fallo sistemáticos como la fragmentación de características (un concepto fragmentado en múltiples latentes), la absorción de características (características generales que desarrollan puntos ciegos) y la composición de características (conceptos que coocurren y se fusionan). Las métricas actuales, a menudo adaptadas del procesamiento de lenguaje natural, tienen dificultades para validar si un latente codifica realmente un atributo semántico específico o si simplemente se correlaciona con él debido a factores de confusión. Crucialmente, la evaluación funcional en visión es difícil porque aislar un único cambio semántico en imágenes naturales no es trivial sin intervenciones controladas.

Metodología

Los autores proponen un marco de evaluación fundamentado en humanos que cuantifica la alineación entre los latentes de los SAEs y los conceptos anotados por humanos sin requerir estudios de usuario. El marco consta de tres componentes principales:

1. Emparejamiento Latente-Concepto

Para medir la alineación estadística, los autores comparan las activaciones binarizadas de los SAEs contra vectores de atributos binarios de verdad fundamental (ground-truth).

• Emparejamiento Uno-a-Uno: Selecciona el único latente que maximiza la puntuación F1 para un atributo dado.
• Búsqueda de Emparejamiento Completamente Binaria (FBMP): Reconociendo que las características suelen dividirse en múltiples latentes, los autores introducen un procedimiento de emparejamiento basado en coaliciones. FBMP es un algoritmo de selección codicioso (greedy) y secuencial diseñado para el dominio binario. A diferencia de la Búsqueda de Emparejamiento estándar, opera enteramente en el espacio binario:
  • Utiliza métricas de similitud binaria (por ejemplo, $F_\beta$) en lugar de productos internos.
  • Utiliza la operación lógica OR ($\lor$) para sumar contribuciones y AND/NOT ($\land, \neg$) para actualizar los residuales.
  • Construye un pequeño subconjunto (coalición) de latentes que colectivamente reconstruyen la anotación del atributo, permitiendo mapeos de muchos-a-uno.
• $\Delta$MATCHScore: Para tener en cuenta la inflación de las puntuaciones de emparejamiento en diccionarios más grandes (donde aumentan las correlaciones aleatorias), los autores restan la puntuación de un SAE no entrenado (con pesos aleatorios) de la puntuación del SAE entrenado.

2. Benchmarks de Intervención Sintética

Para permitir la validación funcional, los autores construyen dos conjuntos de datos sintéticos donde los pares de imágenes difieren en exactamente un atributo semántico:

• synCUB: Derivado de CUB-200-2011, este conjunto de datos apunta a perturbaciones de atributos finos (por ejemplo, cambiar el patrón de vientre "sólido" por uno "manchado") en imágenes de aves de un solo objeto. Utiliza Flux2 para editar imágenes base guiadas por imágenes de referencia, preservando la identidad, la pose y el fondo.
• synCOCO: Derivado de MS-COCO, este conjunto de datos apunta a la eliminación de objetos en escenas complejas de múltiples objetos. Elimina objetos específicos mientras preserva el resto de la escena, abordando el desafío de las intervenciones controladas en entornos naturalistas.

3. Puntuación de Alineación de Perturbación de Atributos Dirigida (TAPAScore)

Esta métrica prueba si los latentes emparejados responden de manera selectiva y en la dirección esperada bajo perturbaciones dirigidas.

• Para un par de imágenes $(x, \hat{x})$ que difieren en un atributo, los autores computan la respuesta con signo de la coalición de latentes emparejada con el atributo añadido o eliminado.
• TAPAScore se define como $\Delta_{add} - \Delta_{rem}$, donde $\Delta$ representa el cambio promedio en la activación máxima del conjunto de latentes emparejados. Una puntuación positiva indica que los latentes aumentan cuando el atributo se añade y disminuyen cuando se elimina, confirmando la codificación causal.

Principales Contribuciones

1. Algoritmo FBMP: Un novedoso procedimiento de emparejamiento basado en coaliciones que soporta mapeos de muchos-a-uno entre latentes de SAE y conceptos. Los autores demuestran que FBMP supera consistentemente a las líneas base de uno-a-uno y supera las pruebas de consistencia (sanity checks) en las que fallan las métricas existentes (como Feature Monosemanticity Score o CKNNA).
2. Benchmarks Sintéticos (synCUB y synCOCO): Los primeros benchmarks de tipo intervención para la evaluación de SAE en imágenes naturalistas, permitiendo perturbaciones controladas de atributos y objetos.
3. TAPAScore: Una métrica funcional que valida si los emparejamientos estadísticos corresponden a codificaciones semánticas causales mediante la prueba de la direccionalidad de la respuesta bajo perturbación.
4. Guías Empíricas: El estudio proporciona orientación accionable para profesionales, recomendando tamaños de diccionario moderados y la combinación de FBMP con TAPAScore para una evaluación de interpretabilidad óptima.

Resultados Experimentales

El marco fue evaluado en SAEs entrenados en embeddings de CLIP y DINOv2 a través de diversos tamaños de diccionario ($128$a$4096$) y variantes de SAE (TopK, BatchTopK, Matryoshka, JumpReLU).

• Pruebas de Consistencia (Sanity Checks): TAPAScore y $\Delta$MATCHScore (con FBMP) fueron las únicas métricas capaces de distinguir de manera fiable los SAEs entrenados de los baselines no entrenados o aleatorios. Métricas como CKNNA y Feature Monosemanticity Score (FMS) mostraron una sensibilidad limitada o un comportamiento inconsistente (por ejemplo, CKNNA aumentando para SAEs no entrenados).
• Rendimiento de Emparejamiento: FBMP superó consistentemente al emparejamiento uno-a-uno en todas las variantes. La variante $F_{0.5}$ de FBMP (que favorece la precisión) generalmente produjo las puntuaciones más altas.
• Compromisos del Tamaño del Diccionario:
  • Aumentar el tamaño del diccionario (sobrecompletitud) mejoró las puntuaciones de emparejamiento estadístico ($\Delta$MATCHScore) hasta cierto punto, pero a menudo degradó la alineación de perturbación (TAPAScore).
  • Para los SAEs TopK en CUB, el TAPAScore alcanzó su máximo temprano y luego declinó bruscamente a medida que el tamaño del diccionario aumentaba, indicando que los diccionarios más grandes lograban un mejor emparejamiento estadístico sin codificar conceptos causalmente válidos.
  • Tamaños de diccionario moderados (por ejemplo, 256–1024 dependiendo de la variante) ofrecieron el mejor equilibrio entre cobertura semántica y selectividad funcional.
• Correlación: Aunque las puntuaciones de emparejamiento y TAPAScore estuvieron generalmente correlacionadas positivamente, la divergencia en tamaños de diccionario grandes (donde el emparejamiento mejoró pero el TAPAScore cayó) resaltó que el alineamiento estadístico es insuficiente para garantizar la interpretabilidad.

Significado y Reivindicaciones

El artículo sostiene que la interpretabilidad no puede asumirse a partir del diseño arquitectónico o la calidad de la reconstrucción por sí sola; debe evaluarse explícitamente frente a conceptos comprensibles para los humanos. El marco propuesto operacionaliza la interpretabilidad como la alineación entre las características aprendidas y los atributos anotados, validada mediante intervenciones controladas.

Los autores concluyen que los tamaños de diccionario moderados proporcionan el equilibrio óptimo, produciendo los SAEs más interpretables. Recomiendan el uso de FBMP ($F_{0.5}$, $k=3$) junto con TAPAScore como el protocolo de evaluación por defecto. Este trabajo destaca que el aumento de la sobrecompletitud puede reducir la alineación de la perturbación, sugiriendo una pérdida de interpretabilidad a pesar de la mejora en las métricas estadísticas.

Los autores reconocen limitaciones, señalando que la calidad del marco está limitada por la granularidad y precisión de las anotaciones humanas. Sugieren que trabajos futuros podrían reducir la dependencia de las anotaciones manuales aprovechando los modelos de visión-lenguaje para la generación automática de atributos y explorar el uso de TAPAScore como una herramienta para el control activo del modelo.