Resumen Técnico: Colisión Descriptiva en la Auto-interpretabilidad de Autoencoders Dispersos

1. Definición del Problema

El artículo identifica una falla estructural en las actuales tuberías de auto-interpretabilidad de Autoencoders Dispersos (SAE) denominada colisión descriptiva. Mientras que las críticas existentes se centran en la polisemicidad (un rasgo que tiene múltiples significados) o en la precisión predictiva de las explicaciones, este trabajo destaca el problema inverso: muchos rasgos distintos de SAE admiten la misma explicación en lenguaje natural.

El problema central surge porque el espacio de posibles descripciones breves en lenguaje natural (el "espacio descriptivo") es estructuralmente más pequeño que el espacio de rasgos de SAE (el "espacio de rasgos"). En consecuencia, una sola cadena de anotación a menudo se mapea a un gran grupo de rasgos distintos. Los autores argumentan que los paradigmas de evaluación actuales fallan al detectar esto porque tratan al rasgo como fijo y preguntan si la explicación lo describe, en lugar de preguntar si la explicación identifica unívocamente al rasgo entre sus pares.

2. Metodología y Definiciones

Marco Formal

Los autores formalizan el problema utilizando teoría de la información:

• Grupo de Colisión ($C_E(f)$): Para un rasgo $f$ y una función de explicación $E$, el conjunto de todos los rasgos $g$ tales que $E(g) = E(f)$.
• Resolución Descriptiva: Definida como la información mutua $I(F; A)$ entre la variable aleatoria $F$ (seleccionando un rasgo uniformemente) y $A = E(F)$ (la anotación).
  • La resolución máxima ($\log_2 N$ bits) ocurre cuando la explicación es inyectiva (única por rasgo).
  • La resolución se reduce por la entropía de los grupos de colisión.

Análisis Empírico

Los autores reanalizaron el conjunto de datos público más grande de rasgos de SAE anotados por humanos (Marks et al. [21]), que comprende 722 rasgos a través de los modelos Gemma 2 2B y Pythia 70M.

• Fuente de Datos: Rasgos anotados por humanos con cadenas breves en lenguaje natural, tratados como un proxy de alta calidad para explicaciones automatizadas.
• Métrica: Cálculo de tamaños de grupos, información mutua y la distribución de la reutilización de anotaciones.

Prueba Teórica

El artículo demuestra la Proposición 1: Las puntuaciones de auto-interpretabilidad basadas en detección son invariantes bajo la sustitución de cualquier rasgo dentro de un grupo de colisión. Si dos rasgos comparten una explicación y tienen distribuciones de activación similares, una puntuación de detección estándar (que mide si la explicación predice el disparo del rasgo) será idéntica para ambos. Por lo tanto, puntuaciones altas no pueden certificar que una explicación identifica un rasgo específico en lugar de simplemente describir una propiedad compartida por el grupo.

3. Resultados Clave

Hallazgos Empíricos

• Prevalencia: El 82.1% de los 722 rasgos comparte su anotación con al menos otro rasgo.
• Tamaño del Grupo: La cadena de anotación media se reutiliza en 3.07 rasgos. El grupo más grande, etiquetado como "sustantivos plurales", contiene 101 rasgos distintos que abarcan 18 capas y cuatro componentes del modelo.
• Pérdida de Información: La anotación promedio resuelve solo el 70% de la identidad del rasgo. La entropía residual ($H(F|A)$) es de 2.85 bits, lo que significa que incluso después de leer una anotación, la identidad esperada del rasgo sigue siendo incierta sobre un alfabeto efectivo de $\approx 7.2$ rasgos.
• Colisión Inter-capas: El 56.6% de las cadenas de anotación reutilizadas abarcan al menos dos capas distintas, confirmando que estas colisiones representan entidades mecánicas distintas, no simplemente representaciones redundantes del mismo concepto.
• Hedging Humano: El 55.7% de los rasgos con notas de los autores utilizaron lenguaje de precaución (por ejemplo, "principalmente", "a veces"), lo que indica que incluso los anotadores humanos expertos reconocieron que sus etiquetas breves subespecificaban el rasgo.

Invarianza de Puntuación

El estudio demuestra que las puntuaciones estándar de detección (precisión, F1, AUC) son ciegas a la colisión. Una explicación como "sustantivos plurales" puede lograr una puntuación alta (por ejemplo, 0.95) para un rasgo específico, pero esta puntuación no distingue a ese rasgo de los otros 100 rasgos que comparten la etiqueta. El mecanismo de puntuación optimiza la verdad genérica dentro del grupo en lugar de la identificación específica.

4. Soluciones Propuestas

El artículo propone dos métricas correctivas complementarias para penalizar explícitamente las explicaciones que fallan en distinguir un rasgo de sus vecinos:

1. Puntuación de Discriminación ($S_{disc}$):

   • Mecanismo: Para un rasgo $f$, se selecciona un conjunto de $k$ "rasgos de discriminación" ($D(f)$) basados en la similitud de activación (por ejemplo, similitud de Jaccard). La puntuación mide la capacidad de la explicación para ayudar a un juez a distinguir textos donde $f$ dispara de textos donde un vecino $g \in D(f)$ dispara.
   • Comportamiento: Una explicación verdadera tanto para $f$ como para $g$ (como "sustantivos plurales") producirá una puntuación cercana a 0.5 (adivinación aleatoria) cuando se empareje contra un vecino similar, mientras que una explicación única producirá una puntuación alta.
   • Costo: Requiere $O(km)$ llamadas al juez por rasgo, significativamente más alto que la detección estándar.

2. Detección Ajustada por Colisión ($S_{adj}$):

   • Mecanismo: Una heurística computacionalmente más barata que penaliza la puntuación de detección estándar por el tamaño del grupo de colisión: $S_{adj} = S_{det} \cdot \frac{1}{|C_E(f)|}$.
   • Efecto: Esto reduce la calidad aparente de las explicaciones amplias (por ejemplo, "sustantivos plurales") por un factor de 101 en el conjunto de datos observado, sin requerir nuevas llamadas al juez.

5. Significado y Afirmaciones

El artículo sitúa la colisión descriptiva como un modo de falla genérico de cualquier esquema de puntuación de explicaciones donde el espacio objetivo (explicaciones) es mucho más pequeño que el espacio de rasgos, invocando la Ley de Goodhart.

• Distinción: Los autores enfatizan que la colisión es estructuralmente distinta de la polisemicidad, el sesgo de recuperación y los problemas de línea base aleatoria. Es una propiedad del espacio de etiquetas, no del diccionario de rasgos.
• Impacto en la Interpretabilidad: Ignorar la colisión infla la interpretabilidad reportada de los rasgos en aproximadamente un tercio de los bits requeridos para identificar un rasgo.
• Implicaciones Derivadas: Para aplicaciones científicas (por ejemplo, circuitos de rasgos, vectores de dirección), las conclusiones extraídas de una etiqueta deben leerse como aplicables a todo el grupo de colisión ($|C_E|$ rasgos), no a un solo rasgo. Para la etiqueta "sustantivos plurales", esto expande el alcance de las afirmaciones en dos órdenes de magnitud.
• Estimación Conservadora: Los autores argumentan que la colisión observada en datos anotados por humanos es una cota inferior. Se espera que las tuberías automatizadas, que operan con presupuestos más ajustados y registros descriptivos más estrechos, sufran una colisión aún más severa.

El artículo concluye llamando a que el campo reporte rutinariamente estadísticas de colisión junto con las puntuaciones de detección y desarrolle esquemas de etiquetado evaluados por su poder para distinguir rasgos, no meramente describirlos.