Resumen Técnico: Comparación de Sondas Lineales con la Similitud de Coseno de Mahalanobis

Planteamiento del Problema

Las sondas lineales son herramientas estándar en la investigación de la interpretabilidad para extraer conceptos de las representaciones de redes neuronales. Sin embargo, su comportamiento de transferencia es notoriamente frágil; las sondas entrenadas en datos de distribución interna (ID) suelen fallar al generalizar a escenarios de distribución externa (OOD), incluso ante cambios sutiles como la negación o cambios en el formato de los prompts. Un desafío crítico es determinar qué sondas generalizarán y comprender por qué las sondas que parecen similares en una distribución divergen en otra.

Los métodos actuales para comparar sondas suelen basarse en la similitud de coseno euclidiana (ECS). Sin embargo, la ECS trata todas las dimensiones por igual, ignorando el hecho de que solo las dimensiones donde los datos varían significativamente impactan el rendimiento de la sonda. Mientras que Ying et al. (2026) observaron empíricamente que la similitud de coseno de Mahalanobis (MCS) —que repondera el producto interno mediante la covarianza de los datos OOD— predice linealmente el AUROC OOD ($R^2=0.98$) para conjuntos de datos de veracidad, este hallazgo carecía de una explicación teórica y no había sido validado en diversos modelos, capas o dominios de conceptos.

Metodología

Los autores proponen un marco teórico y empírico para explicar y validar la relación entre la MCS y el rendimiento de generalización OOD.

Marco Teórico

El artículo deriva una relación de forma cerrada entre el AUROC OOD de una sonda y su MCS respecto a una sonda de referencia entrenada en datos OOD. La derivación se basa en tres supuestos estadísticos estándar:

1. Clases Balanceadas: $Pr(Y=0) = Pr(Y=1) = 0.5$.
2. Gaussianidad de la Proyección: La proyección del vector de características sobre cualquier dirección de la sonda sigue una distribución gaussiana para cada clase.
3. Estructura de Covarianza: La covarianza total ($\Sigma_{tot}$) se descompone en la covarianza agrupada dentro de la clase ($\Sigma_{pool}$) y el componente entre clases.

Bajo estos supuestos, los autores demuestran que:

• El AUROC es una función con forma de sigmoide de la relación señal-ruido (SNR) de la sonda, $s$: $AUROC = \Phi(s/\sqrt{2})$.
• La MCS (específicamente contra la dirección del discriminante de Fisher) es una función con forma de soft-sign de $s$: $MCS \approx s/\sqrt{4+s^2}$ (en el límite de una distancia de Fisher $z_{max}$ grande).

La idea teórica central es que la composición de estas dos funciones cancela sus respectivas no linealidades (la sigmoide y la soft-sign), resultando en una relación casi lineal entre el AUROC y la MCS. La pendiente de esta línea se predice teóricamente como aproximadamente $1/\sqrt{\pi}$ cuando la distancia de Fisher es grande.

Evaluación Empírica

Los autores extienden la validación empírica de esta relación a través de:

• Modelos: Llama-3.3-70B, Llama-3.1-8B y Qwen2.5-7B.
• Capas: Diversas capas (p. ej., 20, 33, 50, 65) dentro de Llama-70B.
• Dominios: 24 conjuntos de datos que abarcan veracidad, clasificación de género y evaluaciones generales de NLP.
• Líneas de base: Comparación contra la similitud de coseno euclidiana (ECS) estándar y el uso de diferentes estimadores de covarianza (total vs. agrupada).

Principales Contribuciones

1. Prueba Teórica de Linealidad: El artículo proporciona una prueba de forma cerrada que demuestra que, para clases con proyección gaussiana y balanceadas, el AUROC OOD y la MCS están relacionados linealmente. Esto explica la correlación casi perfecta ($R^2 \approx 0.98$) observada previamente.
2. Caracterización de Modos de Fallo: La teoría predice explícitamente las condiciones bajo las cuales esta linealidad se rompe, las cuales son verificadas empíricamente:
   • El uso de la covarianza agrupada ($\Sigma_{pool}$) en lugar de la covarianza total ($\Sigma_{tot}$) destruye la linealidad.
   • Las distancias de Fisher pequeñas ($z_{max}$) resultan en pendientes específicas de la tarea en lugar de una línea universal.
   • El desbalance de clases aumenta la pendiente.
   • Las sondas que se desvían significativamente de la dirección de Fisher (p. ej., sondas simples de diferencia de medias) muestran una linealidad degradada.
3. Generalización Empírica: El estudio valida la linealidad MCS-AUROC a través de una amplia gama de modelos, capas y dominios de conceptos, logrando un $R^2 > 0.93$ en todas las condiciones probadas. En contraste, el rendimiento de la ECS cae significativamente, con un $R^2$ tan bajo como 0.06 en evaluaciones generales de NLP.
4. Robustez a los Estimadores: Los autores demuestran que el resultado se mantiene para la covarianza de muestra completa y el encogimiento (shrinkage) de Ledoit-Wolf, pero falla con aproximaciones diagonales, confirmando la necesidad de la estructura de covarianza fuera de la diagonal.

Resultados

• Alto Poder Predictivo: A través de las 8 condiciones experimentales (variando modelos, capas y dominios), el ajuste lineal del AUROC OOD frente a la MCS produce un $R^2 \geq 0.93$.
• Superioridad sobre la ECS: La ECS rinde consistentemente por debajo, con valores de $R^2$ que oscilan entre 0.057 (NLP general) y 0.723 (Género), mientras que la MCS mantiene un alto poder predictivo.
• Alineación Teórica: Las pendientes empíricas de las curvas AUROC-MCS se alinean estrechamente con la pendiente central teórica de $1/\sqrt{\pi} \approx 0.564$. Las desviaciones ocurren principalmente en las colas de saturación (valores altos de AUROC/MCS), de acuerdo con la teoría.
• Verificación de Modos de Fallo: Las simulaciones y los experimentos con datos reales confirman que la linealidad se degrada cuando se violan los supuestos (p. ej., usar $\Sigma_{pool}$ reduce el $R^2$ de 0.98 a 0.83; usar sondas de diferencia de medias lo reduce a 0.79).

Significado y Reivindicaciones

El artículo afirma que la similitud de coseno de Mahalanobis ofrece una alternativa con base teórica y consciente de la tarea a la similitud de coseno euclidiana para comparar sondas lineales.

• Mecanismo: A diferencia de la ECS, que trata todas las dimensiones por igual, la MCS repondera el producto interno mediante la covarianza de los datos OOD, comparando efectivamente las sondas en el subespacio que realmente importa para la tarea específica.
• Utilidad Predictiva: La relación lineal permite a los investigadores predecir el rendimiento de generalización (AUROC OOD) de una sonda entrenada en datos ID simplemente midiendo su MCS respecto a una sonda de referencia entrenada en datos OOD (o un proxy de la dirección de Fisher).
• Implicaciones más Amplias: Los autores sugieren que este enfoque puede beneficiar a otros métodos de interpretabilidad que dependen actualmente de la similitud de coseno, como la comparación de vectores de dirección (steering vectors), la alineación de características de SAE y el agrupamiento de direcciones de conceptos.
• Limitaciones: Los autores señalan que el método requiere datos OOD etiquetados para estimar la covarianza y la dirección de referencia (no es libre de etiquetas para la distribución objetivo). Además, la teoría está calibrada para sondas de estilo Fisher (Regresión Logística, LDA); el rendimiento se degrada para las sondas de diferencia de medias. La evaluación se limita actualmente a la clasificación binaria en características del flujo residual de LLMs autorregresivos.

En resumen, el trabajo establece que el éxito de la MCS para predecir la generalización de las sondas no es una coincidencia, sino una consecuencia de la interacción geométrica entre las relaciones señal-ruido, las proyecciones gaussianas y las métricas de similitud conscientes de la covarianza.