Resumen Técnico: Mapas de Evolución Geométrica (GEMs)

Declaración del Problema

Las sondas lineales extraídas de los flujos residuales de los transformadores son tan fiables como la capa específica de la que se extraen. La literatura actual se basa en tres heurísticas ingenuas para la selección de capas: sondear la capa final, sondear la capa con la puntuación de separación máxima o sondear una capa fija media-tardía.

El artículo argumenta que estos enfoques no tienen en cuenta una realidad estructural fundamental: las representaciones de conceptos en los flujos residuales de los transformadores no son estáticas. Emergen gradualmente, experimentan una rotación direccional sustancial durante su fase de ensamblaje (dentro de la Zona de Asignación de Conceptos o CAZ) y solo se estabilizan en una dirección estable en una "capa de transferencia" característica, después de la CAZ principal. Sondear en el pico de separación (que ocurre dentro de la CAZ) o en la entrada de la CAZ extrae una dirección que aún no se ha estabilizado, lo que conduce a sondas de conceptos poco fiables.

Metodología: Mapas de Evolución Geométrica (GEMs)

El artículo introduce los Mapas de Evolución Geométrica (GEMs), un método para rastrear la trayectoria direccional completa de un concepto a través de las activaciones del flujo residual, con el fin de identificar la capa precisa donde la dirección del concepto se estabiliza.

Definiciones Principales

1. Dirección del Concepto ($u^{(l)}$): En cada capa $l$, la dirección dominante del concepto se define como la diferencia normalizada en $L_2$ entre las activaciones medias del flujo residual de pares contrastivos positivos y negativos (Diferencia de Medias).
2. Velocidad Angular ($\omega^{(l)}$): La tasa de cambio direccional se calcula como $\omega^{(l)} = 1 - |u^{(l)} \cdot u^{(l-1)}|$. Una velocidad alta indica una rotación activa; una velocidad baja indica estabilidad.
3. Zona de Asignación de Conceptos (CAZ): El rango de capas donde un concepto experimenta su evento principal de separación, detectado mediante puntuaciones de separación normalizadas por Fisher.
4. Capa de Transferencia ($L_H$): Definida operacionalmente como la primera capa inmediatamente posterior al final de la CAZ donde la velocidad angular cae por debajo de un umbral ($\epsilon = 0.05$). Esta es la capa donde la dirección del concepto se "bloquea".
5. Sonda Estabilizada: La sonda extraída es el vector unitario $u^{(L_H)}$ en la capa de transferencia.

Regla de Ancho Adaptativo

Al evaluar sondas mediante ablación, el artículo introduce una regla de ancho adaptativo ($w$). El valor predeterminado es ablacionar 3 capas consecutivas comenzando en $L_H$. Sin embargo, para transferencias cercanas a la capa final ($L_H/N > 0.85$), ablacionar 3 capas arriesga extenderse hacia la zona de preparación para la desincrustación, diluyendo la señal. Para estos casos, la regla establece $w=1$ para extraer la dirección exactamente en el punto de convergencia.

Contribuciones Clave

1. Formalización de GEM: Un método tratable para calcular la capa de transferencia y extraer la dirección del concepto estabilizada.
2. Validación Empírica de la Rotación: Se demostró que las direcciones de los conceptos rotan sustancialmente durante el ensamblaje. En 391 pares de concepto $\times$ modelo (23 modelos, 17 conceptos), el Coseno de Entrada-Salida (EEC) medio dentro de las CAZs es 0.233, con un 93.9% de los pares mostrando un EEC < 0.5. Esto confirma que sondear en la entrada de la CAZ o en el pico de separación captura una dirección ortogonal al estado final estabilizado.
3. Superioridad de las Sondas de Transferencia: Las sondas extraídas mediante GEM son al menos tan precisas como las sondas de capa pico en el 68.5% (268/391) de los ensayos y superan estrictamente en el 66.2% (259/391). Una prueba de rangos con signo de Wilcoxon sobre las proporciones por modelo confirma la significancia ($p=0.010$; $p=0.0036$ excluyendo gpt2).
4. Hallazgos Específicos de la Arquitectura:
   • MHA vs. GQA: Los modelos MHA favorecen la capa de transferencia en el 78.3% de los ensayos, mientras que los modelos GQA lo hacen solo en el 47.1%.
   • Escala: La estructura GEM existe incluso en modelos de 70M, pero la calidad de la sonda mejora significativamente en el rango >500M.
5. Control de Especificidad Direccional: La ablación de la dirección específica del concepto suprime la separación a una tasa mediana 377$\times$ mayor que la ablación de dirección aleatoria (45.6% vs. 0.24%), confirmando que el efecto es transportado por la dirección del concepto en sí, no solo por la profundidad.
6. Control Emparejado por Profundidad: Un experimento de control que compara GEM contra una capa no estabilizada a la misma profundidad relativa confirmó que el criterio de estabilización contribuye con +32.5 puntos porcentuales adicionales de supresión de separación, descartando la profundidad de extracción como el único impulsor.
7. Modos de Fallo Estructurados:
   • gpt2: Identificado como un modo de fallo genuino donde la ablación en la capa de transferencia (debido a la proximidad a la desincrustación en un modelo de 12 capas) aumenta patológicamente la separación.
   • OPT-6.7b: Inicialmente pareció un fallo en un corpus más pequeño (41% de mejora), pero alcanzó un 76% de mejora en $N=250$, lo que indica que el hallazgo inicial dependía del tamaño del corpus.

Resultados y Observaciones

• Profundidad de Transferencia: La mayoría de los conceptos se estabilizan en el 15–30% final de la profundidad del modelo. Los conceptos relevantes para la seguridad y epistémicos (por ejemplo, threat_severity, certainty) se transfieren más profundamente (profundidad relativa media $\ge$ 0.86), mientras que los conceptos sintácticos (por ejemplo, specificity, plurality) se transfieren antes.
• Estructura de Relé: Los experimentos de ablación de múltiples nodos en pythia-6.9b revelan que los conceptos a menudo existen en un relé causal. El nodo GEM más profundo es el punto de intervención causalmente más concentrado, pero los nodos superficiales están causalmente aguas arriba (se observó interrupción cruzada en 9/15 conceptos de múltiples nodos).
• Eficacia de la Regla Adaptativa: La regla de final cercano ($w=1$) mejora la calidad de la sonda en el 75.9% de los casos activados (60/79), con una ganancia media de +7.44pp para esos casos.

Significado y Afirmaciones

El artículo afirma que GEM proporciona la metodología de extracción subyacente a los artículos de Validación de CAZ y PRH en este programa de investigación. Su significado principal radica en:

1. Corrección de la Extracción de Sondas: Establecer que la dirección "estabilizada" en la capa de transferencia es la representación geométricamente precisa de un concepto, superior a las direcciones transitorias encontradas en los picos de separación.
2. Mapeo de la Dinámica de Ensamblaje: Proporcionar un método para visualizar y cuantificar la "rotación" de los conceptos, revelando que los conceptos no son estáticos, sino que experimentan un proceso de ensamblaje dinámico antes de estabilizarse.
3. Caracterización Causal: Demostrar que GEM identifica los puntos más accesibles en un relé causal para la intervención, aunque no afirma capturar la totalidad de la codificación del concepto (que sigue siendo distribuida).

El artículo mantiene una postura modesta respecto a su alcance: no afirma explicar el mecanismo completo de la codificación de conceptos (por ejemplo, las contribuciones específicas de la atención frente a las subcapas MLP) ni afirma capturar toda la información del concepto, solo los "picos" de la distribución donde la señal es lo suficientemente grande como para ser aislada y probada. Señala explícitamente que la ablación conductual (midiendo cambios en la salida aguas abajo) está diseñada pero aún no se ha ejecutado a gran escala.