Circuit Fingerprints: How Answer Tokens Encode Their Geometrical Path

Resumen Técnico: Circuit Fingerprints (Huellas Digitales de Circuitos)

Título original: Circuit Fingerprints: How Answer Tokens Encode Their Geometrical Path

1. El Problema: La dualidad entre Interpretabilidad y Control

En la investigación actual de los Transformers, existen dos hilos de trabajo que suelen tratarse de forma separada:

• Descubrimiento de circuitos (Circuit Discovery): Identificar qué componentes (cabezales de atención o capas MLP) son responsables de un cálculo específico mediante intervenciones causales o gradientes.
• Direccionamiento de activaciones (Activation Steering): Controlar el comportamiento del modelo interviniendo en el espacio de representaciones para cambiar el estilo o contenido de la respuesta.

El problema central que aborda este artículo es si estas dos tareas son, en realidad, dos caras de la misma moneda: ¿Es la estructura que "leemos" (interpretabilidad) la misma que podemos "escribir" (control)?

2. La Hipótesis: Circuit Fingerprint

Los autores proponen la Hipótesis de la Huella Digital del Circuito: los tokens de respuesta (el output que el modelo genera), cuando se procesan de forma aislada, codifican geométricamente las rutas computacionales que los produjeron. En otras palabras, la representación de una palabra como "París" contiene una "firma geométrica" de los componentes que el modelo activaría para llegar a esa conclusión.

3. Metodología

El método se basa en la geometría del espacio de activaciones y se divide en dos operaciones duales: Lectura y Escritura.

A. Lectura (Descubrimiento de Circuitos):
En lugar de usar gradientes costosos o intervenciones masivas, el método utiliza la alineación geométrica:

1. Extracción de direcciones objetivo ($\Delta r$): Se procesan tokens de respuesta contrastivos (ej. "París" vs. "Roma") de forma aislada para obtener la dirección en el flujo residual que los distingue.
2. Atribución de componentes: Se mide cuánto contribuye cada componente (cabezal o MLP) a esa dirección. Para evitar el ruido de las matrices de proyección, el cálculo se realiza en el espacio nativo de cada componente.
3. Atribución de aristas (Edges) y Descomposición de Shapley: Para entender cómo la información fluye entre componentes, el método analiza las "aristas" del grafo computacional. Utilizan valores de Shapley para asignar de manera justa la importancia entre los canales de atención (Query, Key, Value), permitiendo un desglose preciso de la función de cada cabezal.

B. Escritura (Direccionamiento/Steering):
Si la dirección geométrica identifica el circuito, entonces añadir esa dirección a las activaciones debería "escribir" ese comportamiento:

1. Se construye un subespacio de intervención a partir de prototipos de tokens (ej. tokens que expresan "alegría").
2. Se aplica una intervención en los cabezales identificados por el método de lectura para inyectar el estilo deseado sin necesidad de reentrenamiento.

4. Contribuciones Clave

1. Unificación: Demuestran que el descubrimiento de circuitos y el direccionamiento son operaciones duales (lectura/escritura) sobre la misma estructura geométrica.
2. Eficiencia: Permite descubrir circuitos comparables a los métodos basados en gradientes (como EAP-IG) pero mediante alineación geométrica pura, sin necesidad de retropropagación (backpropagation).
3. Descubrimiento de Personas/Estilos: Demuestran que se pueden identificar circuitos de "personalidad" (ej. hablar como un pirata o con alegría) simplemente usando instrucciones en el prompt, sin necesidad de datasets específicos para esa característica.

5. Resultados Principales

• Fidelidad en el descubrimiento: En tareas estándar como Indirect Object Identification (IOI), Subject-Verb Agreement (SVA) y Multiple-Choice QA (MCQA), el método (CF) logra métricas de calidad (CMD y CPR) muy cercanas a los métodos de vanguardia basados en gradientes en múltiples familias de modelos (GPT-2, Qwen, Llama, OPT).
• Eficacia en el control (Steering): El direccionamiento geométrico superó significativamente al prompting de instrucciones tradicional en la clasificación de emociones, logrando un 69.8% de precisión frente al 53.1% del método de instrucciones, manteniendo una precisión factual alta (89.6%).
• Consistencia Causal: Las direcciones extraídas de los tokens de respuesta logran efectos de supresión de respuestas incorrectas comparables a las intervenciones de activation patching.

6. Significado e Implicaciones

El estudio revela que los circuitos de los Transformers no son solo estructuras causales abstractas, sino estructuras fundamentalmente geométricas codificadas en el espacio de activaciones. Esto simplifica el kit de herramientas de la interpretabilidad mecánica: en lugar de tener métodos separados para entender y para controlar, un único análisis geométrico permite realizar ambas tareas, revelando que la interpretabilidad y la controlabilidad son dos facetas del mismo objeto matemático.