💬 NLP

Automated Attribution Graph Interpretation via Probe Prompting

Este artículo introduce el "probe prompting", un flujo de trabajo basado en reglas y transparente que agrupa características en grafos de atribución en supernodos alineados con conceptos mediante Firmas de Activación de Prompts Cruzados (Cross-Prompt Activation Signatures), validando con éxito su comportamiento de control causal a través de dominios fácticos con una sobrecarga computacional mínima.

Autores originales: Giuseppe Birardi, Gonçalo Paulo

Publicado 2026-06-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Giuseppe Birardi, Gonçalo Paulo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo de Lenguaje Grande (LLM) como una ciudad enorme y bulliciosa con millones de trabajadores (neuronas) pasándose notas entre sí para responder a una pregunta. Sabemos exactamente cómo se pasan las notas (las matemáticas), pero la ciudad es tan grande y las notas tan complejas que es imposible para un humano mirar el mapa y decir: "Ah, este grupo específico de trabajadores es el responsable de que la capital de Texas sea Austin".

Este artículo presenta una nueva forma de mapear esa ciudad, llamada Probe Prompting (Prompteado de Sonda). Así es como funciona, utilizando analogías sencillas:

1. El Problema: Una Ciudad Demasiado Grande para Leerla

Anteriormente, los investigadores intentaban comprender el modelo observando "grafos de atribución". Piensa en ellos como planos que muestran qué trabajadores influyeron en la respuesta final.

El Probleo: Incluso para una pregunta simple como "¿Cuál es la capital de Texas?", el plano tiene miles de líneas y nodos. Es como intentar leer una novela mirando cada una de las letras individualmente. Toma horas rastrear un solo camino, y hacer esto para miles de preguntas es imposible.
La Forma Antigua: Algunos investigadores intentaron pedirle a una IA que etiquetara a estos trabajadores ("Este trata sobre 'Texas'"). Pero a menudo, la IA solo estaba adivinando basándose en lo que el trabajador solía hacer, no en lo que realmente hizo en ese momento específico.

2. La Solución: El Detective de la "Sonda"

Los autores crearon un sistema transparente y basado en reglas llamado Probe Prompting. En lugar de adivinar, tratan al modelo como a un sospechoso en un juego de detectives.

La Configuración: Toman una pregunta específica (p. ej., "La capital de Texas es...") y generan un pequeño conjunto de preguntas de "sonda" que son casi idénticas pero cambian los detalles (p. ej., "La capital de Florida es...", "La capital de Nueva York es...").
La Prueba: Observan cómo reaccionan trabajadores específicos (características o features) a estas sondas.
- Analogía: Imagina que tienes un guardia de seguridad en un edificio. Para ver qué hace, no te limitas a observarlo una vez. Le preguntas: "¿Qué haces cuando entra una persona llamada 'John'?". Luego, "¿Qué hay de 'Mary'?". Luego, "¿Qué hay de 'Bob'?".
- Si el guardia solo reacciona cuando entra "John", es un Detector de Johns.
- Si reacciona ante cualquier nombre, es un Detector de Nombres.
- Si reacciona cuando alguien dice "es" o "el", es un Ayudante de Gramática.

3. Agrupando a los Trabajadores: "Supernodos"

Basándose en estas reacciones, el sistema agrupa miles de trabajadores individuales en Supernodos.

La Magia: En lugar de mirar 5,000 trabajadores individuales, el sistema dice: "Bien, estos 50 trabajadores actúan todos como 'Detectores de Texas', así que llamémoslos un gran equipo: Equipo Texas".
El Resultado: El mapa de la ciudad, masivo y confuso, ahora se comprime en un diagrama simple y legible con solo unos pocos equipos con nombre (p. ej., Equipo Texas, Equipo Austin, Equipo "Capital").

4. La Prueba: El Experimento de "Intercambio"

¿Cómo sabemos que estas etiquetas son reales y no solo una suposición afortunada? Los autores realizan un Intercambio Causal (Causal Swap).

El Experimento: Toman una pregunta sobre Dallas (donde la respuesta debería ser Austin) e intentan forzar al modelo a responder Minnesota (donde la respuesta es St. Paul).
El Método: "Bajan el volumen" de los trabajadores etiquetados como Equipo Dallas y "suben el volumen" de los trabajadores etiquetados como Equipo Minnesota.
El Resultado:
- Cuando usaron sus etiquetas de Probe Prompting, el modelo cambió con éxito su respuesta de Dallas a Minnesota aproximadamente el 73% de las veces.
- Cuando usaron un Control Aleatorio (eligiendo trabajadores al azar para intercambiar, ignorando las etiquetas), el modelo casi nunca cambió su respuesta correctamente.
- Cuando usaron un Control de Influencia (eligiendo los trabajadores más "ruidosos" independientemente de lo que hagan), el modelo también falló al intentar cambiar la respuesta correctamente.

5. Hallazgos Clave en Lenguaje Sencillo

Funciona: El sistema identificó con éxito qué trabajadores controlan hechos específicos. Al agruparlos, hicieron que el "cerebro" del modelo fuera legible.
Menos es Más: A veces, intentar controlar cada parte de la oración (el nombre de la ciudad, el nombre del estado y la capital) en realidad confunde al modelo. Funciona mejor si solo ajustas las partes específicas relacionadas con la respuesta (el estado y la capital).
Es Transparente: A diferencia de algunos métodos de IA que son "cajas negras", este sistema utiliza reglas claras y legibles para los humanos. Si un investigador quiere verificar el trabajo, puede ver exactamente por qué un trabajador fue agrupado con un equipo específico.

Resumen

El artículo presenta una herramienta que convierte un mapa caótico e ilegible del cerebro de un modelo de lenguaje en un diagrama limpio y etiquetado. Lo logra probando cómo reaccionan las partes del modelo a preguntas ligeramente diferentes, agrupando las partes similares y demostrando que estos grupos realmente controlan el comportamiento del modelo mediante un intercambio exitoso de respuestas en un experimento controlado.

Lo que el artículo NO afirma:

No afirma que esto funcione para cada tarea de IA (como escribir código o tener una conversación); fue probado específicamente en preguntas fácticas (como capitales, autores de libros y fundadores de empresas).
No afirma que arregle el modelo o lo haga más inteligente; solo ayuda a los humanos a entender cómo funciona.
No afirma que funcione en todos los idiomas o tamaños de modelo todavía; las pruebas se realizaron en un modelo específico de inglés (Gemma-2-2B).

Resumen Técnico: Interpretación Automática de Grafos de Atribución mediante Probe Prompting

Planteamiento del Problema
Aunque las vías computacionales desde la entrada hasta la salida en los Modelos de Lenguaje de Gran Escala (LLMs) son teóricamente conocidas, la densidad de estas computaciones las hace opacas para la interpretación humana. Los métodos existentes de interpretabilidad mecánica, como los Autoencoders Dispersos (SAEs) y los Transcodificadores de Capas Cruzadas (CLTs), descomponen con éxito las activaciones densas del modelo en características dispersas. Sin embargo, los grafos de atribución resultantes siguen siendo demasiado grandes para el análisis manual; un solo prompt factual corto puede generar grafos con 600–5,000 nodos. Las técnicas actuales de interpretación automatizada, que a menudo dependen de la puntuación de activaciones de corpus por parte de un LLM, no logran proporcionar una validación causal o conocimientos de interacción a nivel de circuito. Existe una necesidad crítica de métodos de agrupación automatizados, vinculados al comportamiento, que puedan escalar desde estudios de caso individuales hasta catálogos extensos de circuitos sin requerir un rastreo manual.

Metodología: Probe Prompting
El artículo introduce el probe prompting, un flujo de trabajo transparente y basado en reglas diseñado para convertir complejos grafos de atribución en un conjunto compacto de "supernodos" alineados con conceptos. La metodología se desarrolla a través de cuatro etapas distintas:

Generación de Grafos de Atribución: Utilizando Neuronpedia y diccionarios de CLT, el sistema genera grafos de atribución para prompts semilla (por ejemplo, "La capital del estado que contiene a Dallas es").
Generación de Probe Prompts: Para cada semilla, un LLM genera un pequeño conjunto de probe prompts dirigidos a conceptos. Estos probes mantienen la estructura sintáctica de la semilla (preposiciones, posición de la respuesta) pero varían las entidades de contenido.
Firmas de Activación entre Prompts (CPAS): El sistema mide las activaciones de las características a través del conjunto de probes. En lugar de depender de un único pico de prompt (que es ambiguo), agrega métricas como la consistencia de pico, la dispersión y la similitud de coseno relativa a la semilla. Esta agregación forma un CPAS para cada característica.
Formación de Supernodos Basada en Reglas: Un árbol de decisión determinista mapea las métricas de CPAS a uno de cuatro roles funcionales:
- Semántico-Diccionario (SEM-DICT): Características que alcanzan su pico consistentemente en un único token semántico (por ejemplo, "Texas").
- Semántico-Concepto (SEM-CONC): Características que alcanzan su pico en una familia de tokens relacionados (por ejemplo, nombres de artistas).
- Relación (REL): Características con patrones de activación difusos que codifican relaciones en lugar de entidades.
- Say-X (SAY-X): Características que alcanzan su pico en tokens funcionales (por ejemplo, "es", "el/la") en posiciones predecibles respecto a un objetivo semántico, promoviendo efectivamente la salida.
  Las características que comparten el mismo rol y nombre se fusionan en un supernodo.

Protocolo de Validación Causal
Para validar la utilidad de estos supernodos, los autores emplean un protocolo de intervención causal que involucra experimentos de intercambio de entidades. Para un par fuente-objetivo (por ejemplo, Dallas $\to$ Austin), el sistema ablaciona las características asociadas con la fuente y amplifica las características asociadas con el objetivo. El éxito se mide por si la predicción del modelo redirige hacia la entidad objetivo.

Crucialmente, el artículo introduce dos líneas de base rigurosas para asegurar que los resultados no sean artefactos del conteo de características o la influencia del grafo:

Control de Emparejamiento Aleatorio (Matched-Random Control): Un conjunto aleatorio de características con el mismo conteo y distribución de capas que el conjunto etiquetado, extraído de fuera de los supernodos alineados conceptualmente.
Control de Top-K por Influencia (Influence-Matched Top-K Control): Una línea de base que selecciona las $K$ mejores características por influencia de grafo para igualar el presupuesto de influencia acumulada de la intervención etiquetada.

Resultados Clave
El método fue evaluado en cuatro dominios factuales (capitales de estados de EE. UU., personajes de libros, fundadores de empresas y artistas de pintura) utilizando el modelo Gemma-2-2B con un diccionario CLT público, totalizando 44,596 ejecuciones de intervención.

Superioridad sobre las Líneas de Base: Los supernodos etiquetados superaron significativamente tanto al control aleatorio como al de influencia emparejada. En el dominio de EE. UU., el enfoque etiquetado logró un 7 hit% (redirección exitosa) del 72.8% frente al 0.7% del matched-random y al 4.2% de la línea de base de influencia Top-K.
Eficiencia vs. Anotación Humana: En un estudio de caso comparando el flujo automatizado con un grafo curado por humanos para el prompt de Dallas/Austin, el método automatizado logró tasas de éxito comparables (40/49 fuentes vs. 3 de 49 para humanos) pero requirió un conjunto de características mayor (96.5 características vs. 4 características por llamada). Sin embargo, el método automatizado identificó con éxito rutas de redirección que la curación humana pasó por alto para estados de origen específicos, demostrando no redundancia.
Aditividad de Campo: El estudio encontró que "menos es más". Las intervenciones centradas en los campos intermedios y de respuesta (por ejemplo, el estado y la capital) fueron significativamente más efectivas que incluir el campo de entrada (la ciudad), que a menudo codifica lo que el modelo lee en lugar de lo que debe producir.
Fuerza de Dirección (Steering Strength): Se encontró que el multiplicador de amplificación óptimo ( $M$ ) es bimodal (con picos alrededor de $M \approx 2.4$ y $M \approx 6.9$ ), desafiando el estándar de $M=20$ utilizado en la dirección de una sola característica.

Significancia y Reivindicaciones
El artículo afirma que el probe prompting demuestra que la interpretabilidad a nivel de circuito puede automatizarse parcialmente mediante un flujo de trabajo transparente y basado en reglas. Sus contribuciones primarias son:

Automatización de la Agrupación de Circuitos: Proporciona un método escalable para agrupar miles de características en supernodos alineados con conceptos sin intervención manual.
Marco de Validación Causal: Establece un arnés robusto y agnóstico al método para evaluar la calidad de la agrupación mediante controles de emparejamiento aleatorio y de influencia, abordando la crítica de que las puntuaciones de interpretabilidad pueden lograrse con modelos inicializados aleatoriamente.
Utilidad Operativa: Las etiquetas resultantes no son solo descriptivas; son operativamente útiles para realizar intercambios de entidades, sirviendo como una prueba rápida de si las características están correctamente agrupadas por su comportamiento real en el grafo computacional.

Los autores señalan modestamente que sus afirmaciones actualmente cubren los Niveles 1 y 2 de abstracción causal (identificar características y sus roles funcionales) pero aún no reclaman el Nivel 3 (identificación mecánica completa de variables latentes). Reconocen limitaciones, incluyendo la restricción actual a la recuperación factual de dos saltos, la congelación de la atención durante la generación del grafo (aunque no durante la intervención), y la dependencia de vocabularios de tokens funcionales en inglés. El trabajo se presenta como un arnés reutilizable para calibrar futuros métodos de agrupación.