💬 NLP

Tool-Call Dependency Structure is Linearly Decodable in LLM Agent Residual Streams

Este artículo demuestra que el grafo de dependencias dirigido de las trayectorias de llamadas a herramientas en los agentes de LLM es decodificable linealmente a partir de los flujos residuales del modelo, revelando que la red representa activamente la topología de ejecución abstracta en lugar de simplemente rastrear el orden posicional o los valores de los identificadores.

Autores originales: Tianda Sun, Dimitar Kazakov

Publicado 2026-05-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tianda Sun, Dimitar Kazakov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Leer el "Fantasma" de un Plan

Imagina un modelo de lenguaje grande (LLM) como un asistente muy inteligente, pero ligeramente olvidadizo. Cuando le pides a este asistente realizar una tarea compleja —como "Encontrar un usuario, verificar su pedido y luego intercambiar el producto"— no lo hace de un solo salto gigante. Tiene que dar varios pasos, llamando a diferentes herramientas a lo largo del camino.

El artículo plantea una pregunta sencilla: ¿Sabe el modelo cómo se conectan estos pasos entre sí mientras está pensando?

Específicamente, si el Paso A proporciona información que el Paso B necesita, ¿el cerebro interno del modelo (su "flujo residual") realmente contiene un mapa que muestra esa conexión? ¿O el modelo solo está adivinando el siguiente paso basándose en lo que dijo anteriormente?

Los investigadores descubrieron que sí, el modelo sí contiene este mapa. Construyeron un pequeño y sencillo "decodificador" capaz de leer los pensamientos internos del modelo y revelar el gráfico de dependencias oculto (el mapa de quién necesita qué de quién) con una alta precisión.

La Analogía: El Plano de la Obra de Construcción

Piensa en el modelo como una obra de construcción.

Las Herramientas: El modelo utiliza herramientas como "Obtener Usuario" o "Obtener Pedido".
La Trayectoria: La secuencia de acciones que toma el modelo.
El Gráfico de Dependencias: Este es el plano. Dice: "No puedes verter el hormigón (Paso B) hasta que tengas el recibo de la entrega de cemento (Paso A)".

Normalmente, solo vemos el edificio terminado (la respuesta final). No vemos el plano dentro de las cabezas de los trabajadores. Este artículo es como ponerse unas gafas especiales de rayos X que nos permiten ver el plano flotando dentro de las mentes de los trabajadores mientras trabajan.

Cómo lo Hicieron (El "Decodificador")

Los investigadores utilizaron un modelo llamado Qwen3-32B. Observaron cómo resolvía problemas y registraron su "flujo residual" interno (una corriente continua de datos que representa su estado mental actual).

Entrenaron una herramienta muy pequeña y sencilla (una "sonda") para observar esta corriente y responder una pregunta binaria para cualquier par de pasos en el proceso:

¿La salida del Paso A alimenta la entrada del Paso B?

Los Resultados:

Funciona: La sonda pudo predecir estas conexiones con una precisión de aproximadamente 87%.
No es un truco: La probaron contra suposiciones aleatorias y patrones simples (como "el Paso 2 siempre sigue al Paso 1"). La sonda obtuvo resultados mucho mejores que esos, demostrando que realmente estaba leyendo la lógica de la conexión, no solo el orden de los eventos.
Es abstracto: Cuando cambiaron los números específicos en los datos (por ejemplo, cambiar un ID de usuario de "123" a "456") pero mantuvieron la estructura igual, la sonda siguió funcionando. Esto significa que el modelo entiende la relación (A depende de B), no solo las palabras específicas.

El "Fantasma" en la Máquina (Propagación)

Uno de los hallazgos más interesantes se refiere a cómo viaja esta información.

Imagina que susurras un secreto al primer trabajador (Paso A). El artículo muestra que este secreto no desaparece simplemente después de que el trabajador termina. Viaja a través de toda la obra de construcción, permaneciendo en el "aire" (el flujo residual) hasta llegar al último trabajador (Paso Z).

Lo demostraron "parcheando" (cambiando) el estado interno del primer trabajador por un escenario diferente. Aunque el modelo no cambió su comportamiento final (siguió construyendo la misma casa), el "plano" dentro de los trabajadores posteriores cambió para adaptarse al nuevo escenario. Esto sugiere que el modelo está transportando activamente el plan estructural hacia adelante, no solo reaccionando al prompt inmediato.

¿Cuándo Desaparece Este Mapa?

Los investigadores probaron esto en diferentes tipos de tareas para ver si el mapa siempre está presente. Descubrieron un patrón:

Cadenas Complejas (Multi-salto): Si la tarea requiere una larga cadena de dependencias (A $\to$ B $\to$ C $\to$ D), el mapa es muy claro y fácil de leer.
Listas Simples: Si la tarea es solo una lista de pasos independientes (A, luego B, luego C, sin conexiones), el mapa desaparece.
La Pista del "Orden": Si los pasos son tan simples que solo conocer el orden lo dice todo (por ejemplo, "Primero haz A, luego B"), el modelo no necesita construir un mapa interno complejo. La señal "extra" desaparece porque la posición por sí sola es suficiente.

Qué Significa Esto (y Qué No Significa)

Qué significa:
Hemos encontrado una nueva forma de mirar dentro de los agentes de IA. Podemos ver que no están simplemente adivinando la siguiente palabra a ciegas; están manteniendo un mapa estructurado y abstracto de cómo dependen sus acciones unas de otras. Este mapa es lineal (fácil de leer) y viaja a través de las capas del modelo.

Qué NO significa (basado estrictamente en este artículo):

No significa que ahora podamos controlar fácilmente el modelo para tomar mejores decisiones (el artículo dice explícitamente que el parcheo cambió el mapa interno pero no el comportamiento final).
No significa que esto funcione en cada modelo de IA individual o en cada modelo pequeño (solo probaron modelos grandes específicos).
No significa que podamos usar esto para corregir "alucinaciones" o hacer que el modelo sea más seguro todavía; eso es trabajo futuro.

Resumen

El artículo es como descubrir que el asistente de un mago no solo está memorizando un guion, sino que realmente está sosteniendo un mapa mental de la lógica completa del truco. Mediante el uso de un decodificador simple, los investigadores demostraron que este mapa existe, viaja a través del cerebro del modelo y es esencial para resolver problemas complejos de varios pasos.

Resumen Técnico: La Estructura de Dependencia de Llamadas a Herramientas es Decodificable Linealmente en los Flujos Residuales de Agentes LLM

Declaración del Problema

Mientras que la interpretabilidad mecánica ha caracterizado con éxito cómo los Modelos de Lenguaje Grandes (LLM) representan estructuras estáticas (por ejemplo, árboles sintácticos, estados de tablero, conocimiento factual), sigue sin estar claro si las estructuras de ejecución dinámica de los agentes que utilizan herramientas están codificadas dentro de los estados internos del modelo. Específicamente, cuando un agente entrelaza la generación con llamadas a funciones externas, las salidas de herramientas anteriores a menudo suministran argumentos a llamadas posteriores, formando un grafo acíclico dirigido (DAG) de dependencias. Se desconoce si este grafo de dependencias en tiempo de ejecución está representado explícitamente en el flujo residual del agente, si dicha representación es causal, o si es una propiedad general de los agentes o específica de ciertos puntos de referencia.

Metodología

Los autores investigan esta pregunta utilizando un enfoque de sondeo estructural en el modelo Qwen3-32B (y replicado en Llama-3.3-70B) dentro del dominio de $\tau$ -bench retail.

Construcción del Oráculo: Para trayectorias que contienen $\ge 2$ llamadas a herramientas, los autores construyen un DAG de llamadas a herramientas "oráculo". Una arista $i \to j$ se define si una subcadena contigua, sensible a mayúsculas y minúsculas y normalizada en espacios en blanco (longitud $\ge 4$ ) de la salida de la llamada $i$ aparece verbatim en los argumentos JSON serializados de la llamada $j$ . Esto define una etiqueta de arista binaria para el sondeo.
Arquitectura del Sondeo: Se entrena un sondeo de regresión logística de baja capacidad y regularizado L2 para predecir la existencia de una arista $(i, j)$ dada la concatenación de los vectores del flujo residual desde los tokens de límite de terminación de las llamadas $i$ y $j$ . Los vectores se promedian (mean-pooled) a través de un conjunto fijo de capas $\{0, 14, 28, 41, 50, 57, 64\}$ .
Protocolo de Evaluación:
- Validación Cruzada: La validación cruzada Leave-One-Group-Out (LOGO) por trayectoria asegura que ningún token de una trayectoria retenida entre en su pliegue de entrenamiento.
- Controles: El estudio emplea una batería integral de controles:
  - Control de Etiquetas Aleatorias Hewitt–Liang: Permutar las etiquetas de las aristas para descartar la memorización.
  - Línea Base Posicional: Una línea base de 5 características ( $[i, j, j-i, n_{agent}, j/n_{agent}]$ ) para separar la codificación estructural del simple orden de llamadas.
  - Techo de Forma Superficial: Un decodificador basado en la superposición de n-gramas y nombres de herramientas para asegurar que la señal no sea meramente textual.
  - Control de Inicialización Aleatoria: Utilizar un modelo inicializado aleatoriamente para aislar señales atribuibles al entrenamiento.
- Contrafactuales: Los autores realizan corrupción de valores (intercambiando IDs en las salidas) y perturbación estructural (reescribiendo salidas a resultados vacíos) para probar si el sondeo rastrea la topología abstracta o valores de identificadores específicos.
- Parcheo de Activación: Para probar la causalidad, los autores parchean el flujo residual de una llamada de origen con características de una trayectoria "donante" y miden el desplazamiento en la lectura del sondeo en un límite posterior no parcheado.

Contribuciones y Resultados Clave

1. Decodificabilidad Lineal del Grafo de Dependencias

El grafo de dependencias de llamadas a herramientas es decodificable linealmente desde el flujo residual congelado.

Rendimiento: El sondeo multicapa logra un AUROC de 0.869 en pares retenidos.
Significancia: Esto supera significativamente al control de etiquetas aleatorias Hewitt–Liang (AUROC máximo 0.565, $p < 10^{-4}$ ) y a la línea base posicional (AUROC 0.792). El flujo residual contribuye con una brecha de AUROC condicional de +0.0775 sobre la línea base posicional, confirmando que la señal no es meramente un proxy del orden de las llamadas.
Emergencia: La señal emerge agudamente en la Capa 14 (~22% de profundidad) y se satura alrededor de la Capa 41, coincidiendo con patrones de emergencia semántica en la mitad de la pila.

2. Sensibilidad Topológica vs. Especificidad de Valores

El sondeo rastrea la topología de dependencia abstracta en lugar de valores de identificadores específicos.

Corrupción de Valores: Intercambiar valores de ID en las salidas de las herramientas (manteniendo el plan fijo) no resulta en un desplazamiento estadísticamente significativo en la estructura DAG decodificada ( $d$ de Cohen = 0.06).
Perturbación Estructural: Reescribir una respuesta de herramienta a un resultado vacío (forzando un cambio de plan) causa un gran desplazamiento en la estructura decodificada ( $d$ de Cohen = 0.87).
Replicación: Esta disociación se mantiene a través de dominios, incluido ComplexFuncBench, y se reproduce utilizando un oráculo independiente de igualdad de valores con tipo de esquema (sin coincidencia de subcadenas), confirmando que la señal no es un artefacto de la heurística de subcadena.

3. Propagación Representacional

El parcheo de activación proporciona evidencia de que la representación de dependencia se propaga a través de la red en lugar de ser una lectura pasiva.

Parchear el flujo residual en una llamada de origen desplaza la predicción del sondeo en un límite estrictamente posterior no parcheado (por ejemplo, en la Capa 57).
Crucialmente, mientras que la representación se desplaza, la elección de herramienta realizada por el agente no se mueve (0% de desplazamiento en el comportamiento). Esto sugiere que la representación es de soporte para el estado interno pero no suficiente para el control conductual en este contexto.

4. Generalidad Trans-Dominio y Modulación

La contribución no posicional se generaliza a través de puntos de referencia interactivos de múltiples saltos, pero se atenúa donde el orden de las llamadas por sí solo es suficiente.

Replicaciones Positivas: La señal es fuerte en ToolHop (+0.161 de contribución) y ComplexFuncBench (+0.060 de contribución).
Aristas Transitivas: El sondeo decodifica dependencias transitivas (de múltiples saltos) incluso más fuertemente (AUROC 0.986) que las aristas directas, con la señal transitiva aumentando más rápido en las capas tempranas.
Atenuación: La contribución desaparece en TaskBench (planificación de un solo disparo, contribución -0.02) y no es testeable en BFCL (uso de herramientas directo únicamente), lo que respalda la hipótesis de que la señal existe donde el orden de las llamadas es un proxy débil para la dependencia.

Significancia y Afirmaciones

Los autores afirman que este es el primer sondeo estructural del grafo de dependencias de llamadas a herramientas en tiempo de ejecución de un agente LLM.

Representación vs. Control: Las afirmaciones son estrictamente sobre representación. El artículo demuestra que el grafo de dependencias es legible linealmente y se propaga causalmente dentro del flujo residual, pero declara explícitamente que el parcheo de activación no produce actualmente control conductual (las elecciones de herramientas del agente permanecen sin cambios).
Nueva Clase Objetivo: Los resultados sugieren que las estructuras de ejecución en tiempo de ejecución (DAGs de llamadas a herramientas) constituyen una nueva clase de objetivos de interpretabilidad mecánica, distintos de las decisiones a nivel de token o los rastros de razonamiento estático.
Modestia: Los autores son modestos sobre el alcance de la propagación, señalando que la replicación causal trans-dominio y las intervenciones conductualmente suficientes siguen siendo trabajo futuro. También reconocen que la definición de dependencia se basa en la reutilización de valores (coincidencia de subcadenas o esquema), excluyendo dependencias mediadas puramente por el flujo de control sin transferencia de valores.

En resumen, el artículo establece que los agentes LLM codifican la topología abstracta de sus grafos de ejecución de llamadas a herramientas en sus flujos residuales, una representación que es distinta de los priores posicionales, robusta a cambios de valores y que se propaga a través de las capas de la red.