💬 NLP

Tokengeist: Multi-Turn Attribution Tracing in Agentic Conversations

Este artículo presenta Tokengeist, un marco escalable que aborda las limitaciones de los métodos de atribución de un solo paso en conversaciones de múltiples turnos mediante el rastreo recursivo de dependencias a nivel de token a través de los turnos de la conversación, logrando una precisión significativamente mayor en la recuperación de grafos de procedencia complejos en comparación con los enfoques existentes.

Autores originales: Jessica Tang, Shraddha Barke, Sharad Agarwal

Publicado 2026-07-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jessica Tang, Shraddha Barke, Sharad Agarwal

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de descubrir por qué tu personaje detective favorito de una serie de televisión decidió de repente resolver un caso de una manera específica. Conoces la respuesta final, pero la serie salta en el tiempo, mostrando al detective hablando con un testigo, luego revisando un mapa, luego llamando a un amigo y, finalmente, tomando una decisión. Si solo miraras la última escena, pensarías que la decisión vino del amigo. Pero, ¿y si el amigo solo estaba repitiendo algo que dijo el testigo, quien obtuvo la información del mapa? Para entender verdaderamente la historia, no puedes limitarte a mirar el momento final; tienes que rastrear el rastro de las pistas hacia atrás, paso a paso, a través de cada conversación y acción que llevó hasta allí. Este es el tipo de rompecabezas que los científicos intentan resolver con la Inteligencia Artificial (IA).

En el mundo de la IA, específicamente con los Grandes Modelos de Lenguaje (los superinteligentes chatbots que usamos hoy en día), existe un problema creciente. Estos modelos suelen tener conversaciones largas con nosotros, donde nos hacen preguntas, nosotros respondemos, ellos consultan una base de datos y luego dan una respuesta final. A veces, la respuesta final depende de un detalle minúsculo que mencionamos hace cinco turnos, que el modelo luego resumió, que el modelo luego utilizó para llamar a una herramienta y que finalmente condujo a la respuesta. La gran pregunta es: ¿Cómo podemos ver exactamente qué partes de esa larga conversación dieron forma a la respuesta final? Actualmente, la mayoría de las herramientas que intentan responder a esta pregunta actúan como una linterna que solo ilumina la habitación inmediata. Pueden decirte qué palabras de toda la charla parecen importantes, pero pierden la "línea argumental" de cómo la información viajó desde el principio hasta el final. Esto importa porque, si no podemos rastrear de dónde obtuvo sus hechos la IA, no podemos confiar en ella, corregir sus errores o entender por qué nos está mintiendo.

Aquí entra Tokengeist, un nuevo método introducido por los investigadores Jessica Tang, Shraddha Barke y Sharad Agarwal. Piensa en la forma antigua de rastrear los pensamientos de la IA como un mapa "plano". Si le pides a un mapa plano que encuentre la fuente de un rumor, puede que señale a la persona que te contó el rumor por última vez, pero no te dirá quién le contó a ella. Los investigadores llaman a este fallo "colapso de procedencia". Es como un juego del teléfono descompuesto donde se culpa al último jugador por el mensaje, aunque el mensaje se haya distorsionado tres personas atrás. El método plano colapsa toda la historia en una sola capa, perdiendo el profundo viaje de múltiples pasos de la información.

Para solucionar esto, el equipo construyó Tokengeist, que actúa como un detective recursivo. En lugar de solo mirar la respuesta final y preguntar "¿Con quién hablaste?", Tokengeist pregunta "¿Con quién hablaste?" y luego, por cada persona que nombraste, pregunta "¿Y con quién habló esa persona?". Sigue excavando hacia atrás, paso a paso, a través de los turnos de la conversación. Trata la conversación como un árbol ramificado (o un árbol genealógico de ideas), donde sigue las ramas de vuelta hasta las primeras hojas: las entradas originales del usuario o los resultados de las herramientas.

Los investigadores probaron esta idea utilizando un nuevo benchmark que crearon llamado MTCABENCH, el cual contiene 3,845 partes específicas de respuestas de 665 conversaciones diferentes de múltiples turnos. Estas conversaciones eran complicadas, involucrando herramientas como reservar vuelos o consultar cuentas bancarias, donde la IA tenía que encadenar información de muchos pasos. Descubrieron que los métodos "planos" antiguos eran terribles en esto. Cuando se les pedía encontrar la fuente original de la información, los métodos planos tenían éxito en menos del 20% de las veces. Se quedaban estancados en la mitad de la historia.

En contraste, Tokengeist fue un cambio radical. Al rastrear recursivamente el camino hacia atrás, logró encontrar la fuente original de la información más del 90% de las veces. No solo adivinó; mapeó el viaje completo. Por ejemplo, si una IA dice: "Puedes cancelar tu vuelo porque tienes un seguro", un método plano podría simplemente señalar la confirmación de cancelación. Tokengeist, sin embargo, rastreó la información hasta el resultado de la herramienta que mostraba el seguro, luego de vuelta al ID del usuario que desbloqueó ese resultado de la herramienta, y finalmente a la solicitud original del usuario.

El artículo sugiere que este enfoque recursivo es la clave para hacer que la IA sea transparente. Demuestra que simplemente mirar toda la conversación a la vez no es suficiente; necesitamos entender la estructura de la conversación, cómo un turno depende de otro. Aunque el método funciona mejor con los modelos de IA específicos que probaron (que son de código abierto y relativamente pequeños), los resultados sugieren fuertemente que, para los agentes de IA complejos y de múltiples pasos, necesitamos dejar de tratar las conversaciones como una lista plana de palabras y empezar a tratarlas como una red conectada de dependencias. Tokengeist no solo nos dice qué dijo la IA; nos ayuda a entender toda la historia de cómo llegó a decir eso.

Resumen Técnico: Tokengeist: Rastreo de Atribución en Conversaciones Agénticas de Múltiples Turnos

1. Definición del Problema: Atribución de Contexto de Múltiples Turnos (MTCA)

Los métodos actuales de atribución de contexto están diseñados principalmente para entornos de un solo turno, tratando el contexto de entrada como una secuencia plana de tokens. Al aplicarse a conversaciones agénticas de múltiples turnos, estos métodos "planos" no logran capturar la estructura estratificada y no lineal de los diálogos del mundo real. En interacciones complejas que involucran llamadas a herramientas, resúmenes intermedios del asistente y razonamiento de múltiples pasos, la respuesta final de un modelo a menudo depende de información introducida varios turnos atrás, la cual puede haber sido resumida, reformateada o transformada por pasos intermedios.

El artículo define la Atribución de Contexto de Múltiples Turnos (MTCA) como la tarea de rastrear la procedencia de un segmento objetivo específico en la respuesta de un modelo hacia atrás a través de los turnos. El objetivo no es simplemente identificar qué turnos previos son relevantes, sino reconstruir la cadena completa de dependencia, incluyendo cómo los turnos intermedios (por ejemplo, resúmenes del asistente o resultados de herramientas) dependen del contexto anterior. Los autores identifican un modo de fallo sistemático en la atribución de un solo paso denominado "colapso de procedencia", donde un método atribuye una respuesta a un turno intermedio inmediato (por ejemplo, un resumen) pero no logra rastrear hacia atrás hasta la fuente exógena original (por ejemplo, una entrada de usuario o un resultado de herramienta) porque el modelo no atendió directamente a la fuente original en el turno final.

2. Metodología: TOKENGEIST

Los autores proponen TOKENGEIST, un marco que plantea la MTCA como un recorrido recursivo de un Grafo Acíclico Dirigido (DAG) sobre los turnos de la conversación. El marco es agnóstico al método de atribución, lo que significa que puede utilizar cualquier método de atribución de un solo turno existente como puntuador base.

Mecanismo Central

TOKENGEST construye un grafo de procedencia mediante una búsqueda en anchura (BFS) hacia atrás partiendo del segmento objetivo:

Atribución Recursiva: En cada paso, el marco aplica un método de atribución base ( $A$ ) al segmento objetivo actual contra la concatenación de todos los turnos precedentes.
Agregación de Turnos: Las puntuaciones a nivel de oración se agregan en una única puntuación por cada turno precedente.
Selección de Nodos: Se seleccionan los $k$ mejores turnos con las puntuaciones más altas como candidatos para el siguiente paso de recursión.
Despacho Sensible al Rol: La recursión procede de manera diferente según el rol del turno seleccionado:
- Turnos Exógenos (Usuario/Sistema): Estos se añaden como nodos hoja; la recursión se detiene.
- Turnos de Resultado de Herramienta: Dado que estos no contienen pesos de atención generados por el modelo, el marco sigue un borde estructural determinista hacia el turno del asistente precedente más cercano que realizó la invocación de la herramienta, y luego reanuda la recursión desde ese turno de invocación.
- Turnos del Asistente: Estos se añaden como nodos intermedios, y el marco recursa en ellos, atribuyendo su contenido completo contra el contexto anterior.
Terminación: La recursión se detiene cuando se alcanzan los turnos exógenos, se llega a una profundidad máxima ( $d_{max}$ ), o ningún turno supera un umbral de puntuación.

Construcción y Poda del Grafo

La estructura resultante es un DAG donde los bordes representan dependencias. Para producir el grafo de procedencia final, el marco aplica la extracción de umbral relativo. En lugar de usar un umbral absoluto global, los bordes se mantienen si su puntuación es superior a una fracción ( $\alpha$ ) de la puntuación máxima del borde de ese nodo. Esto se adapta a las distribuciones locales de puntuación, permitiendo que el grafo capture dependencias de múltiples fuentes donde un turno depende de múltiples fuentes anteriores con niveles de confianza variables.

3. Benchmark: MTCABENCH

Para evaluar la MTCA, los autores introducen MTCABENCH, un benchmark que comprende:

Escala: 3,845 segmentos objetivo anotados a través de 665 conversaciones de múltiples turnos.
Fuentes: Datos extraídos de ConFETTI (10 familias de tareas, ej. viajes, banca) y TauBench (dominios de aerolíneas y comercio minorista).
Anotación: Los segmentos objetivo están anotados con grafos de procedencia "gold" (DAGs) que alcanzan profundidades de hasta 14 turnos. Las anotaciones cubren cuatro tipos de dependencia:
- Directa: Salto único desde la fuente al objetivo.
- Encadenada: Múltiples saltos a través de turnos intermedios.
- Multi-fuente: Dependencias en dos o más turnos de origen independientes.
- Alucinación: Segmentos no respaldados por el contexto o fácticamente incorrectos, que requieren el rastreo de los turnos de la "fuente alucinada" que prepararon el error.
Control de Calidad: Las anotaciones fueron generadas mediante un pipeline de dos fases utilizando GPT-5.4, seguido de revisión humana, logrando una tasa de aceptación del 98%.

4. Resultados Experimentales

Los autores evaluaron TOKENGEIST frente a las líneas base de atribución plana utilizando cuatro modelos de instrucción de pesos abiertos (Llama-3.1-8B, Qwen2.5-7B, Phi-4-Mini, DeepSeek-R1-Distill-Qwen-7B) y tres backends de atribución base (Avg. Attention, AT2, AttnTrace).

Hallazgos Clave

Recall de la Fuente: Los métodos de atribución plana fallaron consistentemente en recuperar dependencias de múltiples saltos, logrando un recall de fuente <20%** (identificando la fuente exógena original). En contraste, TOKENGEIST logró un **recall de fuente >90% en todos los modelos.
F1 de Bordes: La atribución recursiva superó significativamente a los métodos planos. En ConFETTI, TOKENGEIST mejoró el F1 de bordes entre 20 y 40 puntos porcentuales respecto a las líneas base planas. En TauBench, los métodos planos cayeron a menos del 35% de F1 de bordes en dependencias encadenadas, mientras que TOKENGEIST alcanzó aproximadamente el 70%.
Tipos de Dependencia: La brecha de rendimiento fue más pronunciada para las dependencias encadenadas y multi-fuente. Los métodos planos funcionaron adecuadamente en dependencias directas (salto único), pero colapsaron en estructuras complejas.
Rastreo de Alucinaciones: TOKENGEIST mejoró sustancialmente la recuperación de los turnos de la "fuente alucinada", ayudando a localizar dónde entraron los valores erróneos en el rastro agéntico.
Independencia del Puntuador Base: Las mejoras de la recursión fueron consistentes en los tres puntuadores base, incluido el más débil (AttnTrace), indicando que TOKENGEIST es una actualización robusta aplicable a cualquier método de atribución de un solo turno.

5. Significación y Reivindicaciones

El artículo afirma que TOKENGEIST y MTCABENCH abordan una brecha crítica en la interpretabilidad de los sistemas agénticos.

Modos de Fallo Sistemáticos: El trabajo identifica formalmente el "colapso de procedencia" como un fallo sistemático de la atribución de un solo paso en configuraciones de múltiples turnos, demostrando que los métodos planos no pueden recuperar dependencias estratificadas.
Necesidad de la Recursión: Los resultados motivan un cambio hacia métodos de atribución que razonen recursivamente a través de los turnos, en lugar de tratar el contexto como una ventana plana.
Depuración y Confianza: Al recuperar rutas completas de procedencia, el marco permite a los desarrolladores depurar flujos de trabajo agénticos, verificar que las afirmaciones están fundamentadas en las fuentes originales (en lugar de resúmenes intermedios) y rastrear el origen de las alucinaciones.
Modestia en el Alcance: Los autores reconocen que sus resultados están limitados por la calidad del método de atribución base y que el benchmark está actualmente limitado a texto en inglés y dominios específicos (viajes/comercio minorista). Señalan que las puntuaciones de atribución son correlacionales (basadas en la atención) más que causales, y que el marco opera actualmente post-hoc sobre transcripciones en lugar de online dentro del bucle del agente.

El artículo concluye que, si bien la MTCA no es un sustituto de la corrección o la seguridad, proporciona un mecanismo fundamental para hacer que el flujo de información en conversaciones de múltiples turnos sea inspeccionable, sirviendo como un paso hacia interacciones agénticas más transparentes.