🤖 AI

Trace-Level Analysis of Information Contamination in Multi-Agent Systems

Este artículo investiga cómo la contaminación de información inducida por la incertidumbre en flujos de trabajo multiagente conduce a trayectorias de ejecución diversas y fallos en la salida, proponiendo un marco de medición basado en trazas y una taxonomía formal para detectar, localizar y mitigar mejor estos riesgos en tareas de razonamiento sobre artefactos heterogéneos.

Autores originales: Anna Mazhar, Huzaifa Suri, Sainyam Galhotra

Publicado 2026-05-01

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Anna Mazhar, Huzaifa Suri, Sainyam Galhotra

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Imagen: Un Equipo de Especialistas con una Libreta Rota

Imagina que contratas un equipo de especialistas para resolver un misterio complejo. Tienes un Analista de Datos que lee hojas de cálculo, un Verificador de Hechos que comprueba los números, un Programador que ejecuta los cálculos y un Gerente que decide quién hace qué a continuación. Trabajan juntos en una secuencia estricta, intercambiando notas y archivos.

Este artículo estudia qué sucede cuando las notas iniciales que recibe el equipo están ligeramente corruptas. Quizás una celda de una hoja de cálculo se desplaza una columna, una foto está ligeramente borrosa o un documento tiene una marca de agua extraña.

Los investigadores querían saber: Si la información inicial está un poco "mal", ¿se desploma todo el equipo, se confunden o lo arreglan accidentalmente por sí mismos?

El Experimento: El "Desorden Controlado"

En lugar de esperar a accidentes del mundo real, los investigadores crearon un "desorden controlado". Tomaron 32 tareas complejas diferentes (como analizar informes financieros o leer historiales médicos) e introdujeron intencionalmente pequeños errores en los archivos que los agentes estaban leyendo.

Ejecutaron cada tarea dos veces:

La Ejecución Limpia: El equipo recibe archivos perfectos.
La Ejecución "Contaminada": El equipo recibe archivos con errores específicos e inyectados (como intercambiar dos columnas en una tabla o difuminar una imagen).

No solo miraron la respuesta final. Pusieron una cámara en todo el proceso, registrando cada decisión, herramienta utilizada y nota intercambiada entre los agentes. Esta grabación se llama "Trazas".

La Gran Sorpresa: La Respuesta vs. El Viaje

El descubrimiento más impactante es que la respuesta final y el viaje para llegar a ella están completamente desconectados.

Los investigadores encontraron tres formas principales en que el equipo reaccionó a los datos defectuosos:

1. El "Saboteador Silencioso" (Corrupción Semántica Silenciosa)

Qué sucede: El equipo sigue exactamente el mismo guion que en la ejecución limpia. Hablan con las mismas personas, usan las mismas herramientas y dan el mismo número de pasos. Pero, como los datos iniciales estaban ligeramente mal (por ejemplo, un número estaba desviado en una unidad), la respuesta final es incorrecta.
La Analogía: Imagina a un chef siguiendo una receta perfecta, picando cebollas y hirviendo agua exactamente bien. Pero como la bolsa de harina con la que empezaron tenía un error tipográfico en la etiqueta que decía "500 g" en lugar de "50 g", el pastel se desploma. El chef hizo todo "correctamente" según el plan, pero el resultado es un desastre.
Por qué importa: Las verificaciones de seguridad actuales a menudo buscan "caos" (¿se detuvo el equipo? ¿entraron en pánico?). Este tipo de error parece tranquilo y ordenado, por lo que se desliza directamente a través de los guardias.

2. El "Desvío con Final Feliz" (Desvíos Conductuales con Recuperación)

Qué sucede: El equipo se confunde inmediatamente. Prueban una herramienta, falla, así que el Gerente dice: "¡Vale, intentemos una herramienta diferente!". Retroceden, releen el archivo, piden una segunda opinión y finalmente descubren la respuesta correcta.
La Analogía: Estás conduciendo a una fiesta. Tomas un camino equivocado porque el GPS estaba ligeramente desviado. En lugar de rendirte, te das cuenta de que estás perdido, te detienes, consultas un mapa, tomas una ruta panorámica y aún así llegas a la fiesta a tiempo. Tomaste una ruta mucho más larga y costosa (más gasolina, más tiempo), pero llegaste.
Por qué importa: Esta es la reacción más común (el 40% de las veces). El sistema es "resiliente", pero costó mucho dinero extra (potencia de computación) arreglar el error.

3. El "Desastre Total" (Disrupción Combinada)

Qué sucede: El error es tan grave que el equipo se confunde, intenta arreglarlo, falla y finalmente se rinde o produce una respuesta sin sentido.
La Analogía: El chef intenta hornear el pastel, pero el horno está roto. Intenta arreglar el horno, falla, y luego intenta hornearlo en una tostadora. Explota. La cocina es un desastre y no hay pastel.

Hallazgos Clave en Español Plano

1. "Caro" no significa "Seguro".
Podrías pensar: "Si el equipo está trabajando duro y tardando mucho tiempo (alto costo), deben estar siendo cuidadosos y obteniendo la respuesta correcta".
El artículo dice: No.

Bajo Costo = Peligroso: A veces el equipo trabaja rápido y barato, pero están produciendo silenciosamente la respuesta incorrecta (El Saboteador Silencioso).
Alto Costo = No es una Garantía: A veces el equipo trabaja duro y toma un desvío largo, pero aún así fallan en obtener la respuesta correcta.
La Lección: No puedes juzgar si un sistema funciona solo mirando cuánto cuesta o cuánto tiempo tarda.

2. Diferentes Archivos se Rompen de Diferente Manera.
El tipo de archivo importa:

Hojas de Cálculo/Tablas: Cuando estas se desordenan, el equipo tiende a quedarse atrapado en un bucle, intentando recalcular y re-verificar cosas una y otra vez (Ejecución Extendida).
Archivos de Audio: Cuando el audio está distorsionado, el equipo generalmente se rinde inmediatamente (Terminación Temprana).
Imágenes: Si una imagen está borrosa, el equipo podría tomar un desvío extraño pero a veces aún obtiene la respuesta.

3. El "Primer Error" Cuenta una Historia.
Los investigadores miraron cuándo el equipo se dio cuenta por primera vez de que algo iba mal.

Divergencia Temprana: Si se confunden inmediatamente, significa que la lectura inicial del archivo estaba rota.
Divergencia Tardía: Si trabajan bien durante un tiempo y luego se confunden, significa que el error era sutil y solo se mostró cuando comenzaron a hacer matemáticas o lógica complejas más adelante en el proceso.

Por Qué Fallan las Guardias de Seguridad Actuales

La mayoría de las empresas construyen redes de seguridad que se ven así: "Si el sistema deja de funcionar, se desploma o tarda demasiado, deténlo".

Este artículo argumenta que esas redes de seguridad son ciegas al peligro real.

Se pierden los Saboteadores Silenciosos porque el sistema parece tranquilo y ordenado.
Podrían castigar a los Desviadores (que en realidad resolvieron el problema) porque el sistema tardó demasiado o usó demasiados recursos.

La Conclusión

Cuando construimos equipos de agentes de IA para hacer trabajo complejo, no podemos solo verificar la respuesta final. Tenemos que mirar la película de cómo llegaron allí.

Un proceso tranquilo y rápido podría ser un fracaso oculto.
Un proceso caótico y costoso podría ser una recuperación exitosa.
Para hacer seguros estos sistemas, necesitamos nuevas formas de observar la "traza" de su pensamiento, no solo el resultado final.

El artículo concluye que necesitamos diseñar sistemas que puedan detectar estos errores "silenciosos" y entender que "trabajar duro" no siempre significa "trabajar bien".

Aquí se presenta un resumen técnico detallado del artículo "Análisis a Nivel de Trazas de la Contaminación de Información en Sistemas Multiagente."

1. Declaración del Problema

Los sistemas multiagente (SMA) dependen cada vez más de artefactos externos heterogéneos (PDFs, hojas de cálculo, diapositivas, audio) para realizar tareas de razonamiento complejas. La información extraída de estas fuentes se transmite entre agentes especializados (por ejemplo, extractores, analistas, validadores). El problema central abordado es la contaminación de información: errores introducidos durante la extracción o el análisis de estos artefactos (por ejemplo, columnas de tablas desalineadas, ruido de OCR, texto corrupto) que se propagan a través del flujo de trabajo.

Las prácticas actuales de evaluación se centran principalmente en la precisión del punto final (¿coincide la respuesta final con la verdad fundamental?). Los autores argumentan que esto es insuficiente porque:

Desacoplamiento: Los flujos de trabajo pueden divergir estructuralmente (cambiar las rutas de ejecución) y aún así recuperar la respuesta correcta, o permanecer estructuralmente estables mientras producen salidas incorrectas.
Costos Ocultos: La inestabilidad estructural (redirección, reintentos) incurre en costos operativos significativos (tokens, tiempo) incluso si la respuesta final es correcta.
Fallo de los Mecanismos de Protección: Los mecanismos de verificación comunes (comprobaciones de esquema, validación de formato) a menudo no logran interceptar datos "localmente plausibles pero globalmente corruptores".

2. Metodología

Los autores proponen un marco de análisis a nivel de trazas para cuantificar cómo se propaga la incertidumbre a través de flujos de trabajo multiagente estructurados.

Configuración Experimental

Benchmarks: 32 tareas del benchmark GAIA, seleccionadas por su dependencia de archivos adjuntos (tabulares, documentos, imágenes, audio).
Arquitectura: Una orquestación multiagente fija con roles especializados (Coordinador, Analista de Datos, Verificador de Hechos, Sintetizador, etc.) que se comunican a través de un espacio de trabajo compartido.
Modelos: Experimentos realizados en tres backends de LLM: GPT-5-mini, LLaMA-3.1-70B y Qwen3-235B.
Datos: 614 ejecuciones emparejadas (limpia vs. perturbada) por tarea.

Estrategia de Perturbación

En lugar de modificar archivos crudos, los autores inyectan perturbaciones estructuradas en las representaciones derivadas de los artefactos (por ejemplo, el fragmento de texto extraído por una herramienta de OCR o la tabla analizada desde un PDF).

Tipos de Perturbación: Incluye intercambio de columnas, cambios de unidad, ruido de OCR, desenfoque de imágenes, errores de codificación y redacción de texto.
Control: Todas las demás variables (prompts, semillas, roles de los agentes) se mantienen constantes para aislar el efecto de la perturbación.

Marco de Medición

La innovación central es el uso de Trazas de Ejecución ( $\tau$ ) en lugar de solo las salidas finales.

Firmas Estructurales: Los eventos (decisiones de enrutamiento, llamadas a herramientas, lecturas de memoria) se abstraen en firmas estructurales para ignorar el ruido léxico (por ejemplo, diferentes redacciones) y centrarse en el flujo de control.
Divergencia de Trazas: Medida utilizando la Distancia de Edición Estructural Normalizada ( $d_{norm}$ ) entre la traza limpia y la traza perturbada.
Punto de Primera Divergencia ( $t^\star$ ): Identifica el paso exacto donde la ejecución perturbada se desvía por primera vez de la línea base, ayudando a localizar el mecanismo de fallo.
Métricas:
- Resultado: Éxito/fracaso de la tarea.
- Costo: Sobrecarga de tokens (perturbada vs. limpia).
- Flujo de Control: Redirección, ejecución extendida (bucles) y terminación anticipada.

3. Contribuciones Clave

Taxonomía Formal de Manifestaciones de Contaminación:
- Corrupción Semántica Silenciosa (15.3%): La traza de ejecución permanece estructuralmente idéntica a la línea base ( $d_{norm} \approx 0$ ), pero la salida final es incorrecta. El sistema "acepta" datos corruptos sin desencadenar estados de error.
- Desvíos Conductuales con Recuperación (40.3%): La ruta de ejecución diverge significativamente (redirección, reintentos, pasos adicionales), pero el sistema compensa con éxito y produce la respuesta correcta.
- Disrupción Combinada (39.9%): Tanto la ruta de ejecución como la salida final están corruptas.
Marco de Medición Basado en Trazas: Un método para detectar, localizar y cuantificar la contaminación utilizando la distancia de edición estructural y los puntos de primera divergencia, superando la evaluación basada únicamente en el punto final.
Evidencia Empírica del Desacoplamiento Costo-Precisión: Demostrando que un alto costo operativo no garantiza la corrección, y un bajo costo no garantiza la seguridad.

4. Resultados y Hallazgos Clave

Desacoplamiento de Estructura y Resultado

Hallazgo 1: Las métricas del punto final son inadecuadas. El 40.3% de las ejecuciones con una divergencia estructural mayor aún recuperaron respuestas correctas, mientras que el 15.3% de las ejecuciones con trazas estables fallaron en silencio.
Implicación: Confiar únicamente en la precisión de la respuesta oculta la inestabilidad interna; confiar únicamente en la divergencia de la traza crea falsos positivos de "fallo" cuando el sistema se está adaptando realmente.

Firmas de Flujo de Control

Redirección (80.6% de las ejecuciones divergentes): La respuesta más común a la contaminación. Los agentes detectan inconsistencias y cambian de estrategia.
Ejecución Extendida (37.4%): La contaminación desencadena bucles de reintento y verificación multietapa, lo que conduce a altos costos de tokens (mediana de 1.5x–2.4x la línea base).
Terminación Anticipada (25.3%): Común en modalidades de audio donde el fallo de transcripción detiene toda la tubería.
Especificidad de Modalidad: Las perturbaciones en datos tabulares a menudo desencadenan ejecución extendida; las perturbaciones de audio favorecen la terminación anticipada.

Localización Temporal

Divergencia Temprana ( $t^\star < 0.1$ ): Indica fallos fundamentales de extracción (por ejemplo, errores de análisis).
Divergencia Tardía ( $t^\star > 0.3$ ): Indica sensibilidad en la etapa de razonamiento (por ejemplo, errores aritméticos derivados de una corrupción numérica sutil).

Costos Operativos

Hallazgo 4: El costo es un mal indicador de corrección.
- El 76.2% de las ejecuciones de bajo costo produjeron respuestas incorrectas (Corrupción Silenciosa).
- Solo el 16.3% de las ejecuciones de alto costo (>2x tokens) produjeron respuestas correctas.
Hallazgo 5: La sobrecarga de tokens no predice la recuperación. Algunas perturbaciones (por ejemplo, marcas de agua) causan desvíos costosos que rara vez tienen éxito, mientras que otras (por ejemplo, errores de codificación) permiten una recuperación moderada.

Diferencias entre Modelos

LLaMA-3.1-70B exhibió una divergencia más temprana (detección más rápida de errores) pero tasas de recuperación más bajas en comparación con GPT-5-mini y Qwen3-235B.
GPT-5-mini mostró la tasa más alta de "Desvíos Conductuales con Recuperación" (48.6%), lo que sugiere una estrategia de adaptación más robusta.

5. Significado e Implicaciones

Crítica a los Mecanismos de Protección Actuales: Los mecanismos de protección estándar (validación de esquemas, presupuestos de reintento) fallan porque asumen que la contaminación se manifiesta como errores estructurales. La corrupción semántica silenciosa elude estas comprobaciones por completo.
Recomendaciones de Diseño:
- Verificación Dirigida: Las estrategias de verificación deben ser específicas de la modalidad (por ejemplo, validación agresiva para audio, comprobaciones de esquema para tablas).
- Defensa Consciente del Costo: Los sistemas deben reconocer que las ejecuciones de alto costo no son necesariamente "adaptaciones exitosas", y las ejecuciones de bajo costo no son necesariamente "seguras".
- Evaluación Nativa de Trazas: Los futuros benchmarks deben evaluar las trazas de ejecución, no solo las respuestas finales, para capturar el espectro completo de la robustez.
Futuras Direcciones: El artículo aboga por la atribución de origen basada en procedencia (rastrear hasta el error de extracción específico), aprendizaje de flujos de trabajo resilientes a la contaminación (RL para enrutamiento robusto) y presupuestos de verificación adaptativos basados en el riesgo de contaminación previsto.

En resumen, el artículo establece que la contaminación de información en sistemas multiagente es un fenómeno complejo y multidimensional donde la estabilidad estructural y la corrección semántica a menudo están desalineadas. Proporciona un marco riguroso para medir esta desalineación, ofreciendo un camino hacia sistemas de agentes más robustos, rentables y verificables.