🤖 AI

Runtime Uncertainty Monitoring for LLM-Based Multi-Agent Systems Using Bayesian Networks

Este artículo propone un marco de agentes múltiples para el modelado de riesgos actuariales que aprovecha las log-probabilidades a nivel de token y las Redes Bayesianas para cuantificar y propagar la incertidumbre en tiempo de ejecución, garantizando un soporte de decisiones confiable en flujos de trabajo basados en LLM de alto riesgo.

Autores originales: Bart Custers, Koorosh Aslansefat

Publicado 2026-07-29

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bart Custers, Koorosh Aslansefat

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras no solo siguen instrucciones estrictas, sino que pueden realmente "chatear" y "pensar" su camino a través de tareas complejas. Este es el reino de la Inteligencia Artificial, específicamente una rama llamada Modelos de Lenguaje Extensos (LLM, por sus siglas en inglés). Piensa en estos modelos como estudiantes increíblemente cultos que han leído casi todo lo que hay en internet. Son excelentes escribiendo historias, responciendo preguntas e incluso resolviendo problemas matemáticos. Sin embargo, hay un inconveniente: son un poco como un escritor creativo que a veces inventa cosas (lo que se llama "alucinaciones") o cambia de opinión si le haces la misma pregunta dos veces.

Ahora, imagina que necesitas tomar una decisión de vida o muerte, como determinar cuánto cobrar por un seguro de auto. No puedes simplemente preguntarle a uno de estos estudiantes de IA para que adivine; necesitas un equipo entero trabajando en conjunto. Aquí es donde entran en juego los Sistemas Multi-Agente. En lugar de un solo robot haciendo todo, tienes un equipo de especialistas: uno recopila los datos, otro construye el modelo matemático, un tercero verifica si hay errores y un cuarto explica los resultados. La gran pregunta que los científicos se están haciendo es: "Si uno de estos miembros del equipo de IA se confunde o comete un error, ¿cómo lo sabemos antes de que todo el proyecto falle?". Este artículo profundiza en ese problema exacto, intentando construir una red de seguridad para equipos de IA que trabajan en tareas financieras de alto riesgo.

El Equipo de IA y el "Medidor de Confianza"

En este estudio, los investigadores configuraron una compañía de seguros digital dirigida por un equipo de agentes de IA. No dejaron que la IA charlara aleatoriamente; construyeron un flujo de trabajo estricto con un "Centro Central" que actúa como un gerente de proyecto. Este gerente asigna tareas a cuatro especialistas de IA específicos:

El Agente de Preparación de Datos: Limpia los números desordenados.
El Agente de Modelado: Construye las matemáticas de predicción de riesgo.
El Agente de Revisión: Doble verifica el trabajo en busca de errores.
El Agente de Explicación: Se asegura de que los resultados tengan sentido y sean justos.

La parte difícil es que estos agentes de IA son probabilísticos, lo que significa que no dan una única respuesta "correcta" cada vez. Generan texto palabra por palabra, y para cada palabra, la computadora tiene una pequeña "probabilidad de log" (log probability)—un número que dice qué tan probable pensó el modelo que esa palabra específica fuera la siguiente. Usualmente, la gente solo mira la respuesta final. Pero este artículo sugiere un truco ingenioso: escuchar el susurro de la confianza de la IA.

Los autores se dieron cuenta de que no puedes simplemente tomar los números de confianza interna de la IA y decir: "Esto es un 90% correcto". Eso es como asumir que un estudiante que habla con fluidez está definitivamente diciendo la verdad. En su lugar, el equipo creó un sistema para traducir esos susurros de confianza crudos en una Red Bayesiana.

La Red Bayesiana: Un Efecto Dominó Digital

Piensa en la Red Bayesiana como un diagrama de flujo gigante e interactivo de fichas de dominó. Cada ficha representa un paso en el flujo de trabajo del seguro. Si la primera ficha (Preparación de Datos) se tambalea, podría derribar la segunda (Modelado), lo que podría tumbar la tercera (Revisión).

Los investigadores utilizaron los puntajes de confianza interna de la IA para establecer el "factor de tambaleo" para cada ficha. No trataron la confianza de la IA como una garantía de verdad. En su lugar, la calibraron mediante pruebas para ver con qué frecuencia la IA era realmente acertada cuando se sentía confiada. Luego, introdujeron estos números calibrados en la red.

¿El resultado? La red podía mostrarles cómo la incertidumbre se propaga por todo el sistema. Incluso si cada agente de IA se sentía un 80% seguro de su propio trabajo, la red podía calcular que el flujo de trabajo completo solo tenía un 55% de probabilidad de éxito porque las pequeñas dudas se sumaban. Es como una cadena de cuatro personas pasando un cubo de agua; si cada persona está un 80% segura de que no lo derramará, el cubo final podría estar todavía a medio llenar cuando llegue al final.

Lo que Encontraron: La Prueba de Temperatura

Para ver si su red de seguridad funcionaba, los investigadores sometieron al equipo de IA a diferentes "temperaturas". En el lenguaje de la IA, la "temperatura" controla qué tan aleatoria o creativa es la IA.

Temperatura Baja (0.2): La IA es muy conservadora y repetitiva.
Temperatura Alta (1.2): La IA es salvaje, creativa y propensa a cometer errores.

Probaron cuatro escenarios:

Escenario Seguro: Todos estaban en temperatura baja. El sistema era muy confiable, con una probabilidad de éxito del 87.1%.
Escenario Mixto: Los agentes de datos y de modelo estaban tranquilos, pero los revisores y explicadores estaban un poco salvajes. El éxito cayó al 69.0%.
Escenario Moderado: Todos estaban en un ajuste "medio" estándar. El éxito fue del 59.2%.
Escenario Riesgoso: Solo un agente (el Agente de Explicación) se volvió muy salvaje. Aunque todos los demás estaban tranquilos, la tasa de éxito de todo el sistema se desplomó al 42.8%.

Esto demostró que el sistema es muy sensible. Un solo eslabón débil en la cadena puede arrastrar la confiabilidad de todo el proyecto.

El Veredicto: ¿Quién Detectó los Errores?

El equipo también puso a prueba a los agentes de IA alterando secretamente los datos (como ocultando números o añadiendo ruido falso) para ver si los agentes lo notarían.

Llama 2 y Llama 3.1: Estos modelos estaban bien para el trabajo, pero pasaron por alto muchos de los errores ocultos. Llama 2 solo detectó el 45% de los errores, y Llama 3.1 detectó el 65%.
Qwen2.5: Este modelo fue la estrella del espectáculo. Detectó el 90% de los errores y fue mucho mejor adaptando su estrategia cuando las cosas salían mal.

El estudio también encontró que, mientras que los agentes individuales a menudo se sentían muy confiados (calificando alrededor de 0.80 a 0.90 por su cuenta), la incertidumbre combinada de todo el flujo de trabajo era mucho menor. Por ejemplo, con el modelo Qwen, los agentes individuales estaban confiados, pero la certeza del flujo de trabajo final era solo de 0.6012.

Por Qué Esto Importa

Este artículo no pretende haber resuelto todos los problemas de la IA en los seguros. En cambio, sugiere una nueva forma de vigilar al equipo de IA mientras trabaja. Al usar una Red Bayesiana para rastrear cómo se suman las pequeñas dudas, podemos detectar cuándo un flujo de trabajo se está volviendo "inseguro" antes de que produzca un mal resultado.

Los investigadores demostraron que este método puede reproducir los resultados actuariales estándar (las matemáticas utilizadas para fijar precios de seguros) mientras nos brinda una visión clara de la estabilidad del sistema. Sugiere que en trabajos de alto riesgo, no debemos confiar solo en la respuesta final de la IA; necesitamos escuchar los "susurros" de su confianza y observar cómo esos susurros viajan a través del equipo. Si un agente comienza a sonar inseguro, todo el sistema debería saber que debe detenerse y verificar, evitando que un pequeño error se convierta en un desastre financiero.

Resumen Técnico: Monitoreo de la Incertidumbre en Tiempo de Ejecución para Sistemas Multi-Agente Basados en LLM mediante Redes Bayesianas

Declaración del Problema

La integración de Sistemas Multi-Agente (MAS) basados en Modelos de Lenguaje Extensos (LLM) en dominios de alto riesgo, como el modelado de riesgos actuariales, presenta desafíos significativos en cuanto a fiabilidad y transparencia. Si bien los LLM ofrecen el potencial de automatizar flujos de trabajo complejos que involucran preparación de datos, desarrollo de modelos y validación, su naturaleza probabilística introduce riesgos como alucinaciones, variabilidad entre ejecuciones y una falta de explicabilidad. En entornos de seguros regulados, los resultados poco fiables pueden conducir a evaluaciones de riesgo incorrectas, precios injustos e incumplimiento normativo. Existe una brecha crítica en los enfoques actuales: las métricas de evaluación existentes suelen centrarse en la precisión específica de la tarea, pero no logran capturar cómo surge y se propaga la incertidumbre a través de flujos de trabajo de agentes interdependientes. Además, las estimaciones de incertidumbre estándar (como las log-probabilidades a nivel de token) no se traducen directamente a la probabilidad de éxito de la tarea, ni tienen en cuenta el efecto acumulativo de los errores a lo largo de un proceso de múltiples pasos.

Metodología

Los autores proponen un marco de monitoreo de seguridad en tiempo de ejecución diseñado para cuantificar y propagar la incertidumbre dentro de un MAS basado en LLM. La metodología consta de tres componentes principales:

1. Arquitectura del Sistema Multi-Agente

El sistema emplea una topología de estrella centralizada donde un Núcleo Central (Central Hub) coordina a cuatro agentes especializados mediante el paso de mensajes, evitando la comunicación directa entre agentes para garantizar una supervisión controlada:

Agente de Preparación de Datos: Gestiona la ingesta, limpieza y codificación de datos.
Agente de Modelado: Desarrolla modelos predictivos.
Agente de Revisión: Evalúa los resultados de las etapas de datos y modelado para asegurar consistencia y rendimiento.
Agente de Explicación: Evalúa la interpretabilidad, la alineación de conceptos (utilizando Testing with Concept Activation Vectors) y la equidad (mediante comparaciones a nivel de grupo).

El marco utiliza tres modelos transformer de tipo decoder-only de código abierto (Llama 2 7B, Llama 3.1 8B y Qwen2.5 7B) capaces de ejecutarse en máquinas locales.

2. Cuantificación de la Incertidumbre mediante Log-Probabilidades

El marco extrae log-probabilidades a nivel de token ( $log p_\theta$ ) de los outputs de los LLM. Reconociendo que las log-probabilidades puras están influenciadas por la longitud de la secuencia y no equivalen directamente al éxito de la tarea, los autores aplican un proceso de transformación:

Normalización de Longitud: Las log-probabilidades se promedian sobre la longitud de la secuencia $L$ para generar una puntuación de resumen $s_i$ .
Calibración: La puntuación normalizada se transforma en una característica de confianza acotada $q_i = \exp(s_i)$ .
Función de Calibración: Una función $f_{cal}$ , estimada mediante ejecuciones de validación, mapea $q_i$ a una probabilidad de finalización exitosa de la tarea $P(X_i = success | q_i)$ .

3. Red Bayesiana (BN) para la Propagación

Para modelar las dependencias entre las etapas del flujo de trabajo, las puntuaciones de confianza calibradas se incorporan a una Red Bayesiana.

Estructura: Cada etapa del flujo de trabajo (por ejemplo, preparación de datos, revisión, modelado) es un nodo. Las aristas dirigidas representan dependencias condicionales.
Lógica: La red utiliza Tablas de Probabilidad Condicional (CPT) para definir cómo el éxito de una tarea descendente depende del éxito de sus nodos padres. Por ejemplo, el nodo de éxito final del flujo de trabajo se modela como una puerta "AND", requiriendo que todos los nodos padres tengan éxito.
Inferencia: A medida que el flujo de trabajo se ejecuta, el Núcleo Central actualiza la BN con nueva evidencia (puntuaciones de incertidumbre), permitiendo el cálculo de las probabilidades a posteriori. Esto visualiza cómo la incertidumbre se acumula desde los outputs de los agentes individuales hasta el estado final del sistema.

Contribuciones Clave

El artículo presenta un enfoque novedoso de monitoreo en tiempo de ejecución que va más allá de la evaluación estática:

Marco de Propagación de la Incertidumbre: Introduce un método para transformar las log-probabilidades a nivel de token en estimaciones de confianza calibradas a nivel de tarea y propagarlas a través de una Red Bayesiana. Esto modela explícitamente la distinción entre la incertidumbre intrínseca (en un solo paso) y la incertidumbre extrínseca (propagada desde decisiones anteriores).
Mecanismo de Seguridad Estructurado: El marco proporciona una representación estructurada de la estabilidad del flujo de trabajo, capaz de identificar estados "inseguros" donde la incertidumbre en componentes específicos degrada significativamente la fiabilidad general del sistema.
Validación Empírica en el Contexto Actuarial: El enfoque se valida dentro de un flujo de trabajo actuarial realista, demostrando que el sistema puede reproducir el rendimiento actuarial base mientras ofrece información granular sobre la estabilidad del flujo de trabajo.

Resultados

La evaluación se llevó a cabo en tres backends de LLM utilizando conjuntos de datos originales y 20 sistemáticamente perturbados (introduciendo errores como valores faltantes, cambios en la distribución y ruido en las etiquetas).

Rendimiento: El MAS logró altas tasas de éxito de tareas (80–90%) y un rendimiento predictivo (RMSE) comparable a los modelos actuariales base en todos los backends.
Varianza de la Incertidumbre: Se observaron diferencias significativas en la certeza del flujo de trabajo derivada de la Red Bayesiana. Por ejemplo, aunque los agentes individuales a menudo mostraban una alta confianza, la propagación de la incertidumbre redujo la probabilidad de éxito global del flujo de trabajo (por ejemplo, de una certeza individual de ~80% a una certeza global de ~55% en un escenario por defecto).
Sensibilidad de la Temperatura: Los experimentos variando la temperatura del LLM confirmaron que el aumento de la aleatoriedad en las respuestas de los agentes reduce directamente la probabilidad de éxito global del flujo de trabajo. Un escenario "riesgoso" con alta temperatura en un solo agente redujo significativamente la fiabilidad de todo el sistema.
Detección de Errores: El backend Qwen2.5 7B demostró una detección de errores (90%) y adaptabilidad superiores en comparación con los modelos Llama (45–45%), particularmente en el manejo de cambios distributivos.
Limitaciones: El sistema mostró sensibilidad a los cambios distributivos (cambios de población), pero fue menos fiable en la detección de valores faltantes o dispersión, lo que resalta áreas específicas de mejora en el proceso de validación.

Significado y Reivindicaciones

El artículo sostiene que su principal significancia radica en proporcionar un método estructurado e interpretable para monitorear la incertidumbre en tiempo de ejecución en MAS basados en LLM. Al combinar señales a nivel de token con inferencia bayesiana, el marco ofrece un mecanismo de seguridad que puede identificar elementos débiles en un flujo de trabajo antes de que conduzcan a fallos críticos.

Los autores mantienen una postura modesta, señalando que la implementación actual representa una prueba de concepto. La Red Bayesiana modela una traza de ejecución abstracta en lugar del control dinámico completo (por ejemplo, no modela actualmente bucles de revisión iterativos o el orden temporal más allá de las dependencias directas padre-hijo). Los autores sugieren que extender el modelo a Redes Bayesianas dinámicas o diagramas de influencia es una dirección para trabajos futuros. En última instancia, este trabajo demuestra que es posible apoyar la toma de decisiones de alto riesgo con agentes de LLM al cuantificar y visualizar explícitamente cómo la incertidumbre se propaga a través de flujos de trabajo complejos de múltiples pasos.