Human AI Construction of Bayesian Networks for Operational Decision Support -- A Virtual Survey Approach

Resumen Técnico: Construcción Humano-IA de Redes Bayesianas para el Soporte a la Decisión Operativa

Planteamiento del Problema
Las Redes de Creencia Bayesiana (BBN, por sus siglas en inglés) son marcos establecidos para la toma de decisiones bajo incertidumbre, que combinan la teoría de grafos y la teoría de la probabilidad. Sin embargo, su adopción en la investigación de operaciones (OR) y la ciencia de la gestión se ha visto obstaculizada por un cuello de botella específico: la elicitación de las Tablas de Probabilidad Condicional (CPT). La construcción de una BBN requiere dos pasos distintos: el aprendizaje de la estructura (identificación del Grafo Acíclico Dirigido) y el aprendizaje de parámetros (estimación de las CPT).

• Elicitación de Expertos: Depender de expertos humanos para estimar probabilidades en nodos con múltiples padres crea un crecimiento exponencial en los parámetros requeridos (por ejemplo, un nodo con cuatro padres y tres estados cada uno requiere 27 estimaciones independientes). Esto impone una carga cognitiva elevada, que a menudo supera los límites de la racionalidad humana.
• Aprendizaje Basado en Datos: Los enfoques de aprendizaje automático requieren grandes volúmenes de datos representativos, los cuales son frecuentemente inexistentes en contextos de investigación de gestión (por ejemplo, riesgo en la cadena de suministro, gestión de proyectos o nichos de mercados de salud).
  En consecuencia, existe una falta de un "camino intermedio" escalable para parametrizar las BBN cuando los datos del mundo real son escasos y el tiempo de los expertos es costoso.

Metodología: Encuesta Virtual Asistida por LLM
Los autores proponen una metodología de seis pasos que integra Modelos de Lenguaje de Gran Escala (LLM) para cerrar la brecha entre la opinión del experto y el aprendizaje basado en datos. El enfoque no utiliza los LLM para el aprendizaje de la estructura (que sigue siendo impulsado por la teoría o por expertos), sino que los utiliza para la elicitación de parámetros.

1. Definición de la Estructura: El usuario define el DAG basándose en la teoría establecida (por ejemplo, Modelos de Cognición Social).
2. Especificación de Estados: Se definen estados discretos para cada nodo con descripciones semánticas.
3. Encuesta Virtual Basada en LLM (Paso Central):
   • Generación de Personas: Un LLM genera un panel de $N$ agentes sintéticos (por ejemplo, $N=100$) con diversas demografías y perfiles relevantes al contexto de la decisión.
   • Ingeniería de Prompts: Para cada nodo y cada combinación posible de estados de los padres, el sistema consulta al LLM. Cada consulta incluye la persona, el contexto de la red, los estados del nodo y una descripción específica de la variable.
   • Agregación: El LLM devuelve vectores de probabilidad para cada celda de la CPT. Para mitigar las "alucinaciones" y el sesgo de respuesta individual, los autores aplican una regla de media recortada, descartando el 10% superior e inferior de las estimaciones y promediando el 80% restante. El vector resultante se normaliza para que la suma sea 1.
4. Visualización y Sobrescritura Manual: Las CPT iniciales se visualizan, permitiendo al usuario corregir manualmente los valores implausibles.
5. Simulación y Refinamiento: El sistema realiza un muestreo hacia adelante para generar datos sintéticos a partir de la red. Luego se aplica la Estimación de Máxima Verosimilitud (MLE) a estos datos sintéticos para refinar las CPT, asegurando la autoconsistencia y suavizando el ruido del muestreo.
6. Inferencia: El modelo final soporta consultas probabilísticas (predictivas, diagnósticas) y consultas causales utilizando do-calculus (mutilación de grafos) para distinguir entre correlación y causalidad.

La metodología está implementada en una arquitectura web de tres niveles con un backend en Flask, la biblioteca de Python pgmpy para la inferencia y adaptadores de LLM agnósticos al proveedor.

Contribuciones Clave

1. Innovación Metodológica: El artículo introduce un marco novedoso para la elicitación de CPT utilizando un panel de agentes de IA sintéticos y una regla de agregación de media recortada. Esto aborda la carga cognitiva de la elicitación humana y la escasez de datos del aprendizaje automático.
2. Integración de Sistemas: Los autores desarrollaron una aplicación web modular de tres niveles que integra la especificación de estructura basada en la teoría, la elicitación de parámetros basada en LLM, la generación de datos sintéticos y la inferencia causal.
3. Aplicación Empírica: Se realizó un estudio numérico sobre un problema de decisión de servicios de salud: modelar la intención del cliente de consultar a un médico ayurvédico para el manejo de la diabetes. El estudio utilizó 8 variables y 99 parámetros independientes, probando 11 supuestos estructurales derivados de la teoría de la cognición social.

Resultados y Hallazgos
La aplicación al modelo de consulta ayurvédica arrojó varios hallazgos contraintuitivos que resaltan el valor de la inferencia causal sobre el simple análisis observacional:

• Autoeficacia (SE): Los datos observacionales sugirieron que la SE era un fuerte predictor de la intención ($P(I=Alto|SE=Alto) = 0.837$). Sin embargo, la intervención causal $P(I=Alto | do(SE=Alto))$ reveló un aumento causal insignificante (+0.9%). La fuerte correlación observacional fue impulsada por factores de confusión (específicamente, la Actitud favorable).
• Normas Subjetivas (SN): Los datos observacionales mostraron una correlación débil o negativa con la intención. No obstante, la intervención causal $P(I=Alto | do(SN=Altamente Influenciado))$ reveló un verdadero aumento causal significativo (+7.5%).
• Intervenciones Conjuntas: La estrategia más efectiva identificada fue una intervención conjunta sobre la Autoeficacia y las Normas Subjetivas, logrando un aumento causal de aproximadamente +15%.
• Validación: De los 11 supuestos estructurales probados, 7 fueron validados, 3 fueron rechazados (proporcionando información interpretable sobre los efectos de mediación) y 1 resultó inconcluso. Esto sugiere que las CPT elicitadas por LLM codificaron una lógica de dominio significativa consistente con la teoría.

Significancia y Reivindicaciones
El artículo posiciona este trabajo como un "camino intermedio" para la Investigación de Operaciones. Sostiene que:

• Escalabilidad: La metodología permite la parametrización rápida de las BBN en entornos con escasez de datos a un bajo costo (el estudio costó aproximadamente USD 6 por 100 agentes).
• Claridad Causal: Al integrar el do-calculus, el enfoque permite a los tomadores de decisiones distinguir entre correlaciones espurias y verdaderos efectos causales, ofreciendo una guía que la regresión o el modelado de ecuaciones estructurales no pueden proporcionar sin supuestos fuertes.
• Sinergia Humano-IA: Los autores argumentan que los LLM no reemplazan la experiencia humana, sino que la aumentan. Los humanos definen la estructura causal y revisan los resultados, mientras que la IA se encarga de la tarea escalable y repetitiva de la estimación de probabilidades.
• Potencial Futuro: Los autores afirman modestamente que las respuestas agregadas de los LLM pueden codificar porciones significativas del razonamiento humano. Sugieren que este enfoque abre nuevas vías para el modelado de la intención del cliente y la toma de decisiones operativas más amplias, siempre que investigaciones futuras validen estos priors sintéticos contra datos empíricos del mundo real.

El artículo concluye que, si bien la validación completa con el mundo real está pendiente, la metodología demuestra con éxito un flujo de trabajo viable para la construcción de modelos de decisión causales donde la recolección de datos tradicional es impracticable.