Resumen Técnico: Cómo un Decisor Bayesiano Aprende del Soporte de Decisión por IA

Declaración del Problema

Los sistemas de Soporte de Decisión mediante Aprendizaje Automático (ML-DS, por sus siglas en inglés) se despliegan cada vez más en dominios de alto riesgo como la salud y la judicatura para asistir a agentes humanos. Aunque estos sistemas proporcionan predicciones basadas en datos históricos, el mecanismo mediante el cual los agentes humanos racionales incorporan estas predicciones en sus procesos de toma de decisiones sigue estando insuficientemente comprendido. Específicamente, existe una falta de marcos cuantitativos que describan cómo un agente actualiza sus creencias sobre una población y los mecanismos causales subyacentes (por ejemplo, efectos de tratamiento) tras observar una predicción de ML.

Existe una brecha crítica en la comprensión de cómo las creencias previas (priors) de un agente con respecto a los datos generadores y los datos de entrenamiento del modelo de ML influyen en la utilidad del ML-DS. Como ilustran los ejemplos motivadores del artículo, predicciones de ML idénticas pueden conducir a acciones diametralmente opuestas dependiendo de si el agente cree que los datos de entrenamiento consistían en pacientes tratados o no tratados. Además, no está claro si una creencia previa desalineada puede causar que un agente racional tome decisiones subóptimas incluso cuando el modelo de ML está bien especificado.

Metodología: El Marco del Agente de 2 Pasos

Los autores proponen un marco computacional general, el Agente de 2 Pasos, para modelar la interacción entre un agente bayesiano y un sistema de ML-DS. El marco consta de dos fases distintas:

1. Actualización de la Creencia Bayesiana (Paso 1)

El agente no observa los datos de entrenamiento brutos, sino que recibe una predicción ($Pred_o$) para una nueva observación ($X_o$) de un modelo entrenado con datos históricos ($D_{Hist}$).

• Modelo del Mundo del Agente ($A_{Hist}$): El agente mantiene un modelo probabilístico del mundo que incluye creencias sobre las distribuciones a nivel poblacional (covariables, ruido de tratamiento, ruido de resultado) y el mecanismo causal (efecto del tratamiento). Crucialmente, este modelo también codifica creencias sobre el proceso de entrenamiento del modelo de ML, incluyendo el tamaño del conjunto de entrenamiento y la clase del modelo.
• Inferencia: Al observar $X_o$ y $Pred_o$, el agente realiza una actualización bayesiana. La predicción es tratada como información comprimida sobre las variables latentes de los datos de entrenamiento. El agente infiere la distribución posterior sobre los parámetros a nivel poblacional (específicamente el ruido del efecto del tratamiento $N_E$ y los parámetros de la política histórica) razonando a través de la "placa" de variables de entrenamiento intercambiables.
• Solución de Tractabilidad: Los autores abordan la intratabilidad computacional de propagar la inferencia a través de una gran placa de variables intercambiables. Para un entorno Gaussiano lineal, demuestran (Teorema 2.8) que la verosimilitud de los parámetros del modelo de ML puede reducirse a una función de las variables a nivel poblacional y un pequeño conjunto de estadísticos suficientes (específicamente $O(k^2)$ estadísticos para $k$ confundidores). Esta reducción permite un muestreo eficiente de la posterior sin simular el conjunto completo de datos históricos.

2. Inferencia Causal y Decisión (Paso 2)

Utilizando las creencias posteriores actualizadas del Paso 1, el agente estima el Efecto de Tratamiento Medio Condicional (CATE) para el nuevo paciente.

• Modelo de Inferencia ($A_{Inf}$): El agente extrae muestras de la distribución posterior de los parámetros del modelo causal estructural (SCM).
• Regla de Decisión: El agente calcula el CATE esperado a través de la distribución de los posibles SCMs. Si el beneficio esperado de un tratamiento específico supera un umbral $\tau$, el agente selecciona dicho tratamiento; de lo contrario, selecciona la alternativa.

El marco cuantifica el impacto del ML-DS comparando los resultados derivados ($Y$) de agentes con y sin soporte de decisión, definidos como $E_{Hist}(Y | do(A = ML\text{-}DS)) - E_{Hist}(Y | do(A = no\ ML\text{-}DS))$.

Configuración Experimental

Los autores implementaron el marco utilizando PyMC para simular un caso de uso clínico:

• Escenario: Un entorno de regresión univariante donde el peso corporal de un paciente ($X$) influye en la dosis de quimioterapia ($A$) y los meses de supervivencia ($Y$).
• Agentes: Agentes simulados con "priors correctos" (que coinciden con el proceso generador de datos real) y agentes con priors desalineados (desviaciones sistemáticas en las creencias sobre el efecto del tratamiento, la política de tratamiento histórica o la distribución de las covariables).
• Comparación: El estudio compara los resultados para agentes que utilizan ML-DS (serie naranja) frente a aquellos que dependen únicamente de sus priors (serie azul) a través de diversos grados de desalineación de los priors.

Resultados Clave

1. Aprendizaje de ML-DS: Cuando la creencia previa de un agente respecto al efecto del tratamiento ($N_E$) está desalineada pero todas las demás creencias son correctas, el agente puede aprender con éxito de la predicción de ML. La actualización bayesiana corrige la creencia, lo que conduce a estimaciones de CATE mejoradas y mejores resultados derivados en comparación con no utilizar ML-DS.
2. El Peligro de los Priors Desalineados: El artículo demuestra que un único prior desalineado es suficiente para degradar el rendimiento del ML-DS.
   • Si el agente mantiene creencias incorrectas sobre la política de tratamiento histórica ($\alpha_{A\mu}$), la interacción con ML-DS puede conducir a estimaciones erróneas del CATE. El agente intenta reconciliar la predicción de ML con su prior incorrecto, lo que resulta en elecciones de tratamiento subóptimas y peores resultados que si hubiera ignorado el soporte de ML.
   • Se observaron efectos negativos similares cuando los agentes mantenían priors desalineados respecto a la distribución de las covariables ($\alpha_{X\mu}$) o la distribución de los resultados ($\alpha_{Y\mu}$).
3. Correlación de la Posterior: El proceso de aprendizaje se manifiesta como una correlación en las creencias posteriores del agente. Cuando una predicción contradice las expectativas, el agente contempla múltiples hipótesis (por ejemplo, el tratamiento es menos efectivo de lo pensado, O las dosis históricas fueron más altas de lo asumido), creando una dependencia entre el efecto del tratamiento inferido y la política histórica inferida.

Significancia y Reivindicaciones

El artículo afirma proporcionar el primer marco explícito que desglosa la interacción entre un agente bayesiano y un ML-DS, modelando específicamente cómo un agente aprende sobre el proceso generador de datos a partir de una predicción de ML.

• Contribución Teórica: La derivación de una solución tratable para la inferencia bayesiana a través de variables de entrenamiento intercambiables (Teorema 2.8) permite la simulación de la dinámica de aprendizaje que anteriormente era computacionalmente prohibitiva.
• Contribución Empírica: El estudio proporciona evidencia cuantitativa de que el ML-DS puede hacer más daño que bien incluso bajo condiciones ideales (donde el modelo está bien especificado y el agente es perfectamente racional). El determinante principal del éxito es la alineación de las creencias previas del agente con la realidad de los datos de entrenamiento.
• Implicación Práctica: Los hallazgos subrayan la importancia crítica de proporcionar documentación exhaustiva de los datos de entrenamiento y los protocolos a los usuarios de ML-DS. Sin una alineación adecuada de los priors (por ejemplo, mediante capacitación o documentación), la introducción de soporte de IA puede conducir a resultados derivados perjudiciales.

Los autores señalan que sus resultados son generalizables a cualquier campo que emplee modelos de predicción para el soporte de decisiones, aunque la implementación actual se limita a modelos lineales y de un solo paso, y a interacciones de un solo paso. Se identifica como necesario un trabajo futuro para explorar modelos de ML causales, efectos de tratamiento heterogéneos e interacciones repetidas.