📊 statistics

Causal Bandit Over Unknown Graphs: Upper Confidence Bounds With Backdoor Adjustment

Este artículo propone el algoritmo BA-UCB para resolver problemas de banditos causales con grafos desconocidos, utilizando ajustes de puerta trasera en datos observacionales y experimentales para lograr tasas de arrepentimiento acumulativo mejoradas y una dependencia más relajada del número de brazos de intervención.

Autores originales: Yijia Zhao, Qing Zhou

Publicado 2026-04-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yijia Zhao, Qing Zhou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que eres un jardinero que quiere cultivar la cosecha más grande y deliciosa posible. Tienes tres herramientas para modificar tu jardín: puedes cambiar la temperatura (calefacción o sombra), controlar el riego (más o menos agua) y ajustar los nutrientes del suelo (fertilizante).

El problema es que no sabes exactamente cuál de estas tres cosas es la que realmente hace que las plantas crezcan más. ¿Es el agua? ¿Es el sol? ¿O es la tierra?

Aquí es donde entra el problema del "Bandido Causal" (Causal Bandit).

1. El Dilema del Jardinero (El Problema)

En el mundo de la inteligencia artificial, esto se llama "aprendizaje por ensayo y error". Tienes que probar una herramienta, ver qué pasa, y luego decidir qué probar la próxima vez.

El método antiguo (UCB estándar): Es como si fueras un jardinero que solo confía en lo que ve mientras experimenta. Si decides regar más, solo aprendes de esas plantas. Si decides usar fertilizante, solo aprendes de esas. Es lento, costoso y necesitas probar muchísimas veces para saber cuál es la mejor opción. Además, si tienes 100 herramientas diferentes, tardarías una eternidad en encontrar la mejor.
El problema real: En la vida real, no siempre podemos hacer experimentos costosos (como cambiar el clima de todo un campo). A veces, ya tenemos datos históricos (observacionales): registros de cómo crecieron las plantas en años anteriores sin que nadie las tocara. El truco es: ¿Cómo usamos esos datos viejos para aprender más rápido sin tener que experimentar tanto?

2. La Solución: El "Ajuste de la Puerta Trasera" (Backdoor Adjustment)

Los autores, Zhao y Zhou, proponen un nuevo algoritmo llamado BA-UCB. Para entenderlo, usemos una analogía de detectives.

Imagina que quieres saber si el fertilizante (Intervención) causa un crecimiento mayor (Recompensa). Pero hay un sospechoso oculto: la lluvia (una variable oculta o confusora). La lluvia afecta tanto al fertilizante (lo lava) como al crecimiento de la planta. Si no tienes cuidado, podrías pensar que el fertilizante funciona mal, cuando en realidad fue la lluvia.

El ajuste de la puerta trasera es como encontrar una "puerta trasera" en el caso del detective. Es un conjunto de variables (como medir la humedad del suelo o la temperatura) que, si las controlas en tu análisis, te permiten ver el efecto real del fertilizante, ignorando el ruido de la lluvia.

El algoritmo BA-UCB hace lo siguiente:

No necesita el mapa completo: A diferencia de otros métodos que requieren saber todo el mapa de relaciones del jardín (qué afecta a qué), este algoritmo no necesita saber el mapa de antemano. ¡Lo descubre mientras juega!
Mezcla dos fuentes de información:
- Datos Experimentales: Lo que aprendes al hacer cambios reales (costoso).
- Datos Observacionales: Lo que aprendes mirando los registros viejos (barato y abundante).
El truco inteligente: El algoritmo busca, entre los datos viejos, qué variables (como la temperatura o la humedad) sirven como "puerta trasera" para limpiar el ruido. Una vez que encuentra estas variables, combina la información vieja con la nueva para calcular una "frontera de confianza" (Upper Confidence Bound).

3. ¿Por qué es tan genial? (La Magia)

Imagina que tienes que elegir entre 100 herramientas diferentes.

El jardinero viejo (Método estándar): Tendría que probar cada herramienta muchas veces, una por una. Si hay 100 herramientas, el tiempo y el dinero necesarios crecen enormemente.
El jardinero nuevo (BA-UCB): Gracias a usar los datos históricos y el "ajuste de puerta trasera", puede aprender sobre todas las herramientas simultáneamente.
- Si tienes muchos datos viejos, el algoritmo se vuelve muy rápido.
- El tiempo que tarda en encontrar la mejor herramienta no depende tanto de cuántas herramientas tengas. ¡Es como si tuviera un superpoder que le permite escanear todo el jardín de un solo vistazo!

4. ¿Qué pasa si hay "fantasmas" (Variables Ocultas)?

A veces, hay variables que ni siquiera podemos ver (como un parásito invisible en la tierra). El algoritmo original fallaría. Pero los autores extendieron su método para este caso también.

Si el algoritmo detecta que no puede encontrar una "puerta trasera" limpia (porque hay un fantasma), simplemente dice: "Ok, no puedo usar los datos viejos para esto, usaré solo mis experimentos nuevos".
Es como un detective que, si ve que hay un testigo falso, decide confiar solo en la evidencia física directa. Esto hace que el sistema sea muy robusto y no se rompa ante la incertidumbre.

En Resumen

Este papel presenta un nuevo algoritmo para tomar decisiones inteligentes (como en medicina, economía o marketing) cuando no sabemos exactamente cómo funciona el sistema, pero tenemos muchos datos históricos.

La metáfora final: Es como si tuvieras un GPS que, en lugar de guiarte solo con el tráfico en tiempo real (datos experimentales), también analiza los mapas históricos y el clima de los últimos 10 años (datos observacionales) para predecir la ruta más rápida.
El resultado: Llegas a tu destino (la mejor decisión) mucho más rápido, gastando menos combustible (menos experimentos costosos) y sin importar si tienes que elegir entre 10 rutas o 1000.

Los autores demostraron con simulaciones que este método es más rápido, más barato y más preciso que los métodos anteriores, incluso cuando el mapa del mundo (la estructura causal) es un misterio total.

Aquí presento un resumen técnico detallado del artículo "Causal Bandit over Unknown Graphs: Upper Confidence Bounds with Backdoor Adjustment", realizado por Yijia Zhao y Qing Zhou.

1. Planteamiento del Problema

El problema de los bandidos causales (Causal Bandits) busca identificar, mediante experimentación secuencial, una intervención que maximice la recompensa esperada en un sistema modelado por un Grafo Acíclico Dirigido (DAG). A diferencia de los bandidos de múltiples brazos (MAB) tradicionales, donde las acciones son independientes, en el contexto causal, las acciones (intervenciones sobre variables) y las recompensas están conectadas mediante mecanismos causales subyacentes.

Limitaciones de los métodos existentes:

La mayoría de los enfoques actuales asumen que la estructura del grafo causal es conocida de antemano o imponen restricciones estructurales muy estrictas.
En la práctica, el DAG subyacente rara vez es conocido.
Los métodos que intentan aprender la estructura primero (como RAPS o CN-UCB) a menudo fallan en dominios continuos (Gaussianos) porque la intervención óptima no necesariamente corresponde a un padre de la variable de recompensa.
Otros enfoques bayesianos que no asumen el grafo conocido son computacionalmente prohibitivos para conjuntos de acciones de tamaño moderado.

Objetivo del trabajo:
Desarrollar un algoritmo para el problema de bandidos causales donde el grafo causal es desconocido, capaz de integrar datos observacionales (históricos, baratos) y datos experimentales (costosos, generados secuencialmente) para identificar la intervención óptima sin necesidad de recuperar el DAG completo.

2. Metodología: Algoritmo BA-UCB

Los autores proponen el algoritmo BA-UCB (Backdoor Adjustment Upper Confidence Bound). La idea central es utilizar datos observacionales para identificar conjuntos de ajuste de "puerta trasera" (backdoor adjustment sets) candidatos y combinar esta información con datos experimentales para construir cotas de confianza superiores (UCB) más precisas.

A. Supuestos y Modelo

Se asume un modelo de DAG Gaussiano (Ecuaciones Estructurales Lineales) donde las variables siguen una distribución normal.
No se requiere conocer el DAG completo ni asumir la "fealdad" (faithfulness) completa, solo se asume un "gap" (brecha) en los efectos causales estimados para distinguir conjuntos válidos de inválidos.
Se dispone de $n_0$ datos observacionales iniciales y, en cada ronda $t$ , se recolectan $n$ datos observacionales y $m$ datos experimentales.

B. Mecanismo de Identificación de Conjuntos de Ajuste

En lugar de aprender todo el grafo, el algoritmo busca localmente conjuntos de variables $S$ que satisfagan el criterio de puerta trasera para una intervención $X_i$ sobre la recompensa $Y$ .

Estimación de Vecindad de Regresión: Se estima la vecindad de regresión $\hat{M}_i$ de cada nodo usando datos observacionales (basado en la independencia condicional).
Búsqueda de Conjuntos Candidatos: Se evalúan subconjuntos $S \subseteq \hat{M}_i$ $S \subseteq \hat{M}_{i}$ . Un conjunto se considera candidato si la diferencia entre la estimación causal obtenida por ajuste (datos observacionales) y la estimación puramente experimental es estadísticamente cercana a cero.
- Se construyen intervalos de confianza para la diferencia $\hat{\mu}_{i,obs}(t, S) - \hat{\mu}_{i,int}(t)$ .
- Si el intervalo incluye 0, $S$ es un candidato válido.
Selección: Se elige un conjunto de ajuste de los candidatos para calcular la estimación ponderada.

C. Construcción de la Cota de Confianza (UCB)

El algoritmo combina las estimaciones de los dos tipos de datos mediante un promedio ponderado:

$\hat{\mu}_i(t, S)$ : Promedio ponderado de la estimación observacional y la experimental.
$\hat{\sigma}^2_i(t, S)$ : Varianza combinada correspondiente.
La regla de decisión selecciona el brazo $A_{t+1}$ que maximiza:
$\hat{\mu}_i(t, S) + \hat{\sigma}_i(t, S) c \sqrt{\log t}$
Nota técnica: Los autores demuestran que un enfoque de "regresión única" (mezclar datos y hacer una sola regresión) es menos robusto que el promedio ponderado de estimadores separados, especialmente cuando el conjunto de ajuste seleccionado inicialmente no es válido.

D. Extensión a Confundidores Latentes

El método se extiende a escenarios con confundidores latentes, modelados mediante Grafos Mixtos Dirigidos Acíclicos (ADMG).

Si no existe un conjunto de ajuste válido (debido a caminos de confusión no bloqueables), el algoritmo detecta esto (el intervalo de confianza no cubre 0 para ningún subconjunto) y recurre automáticamente a la estimación puramente experimental para ese brazo, garantizando robustez.

3. Contribuciones Clave

Algoritmo sin conocimiento previo del grafo: BA-UCB no requiere el DAG conocido ni restricciones estructurales severas, operando eficazmente en dominios continuos gaussianos.
Integración de datos observacionales y experimentales: Propone un marco teórico y práctico para combinar ambos tipos de datos mediante ajuste de puerta trasera, reduciendo la varianza de los estimadores.
Límites de Regret (Arrepentimiento) Mejorados:
- Establecen límites superiores de regret acumulado en tiempo finito.
- Sin confundidores latentes: El regret es $O(\sqrt{T \log T / (m+n)})$ . Esto elimina la dependencia del número de brazos $K$ (típicamente $O(\sqrt{KT \log T})$ en MAB estándar), siempre que haya suficientes datos observacionales.
- Con confundidores latentes: El regret se descompone en términos para brazos identificables (que se benefician de datos observacionales) y no identificables (que dependen solo de datos experimentales).
Eficiencia Computacional: A diferencia de los métodos bayesianos que requieren sumar sobre todas las estructuras posibles de grafos, BA-UCB es escalable y eficiente computacionalmente.

4. Resultados Experimentales

Los autores realizaron simulaciones extensas comparando BA-UCB con:

UCB Estándar: Solo usa datos experimentales.
CN-UCB: Intenta reducir el espacio de acción a los padres de la recompensa (funciona bien en discretos, pero falla si la óptima no es un padre).
BBB-UCB: Enfoque bayesiano (muy costoso computacionalmente).

Hallazgos principales:

Menor Regret Acumulado: BA-UCB supera consistentemente a UCB y CN-UCB, especialmente en grafos grandes ( $p=20, 30, 50$ ). La ventaja aumenta con el tamaño del grafo debido a la "compartición de información" a través de datos observacionales.
Robustez ante Estructura Desconocida: A diferencia de CN-UCB, BA-UCB no falla catastróficamente cuando la intervención óptima no es un padre directo de la recompensa.
Escalabilidad: BA-UCB es computacionalmente viable para grafos grandes, mientras que BBB-UCB se vuelve inviable ( $O(p \cdot 3^p)$ ) para $p \ge 20$ .
Identificación de Conjuntos de Ajuste: Las simulaciones muestran que la tasa de identificación correcta de conjuntos de ajuste aumenta con el tiempo, convergiendo a niveles altos (>75%) cerca del final de la simulación.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre la teoría de bandidos causales y la práctica real, donde los grafos causales son desconocidos y los datos experimentales son costosos.

Eficiencia de Costo: Demuestra que los datos observacionales, aunque no son experimentales, pueden ser tan valiosos como los experimentales para reducir el regret, siempre que se utilicen correctamente mediante ajustes de puerta trasera.
Independencia de la Escala de Acciones: Al eliminar la dependencia del número de brazos $K$ en el término principal del regret, el algoritmo es ideal para sistemas con muchas variables potenciales de intervención.
Aplicabilidad: El enfoque es directamente aplicable en campos como la medicina (ensayos clínicos adaptativos), economía y ciencias sociales, donde se dispone de grandes bases de datos observacionales y se deben realizar intervenciones limitadas y costosas.

En resumen, BA-UCB ofrece un marco robusto, teóricamente garantizado y computacionalmente eficiente para la toma de decisiones secuenciales óptimas en sistemas causales complejos y parcialmente observados.