What Do We Care About in Bandits with Noncompliance? BRACE: Bandits with Recommendations, Abstention, and Certified Effects

El artículo presenta BRACE, un algoritmo para problemas de banditos con incumplimiento que permite elegir entre optimizar el bienestar de las recomendaciones o el tratamiento, ofreciendo estimaciones de efectos estructurales certificados y válidos incluso en escenarios de identificación débil o heterogeneidad.

Lo esencial

Imagina que eres un chef (el algoritmo) que trabaja en un restaurante muy famoso, pero tienes una regla extraña: tú no sirves la comida directamente a los clientes. Tú solo escribes la recomendación en la tarjeta del pedido. Luego, un camarero (el paciente, el médico o el usuario final) toma esa tarjeta, la lee y decide si sigue tu consejo o si cambia el plato por algo que él cree que es mejor.

A veces el camarero te hace caso, a veces te ignora, y a veces usa información que tú no tienes (como "hoy el cliente no tiene hambre" o "este ingrediente le cae mal").

Este problema se llama "Bandits con Incumplimiento" (en inglés, Bandits with Noncompliance). La mayoría de los sistemas de inteligencia artificial asumen que cuando tú dices "haz X", el mundo hace "X". Pero en la vida real, eso rara vez sucede.

El artículo que presentas, BRACE, viene a decirnos algo muy importante: No podemos usar la misma brújula para todo. Depende de qué queramos lograr, necesitamos medir cosas diferentes.

Aquí te explico los tres objetivos principales usando analogías simples:

1. Los Tres Objetivos (¿Qué nos importa?)

Imagina que tienes tres tipos de jefes diferentes, y cada uno quiere algo distinto:

• El Jefe "Realista" (REC - Recomendación):

  • Su pregunta: "¿Qué pasa si seguimos mi recomendación tal como está hoy, con todos los camareros y sus caprichos?"
  • El objetivo: Maximizar la felicidad del cliente ahora mismo, tal como funciona el sistema actual.
  • La analogía: Si tú recomiendas "Pizza", pero el camarero sabe que al cliente le gusta más "Hamburguesa" y se la da, el Jefe Realista quiere saber si la combinación de tu recomendación + la decisión del camarero fue buena. No le importa si la pizza era teóricamente mejor; le importa que el cliente comió bien.

• El Jefe "Científico" (TRT - Tratamiento Estructural):

  • Su pregunta: "Si yo pudiera controlar todo el restaurante y obligar a todos a comer exactamente lo que yo elija, ¿qué plato sería el mejor?"
  • El objetivo: Aprender la verdad científica sobre qué tratamiento funciona mejor, ignorando a los camareros.
  • La analogía: Quiere saber si la "Pizza" es nutricionalmente superior a la "Hamburguesa", incluso si hoy nadie la pide porque el camarero es terco. Quiere un manual de instrucciones para el futuro, si algún día el restaurante cambia y el chef sirve la comida directamente.

• El Jefe "Seguro" (INF - Inferencia):

  • Su pregunta: "¿Estás 100% seguro de lo que dices? ¿O solo estás adivinando?"
  • El objetivo: Dar un rango de seguridad. Si no estamos seguros, es mejor decir "no sé" que dar una respuesta falsa.
  • La analogía: Es como un inspector de calidad. Si los datos son confusos, prefiere cerrar el restaurante un día a servir un plato envenenado por error.

2. El Problema: ¡No son lo mismo!

El gran descubrimiento del paper es que lo mejor para el Jefe Realista no siempre es lo mejor para el Jefe Científico.

• Ejemplo: Imagina que el camarero tiene un "superpoder": puede leer la mente del cliente.
  • Si tú recomiendas "Pizza", el camarero ve que el cliente quiere "Hamburguesa" y le da la hamburguesa. El cliente está feliz. (¡Excelente para el Jefe Realista!).
  • Pero si el Jefe Científico intenta aprender qué plato es mejor, se confunde porque ve que la gente pide hamburguesas cuando tú pedías pizza. No puede saber si la pizza era mala o si el camarero simplemente acertó.
  • Conclusión: A veces, la mejor estrategia es dejar que el camarero decida (Recomendación) en lugar de intentar forzar un plato específico (Tratamiento), porque el camarero tiene información privada que tú no tienes.

3. La Solución: BRACE (El Algoritmo Inteligente)

El algoritmo BRACE es como un chef muy prudente y matemático. No intenta adivinar a ciegas. Hace tres cosas geniales:

1. Prueba y explora: Al principio, prueba todas las opciones (pizzas, hamburguesas, ensaladas) de forma uniforme para ver qué pasa.
2. Certifica antes de actuar: Antes de decir "¡La Pizza es la mejor!", verifica matemáticamente que sus datos son lo suficientemente sólidos. Si los datos son confusos (por ejemplo, si el camarero es muy caprichoso), no se arriesga.
3. Elige su objetivo:
   • Si el dueño quiere mejorar el restaurante hoy, BRACE se enfoca en la Recomendación (REC).
   • Si el dueño quiere diseñar un nuevo restaurante para el futuro, BRACE se enfoca en el Tratamiento (TRT).
   • Si el dueño quiere seguridad, BRACE da intervalos de confianza (INF).

4. ¿Qué pasa si los datos son malos? (La "Abstención")

Imagina que estás intentando adivinar el clima, pero la ventana está empañada.

• Un algoritmo tonto diría: "¡Va a llover!" (y se equivoca).
• BRACE diría: "No puedo ver bien. Mejor no digo nada hasta que la ventana se limpie".

En el mundo de la inteligencia artificial, esto se llama abstención. Es mejor no tomar una decisión que tomar una decisión peligrosa basada en datos débiles. BRACE sabe cuándo "callarse" y cuándo actuar.

Resumen en una frase

Este paper nos enseña que en un mundo donde las personas (o máquinas) no siempre hacen lo que les decimos, no podemos usar una sola medida de éxito. A veces lo mejor es optimizar lo que funciona hoy con las limitaciones actuales, y a veces lo mejor es buscar la verdad científica para el futuro, pero nunca debemos mezclarlos sin saber qué estamos buscando. BRACE es la herramienta que nos ayuda a elegir el camino correcto y a no cometer errores cuando los datos son confusos.

Resumen técnico

Resumen Técnico: BRACE - Bandits con Recomendaciones, Abstención y Efectos Certificados

1. El Problema: Bandits con No Cumplimiento (Noncompliance)

El artículo aborda una limitación fundamental en los modelos clásicos de Multi-Armed Bandits (MAB): la suposición de que la acción elegida por el aprendiz (el algoritmo) es idéntica al tratamiento que realmente recibe el sujeto. En muchos escenarios del mundo real (medicina, sistemas de recomendación, políticas públicas), existe una separación entre:

• $Z$ (Recomendación/Instrumento): Lo que el algoritmo sugiere.
• $X$ (Tratamiento Realizado): Lo que el sujeto finalmente recibe, determinado por su comportamiento de cumplimiento (compliance), que puede ser influenciado por factores privados (ej. un médico que ignora la sugerencia del algoritmo o un paciente que rechaza el tratamiento).

Esta separación crea un dilema de elección de objetivo que el artículo formaliza como tres metas distintas que no necesariamente coinciden:

1. Bienestar Operacional de la Recomendación (REC): Maximizar el resultado real en el flujo de trabajo actual, donde las recomendaciones pueden ser modificadas por agentes humanos o fricciones del sistema.
2. Bienestar Estructural del Tratamiento (TRT): Aprender la regla de tratamiento óptima para un régimen futuro de control directo (donde el algoritmo tendría control total sobre $X$).
3. Inferencia Científica (INF): Proporcionar intervalos de confianza válidos en cualquier momento (anytime-valid) para los objetivos anteriores bajo muestreo adaptativo.

Hallazgo Clave: En regímenes mediados (donde hay no cumplimiento), la política de recomendación óptima (REC) puede tener un valor estrictamente superior a cualquier política de tratamiento directo (TRT) medible por el aprendiz, especialmente si los agentes downstream utilizan información privada legítima para decidir. Por lo tanto, tratar REC y TRT como intercambiables es un error metodológico.

2. Metodología: El Algoritmo BRACE

Para abordar este problema en contextos finitos (espacio de contextos $\mathcal{W}$ finito), el autor propone BRACE (Bandits with Recommendations, Abstention, and Certified Effects).

Características Principales:

• Sin Parámetros (Parameter-free): No requiere ajuste fino de hiperparámetros de exploración.
• Doblado de Fases (Phase Doubling): El algoritmo opera en fases $r = 0, 1, 2, \dots$ donde la duración de la fase $r$ es $t_r = 2^r$.
• Exploración Uniforme: Durante la fase de exploración, se seleccionan las recomendaciones $Z_t$ uniformemente al azar.
• Certificación de Matrices (Matrix Certification): Este es el núcleo de la seguridad del algoritmo. Para estimar el efecto estructural (TRT), BRACE debe invertir la matriz de cumplimiento $P(w)$ (donde $P(w)_{zx} = P(X=x|Z=z, W=w)$).
  • El algoritmo verifica si la estimación empírica $\hat{P}_r(w)$ es invertible y si su inversa es estable.
  • Si la condición de certificación se cumple (norma de la inversa multiplicada por el radio de confianza es pequeña), se realiza la inversión para obtener estimaciones estructurales.
  • Si no se cumple la certificación: El algoritmo abstiene de hacer una afirmación estructural y devuelve intervalos de confianza de rango completo (honestos pero amplios), evitando así la propagación de errores por inversión inestable (problema de identificación débil).

Mecanismos de Decisión:

• Para REC: Utiliza intervalos locales basados en medias operacionales. Si un policy $\pi$ se separa estadísticamente de los demás, se compromete a esa recomendación.
• Para TRT: Solo se compromete a una política de tratamiento si la certificación de la matriz se ha logrado y la separación es clara.
• Para INF: Mantiene secuencias de confianza válidas simultáneamente para todas las políticas sin comprometerse a ninguna.

3. Contribuciones Clave

1. Formalización de la Elección de Objetivo: El paper demuestra teóricamente que REC y TRT son objetivos distintos. Proporciona un contraejemplo donde la mejor política de recomendación supera estrictamente a cualquier política de tratamiento directo medible, validando la necesidad de elegir el objetivo antes de diseñar el algoritmo.
2. Algoritmo BRACE: Propone un algoritmo que logra identificación estructural segura bajo identificación débil (Weak-ID) mediante la abstención controlada y la certificación de matrices, sin necesidad de parámetros ajustados.
3. Garantías Teóricas Simultáneas: En contextos finitos, demuestra:
   • Validez simultánea de los valores de la política (policy-value validity).
   • Identificación de la política óptima operativa (REC) con un hueco fijo.
   • Identificación de la política óptima estructural (TRT) bajo homogeneidad e invertibilidad.
4. Benchmark Empírico Exhaustivo: Presenta un conjunto de pruebas que cubren desde la equivalencia de control directo hasta casos de identificación débil, fallo de homogeneidad y sobre-identificación rectangular.
5. Extensión a Contextos Ricos (Semiparamétricos): Deriva una puntuación ortogonal (orthogonal score) para contextos continuos. Muestra que el sesgo condicional se factoriza en el producto del error del modelo de cumplimiento y el error del modelo de resultados, aclarando qué debe estabilizarse para una inferencia válida.

4. Resultados Empíricos

El estudio empírico valida la teoría a través de 11 entornos diseñados específicamente:

• Equivalencia de Control Directo: Cuando $Z=X$, REC y TRT coinciden, y los algoritmos clásicos funcionan bien.
• Ventaja de Señal Privada: Confirma que en presencia de información privada no observable, la política REC puede ser óptima (valor 1.0) mientras que cualquier política TRT medible es subóptima (valor 0.5).
• Identificación Débil (Weak-ID): En escenarios donde la matriz de cumplimiento es casi singular, los algoritmos inseguros (baselines) actúan basándose en ruido y cometen errores graves. BRACE, en cambio, abstiene (no despliega política) o devuelve intervalos amplios, protegiendo contra decisiones erróneas.
• Fallo de Homogeneidad: Cuando la suposición de homogeneidad estructural falla, las estimaciones puntuales de TRT son poco fiables. BRACE reconoce esto y sugiere que REC sigue siendo un objetivo viable y coherente, mientras que TRT debe ser tratado con escepticismo.
• Sobrecarga Rectangular (Rectangular Overidentification): El uso de instrumentos adicionales (más recomendaciones que tratamientos) permite "rescatar" la identificación estructural en casos donde la configuración cuadrada fallaría, reduciendo significativamente la incertidumbre.

5. Significado e Impacto

El artículo ofrece un cambio de paradigma en el aprendizaje por refuerzo y la experimentación adaptativa:

1. Desacoplamiento de Objetivos: Rompe con la norma histórica de priorizar el "tratamiento" por defecto. Argumenta que en sistemas mediados (donde el humano interviene), optimizar la recomendación (REC) puede ser más ético y efectivo que intentar aprender un tratamiento ideal que nunca se implementará tal cual.
2. Seguridad en la Inferencia: Introduce la abstención como una característica de diseño necesaria. En lugar de forzar una estimación inestable bajo identificación débil, es preferible admitir incertidumbre. Esto es crucial para aplicaciones de alto riesgo como la medicina.
3. Guía para el Diseño de Experimentos: Proporciona un marco para que los investigadores decidan si su objetivo es mejorar el flujo de trabajo actual (REC) o rediseñar el sistema para un control directo futuro (TRT).
4. Validación de la Inversión de IV: Demuestra que la inversión de matrices de instrumentos (IV) en entornos adaptativos requiere mecanismos de certificación para evitar el colapso de la varianza y el sesgo.

En resumen, BRACE no es solo un algoritmo más eficiente, sino una herramienta que formaliza la distinción entre "lo que funciona en la práctica actual" y "lo que funcionaría en un futuro ideal", permitiendo a los sistemas de aprendizaje adaptativo operar con seguridad y claridad conceptual en entornos complejos y no controlados.