Learning to Decide with AI Assistance under Human-Alignment

Resumen Técnico: Aprendizaje para la Toma de Decisiones con Asistencia de IA bajo Alineación Humana

Formulación del Problema
Este artículo aborda el desafío de aprender políticas óptimas de toma de decisiones en dominios de alto riesgo donde los tomadores de decisiones humanos son asistidos por modelos de IA. El escenario se define mediante predicciones binarias y decisiones binarias. En cada interacción $t$, un tomador de decisiones observa un vector de características $(x, v)$, una predicción del clasificador $\hat{y}$ y la confianza del clasificador $b \in B$ (donde $B \subseteq [0, 1]$). El tomador de decisiones también posee una confianza personal $h \in H$ respecto a la etiqueta $y=1$, donde $H$ es un conjunto discreto finito y totalmente ordenado. El objetivo es aprender una política $\pi(h, b) \in \{0, 1\}$ que maximice la utilidad esperada $u(a, y)$, dado que la utilidad es mayor cuando la decisión $a$ coincide con la etiqueta verdadera $y$.

La dificultad central radica en la incapacidad del tomador de decisiones para modular eficazmente la confianza basándose únicamente en la confianza comunicada por la IA. Trabajos anteriores (Corvelo Benz y Gomez-Rodriguez, 2023, 2025) sugieren que el grado de "alineación" entre la confianza de la IA y la confianza humana impacta significativamente la utilidad de la toma de decisiones asistida por IA. Sin embargo, la medida en que esta alineación influye en la complejidad de aprender una política óptima a través de interacciones repetidas permaneció sin elucidar.

Metodología y Marco Teórico
Los autores enmarcan el problema de aprender a decidir con asistencia de IA como un problema de aprendizaje contextual en línea de dos brazos con retroalimentación completa.

• Contexto: El par de valores de confianza $(h_t, b_t)$.
• Brazos: Las decisiones binarias $a \in \{0, 1\}$.
• Retroalimentación: Está disponible retroalimentación completa porque, dada la etiqueta $y_t$, el tomador de decisiones puede calcular la utilidad para ambas acciones posibles.

El artículo establece una cota inferior para el arrepentimiento esperado de cualquier aprendiz en el caso general (sin asumir alineación) y luego analiza la complejidad bajo el supuesto de alineación perfecta. La alineación perfecta se define de tal manera que para cualquier $h < h'$ y $b < b'$, la probabilidad condicional $P(Y=1 | H=h, B=b)$ es no creciente con respecto a los niveles de confianza.

Contribuciones y Resultados Clave

1. Cota Inferior General:
   Los autores demuestran que, sin supuestos de alineación, el arrepentimiento esperado $E[R(T)]$ para cualquier aprendiz está acotado inferiormente por $\Omega(\sqrt{|H| \cdot |B| \cdot T})$. Esto indica que la complejidad del aprendizaje escala con el producto de los tamaños de los conjuntos de confianza humana y de la IA.

2. Reducción del Arrepentimiento bajo Alineación Perfecta:
   Bajo el supuesto de alineación perfecta, se demuestra que la política óptima $\pi^*$ es una función umbral sobre la confianza de la IA $b$, donde el umbral $b^*(h)$ depende de la confianza humana $h$.

   • Algoritmo: Los autores proponen un algoritmo de aprendizaje en línea (Algoritmo 1) que aprende estos umbrales. Trata el problema como $|H|$ problemas independientes de bandidos multi-brazo (uno para cada nivel de confianza humana), donde los "brazos" son los umbrales candidatos en $B$.
   • Cota de Arrepentimiento 1: Utilizando la desigualdad de Dvoretzky-Kiefer-Wolfowitz (DKW) para acotar los errores de estimación uniformemente a través de los umbrales, el algoritmo logra un arrepentimiento esperado de $O(\sqrt{|H| \cdot T \log T})$. Cabe destacar que esta cota es independiente del tamaño del conjunto de confianza de la IA $|B|$.
   • Cota de Arrepentimiento 2: Cuando $\sqrt{|H|} = O(\log T)$ y $B$ es numerable, los autores derivan una generalización no trivial de la desigualdad DKW para políticas umbral. Esto permite reformular el problema como el aprendizaje de una única función $\ell: H \to B$ en lugar de $|H|$ umbrales independientes. Esto mejora la cota de arrepentimiento a $O(\sqrt{T} \log T)$, eliminando la dependencia tanto de $|H|$ como de $|B|$.

3. Robustez ante Alineación Imperfecta:
   El artículo demuestra teóricamente que si la alineación perfecta no se cumple, el grado de desalineación (medido por el Error de Alineación Máximo, MAE) acota la brecha entre la utilidad de la política aprendida y la política óptima. Específicamente, la política aprendida es casi óptima, con la brecha de rendimiento escalando linealmente con el MAE.

Validación Experimental
Los hallazgos teóricos se validan utilizando datos reales de dos estudios con sujetos humanos:

• Conjunto de Datos de Alineación Humana (Corvelo Benz y Gomez-Rodriguez, 2025): Los participantes predijeron resultados en un juego de cartas con diversos grados de alineación de confianza entre IA y humano a través de diferentes grupos.
• Conjunto de Datos de Interacciones Humano-IA (Vodrahalli et al., 2022a): Los participantes realizaron tareas de clasificación binaria (Arte, Sarcasmo, Ciudades, Censo) con asistencia de IA.

Resultados:

• El algoritmo propuesto (Algoritmo 1) logró consistentemente un arrepentimiento promedio empírico menor en comparación con una línea base de aprendizaje contextual en línea estándar (Algoritmo 2) en todos los grupos y tareas, con la excepción de la tarea de 'Censo', donde se violó la monotonicidad.
• Los resultados confirman que incluso cuando la alineación perfecta no está estrictamente presente, el supuesto de alineación perfecta produce un mejor rendimiento que no hacer tal supuesto, siempre que se mantenga una noción más débil de alineación (monotonicidad de $P(Y=1|H, B)$ con respecto a $B$).

Significado
El artículo afirma que la alineación entre la confianza de la IA y la humana puede reducir fundamentalmente la complejidad de aprender a tomar decisiones con asistencia de IA. Al aprovechar las propiedades estructurales inducidas por la alineación (específicamente, la naturaleza umbral de la política óptima), los aprendices pueden lograr cotas de arrepentimiento significativamente más ajustadas que son independientes de la granularidad de la salida de confianza de la IA. Esto sugiere que diseñar sistemas de IA con métricas de confianza alineadas con la intuición humana no es meramente una característica de usabilidad, sino un mecanismo para acelerar el aprendizaje de políticas óptimas de toma de decisiones en interacciones repetidas.