Learning to Decide with AI Assistance under Human-Alignment

Resumo Técnico: Aprendizado para Decidir com Assistência de IA sob Alinhamento Humano

Formulação do Problema
Este artigo aborda o desafio de aprender políticas de decisão ótimas em domínios de alto risco onde decisores humanos são assistidos por modelos de IA. O cenário é definido por previsões binárias e decisões binárias. Em cada interação $t$, um decisor observa um vetor de características $(x, v)$, uma previsão do classificador $\hat{y}$ e a confiança do classificador $b \in B$ (onde $B \subseteq [0, 1]$). O decisor também possui uma confiança pessoal $h \in H$ em relação ao rótulo $y=1$, onde $H$ é um conjunto discreto finito e totalmente ordenado. O objetivo é aprender uma política $\pi(h, b) \in \{0, 1\}$ que maximize a utilidade esperada $u(a, y)$, dado que a utilidade é maior quando a decisão $a$ coincide com o rótulo verdadeiro $y$.

A dificuldade central reside na incapacidade do decisor de modular efetivamente a confiança com base apenas na confiança comunicada pela IA. Trabalhos anteriores (Corvelo Benz e Gomez-Rodriguez, 2023, 2025) sugerem que o grau de "alinhamento" entre a confiança da IA e a confiança humana impacta significativamente a utilidade da tomada de decisão assistida por IA. No entanto, a extensão na qual esse alinhamento influencia a complexidade de aprender uma política ótima por meio de interações repetidas permanecia não elucidada.

Metodologia e Estrutura Teórica
Os autores enquadram o problema de aprender a decidir com assistência de IA como um problema de aprendizado contextual online de dois braços com feedback completo.

• Contexto: O par de valores de confiança $(h_t, b_t)$.
• Braços: As decisões binárias $a \in \{0, 1\}$.
• Feedback: O feedback completo está disponível porque, dado o rótulo $y_t$, o decisor pode calcular a utilidade para ambas as ações possíveis.

O artigo estabelece um limite inferior para o arrependimento esperado para qualquer aprendiz no caso geral (sem assumir alinhamento) e, em seguida, analisa a complexidade sob a suposição de alinhamento perfeito. O alinhamento perfeito é definido de modo que, para qualquer $h < h'$ e $b < b'$, a probabilidade condicional $P(Y=1 | H=h, B=b)$ seja não crescente em relação aos níveis de confiança.

Principais Contribuições e Resultados

1. Limite Inferior Geral:
   Os autores provam que, sem suposições de alinhamento, o arrependimento esperado $E[R(T)]$ para qualquer aprendiz é limitado inferiormente por $\Omega(\sqrt{|H| \cdot |B| \cdot T})$. Isso indica que a complexidade do aprendizado escala com o produto dos tamanhos dos conjuntos de confiança humana e da IA.

2. Redução do Arrependimento sob Alinhamento Perfeito:
   Sob a suposição de alinhamento perfeito, mostra-se que a política ótima $\pi^*$ é uma função de limiar sobre a confiança da IA $b$, onde o limiar $b^*(h)$ depende da confiança humana $h$.

   • Algoritmo: Os autores propõem um algoritmo de aprendizado online (Algoritmo 1) que aprende esses limiares. Ele trata o problema como $|H|$ problemas independentes de bandit multibraço (um para cada nível de confiança humana), onde os "braços" são os limiares candidatos em $B$.
   • Limite de Arrependimento 1: Usando a desigualdade de Dvoretzky-Kiefer-Wolfowitz (DKW) para limitar uniformemente os erros de estimativa através dos limiares, o algoritmo atinge um arrependimento esperado de $O(\sqrt{|H| \cdot T \log T})$. Notavelmente, este limite é independente do tamanho do conjunto de confiança da IA $|B|$.
   • Limite de Arrependimento 2: Quando $\sqrt{|H|} = O(\log T)$ e $B$ é enumerável, os autores derivam uma generalização não trivial da desigualdade DKW para políticas de limiar. Isso permite reformular o problema como o aprendizado de uma única função $\ell: H \to B$ em vez de $|H|$ limiares independentes. Isso melhora o limite de arrependimento para $O(\sqrt{T} \log T)$, removendo a dependência tanto de $|H|$ quanto de $|B|$.

3. Robustez a Alinhamento Imperfeito:
   O artigo demonstra teoricamente que, se o alinhamento perfeito não se mantiver, o grau de desalinhamento (medido pelo Erro Máximo de Alinhamento, MAE) limita a lacuna entre a utilidade da política aprendida e a política ótima. Especificamente, a política aprendida é quase ótima, com a lacuna de desempenho escalando linearmente com o MAE.

Validação Experimental
As descobertas teóricas são validadas usando dados reais de dois estudos com sujeitos humanos:

• Conjunto de Dados de Alinhamento Humano (Corvelo Benz e Gomez-Rodriguez, 2025): Participantes previram resultados em um jogo de cartas com diferentes graus de alinhamento de confiança entre IA e humano em diferentes grupos.
• Conjunto de Dados de Interações Humano-IA (Vodrahalli et al., 2022a): Participantes realizaram tarefas de classificação binária (Arte, Sarcasmo, Cidades, Censo) com assistência de IA.

Resultados:

• O algoritmo proposto (Algoritmo 1) atingiu consistentemente um arrependimento médio empírico menor em comparação com uma linha de base de aprendizado contextual online padrão (Algoritmo 2) em todos os grupos e tarefas, com exceção da tarefa 'Censo', onde a monotonicidade foi violada.
• Os resultados confirmam que, mesmo quando o alinhamento perfeito não está estritamente presente, a suposição de alinhamento perfeito produz melhor desempenho do que não fazer tal suposição, desde que uma noção mais fraca de alinhamento (monotonicidade de $P(Y=1|H, B)$ em relação a $B$) se mantenha.

Significância
O artigo afirma que o alinhamento entre a confiança da IA e a confiança humana pode reduzir fundamentalmente a complexidade de aprender a tomar decisões com assistência de IA. Ao aproveitar as propriedades estruturais induzidas pelo alinhamento (especificamente, a natureza de limiar da política ótima), os aprendizes podem atingir limites de arrependimento significativamente mais apertados que são independentes da granularidade da saída de confiança da IA. Isso sugere que projetar sistemas de IA com métricas de confiança alinhadas à intuição humana não é meramente um recurso de usabilidade, mas um mecanismo para acelerar o aprendizado de políticas de decisão ótimas em interações repetidas.