Resumo Técnico: Como um Tomador de Decisão Bayesiano Aprende com o Suporte à Decisão por IA

Declaração do Problema

Sistemas de Suporte à Decisão por Aprendizado de Máquina (ML-DS) são cada vez mais implantados em domínios de alto risco, como saúde e o judiciário, para auxiliar agentes humanos. Embora esses sistemas forneçam previsões baseadas em dados históricos, o mecanismo pelo qual agentes humanos racionais incorporam essas previsões em seus processos de tomada de decisão permanece pouco compreendido. Especificamente, há uma falta de estruturas quantitativas que descrevam como um agente atualiza suas crenças sobre uma população e os mecanismos causais subjacentes (ex: efeitos de tratamento) após observar uma previsão de ML.

Existe uma lacuna crítica na compreensão de como as crenças a priori de um agente em relação ao processo gerador de dados e aos dados de treinamento do modelo de ML influenciam a utilidade do ML-DS. Conforme ilustrado pelos exemplos motivadores do artigo, previsões de ML idênticas podem levar a ações diametralmente opostas dependendo de se o agente acredita que os dados de treinamento consistiam de pacientes tratados ou não tratados. Além disso, não está claro se uma crença a priori desalinhada pode fazer com que um agente racional tome decisões subótimas mesmo quando o modelo de ML é bem especificado.

Metodologia: O Framework do Agente de 2 Etapas

Os autores propõem um framework computacional geral, o Agente de 2 Etapas, para modelar a interação entre um agente bayesiano e um sistema de ML-DS. O framework consiste em duas fases distintas:

1. Atualização de Crença Bayesiana (Etapa 1)

O agente não observa os dados de treinamento brutos, mas recebe uma previsão ($Pred_o$) para uma nova observação ($X_o$) de um modelo treinado em dados históricos ($D_{Hist}$).

• Modelo de Mundo do Agente ($A_{Hist}$): O agente mantém um modelo probabilístico do mundo que inclui crenças sobre as distribuições de nível populacional (covariáveis, ruído de tratamento, ruído de desfecho) e o mecanismo causal (efeito de tratamento). Crucialmente, este modelo também codifica crenças sobre o processo de treinamento do modelo de ML, incluindo o tamanho do conjunto de treinamento e a classe do modelo.
• Inferência: Ao observar $X_o$ e $Pred_o$, o agente realiza uma atualização bayesiana. A previsão é tratada como informação comprimida sobre as variáveis latentes dos dados de treinamento. O agente infere a distribuição posterior sobre os parâmetros de nível populacional (especificamente o ruído do efeito de tratamento $N_E$ e os parâmetros da política histórica) raciocinando através da "placa" de variáveis de treinamento intercambiáveis.
• Solução de Tractabilidade: Os autores abordam a intratabilidade computacional de propagar a inferência através de uma grande placa de variáveis intercambiáveis. Para um cenário Gaussiano linear, eles provam (Teorema 2.8) que a verossimilhança dos parâmetros do modelo de ML pode ser reduzida a uma função de variáveis de nível populacional e um pequeno conjunto de estatísticas suficientes (especificamente $O(k^2)$ estatísticas para $k$ confundidores). Esta redução permite a amostragem eficiente da posterior sem simular todo o conjunto de dados históricos.

2. Inferência Causal e Decisão (Etapa 2)

Usando as crenças posteriores atualizadas da Etapa 1, o agente estima o Efeito Médio do Tratamento Condicional (CATE) para o novo paciente.

• Modelo de Inferência ($A_{Inf}$): O agente extrai amostras da distribuição posterior dos parâmetros do modelo causal estrutural (SCM).
• Regra de Decisão: O agente calcula o CATE esperado através da distribuição de possíveis SCMs. Se o benefício esperado de um tratamento específico exceder um limiar $\tau$, o agente seleciona esse tratamento; caso contrário, seleciona a alternativa.

O framework quantifica o impacto do ML-DS comparando os desfechos subsequentes ($Y$) de agentes com e sem suporte à decisão, definidos como $E_{Hist}(Y | do(A = ML\text{-}DS)) - E_{Hist}(Y | do(A = no\ ML\text{-}DS))$.

Configuração Experimental

Os autores implementaram o framework usando PyMC para simular um caso de uso clínico:

• Cenário: Um cenário de regressão univariada onde o peso corporal de um paciente ($X$) influencia a dosagem de quimioterapia ($A$) e os meses de sobrevivência ($Y$).
• Agentes: Agentes simulados com priors "corretos" (correspondentes ao processo gerador de dados real) e agentes com priors desalinhados (desvios sistemáticos nas crenças sobre o efeito de tratamento, a política de tratamento histórica ou a distribuição de covariáveis).
• Comparação: O estudo compara os resultados para agentes que utilizam ML-DS (série laranja) versus agentes que dependem apenas de seus priors (série azul) através de graus variados de desalinhamento de prior.

Principais Resultados

1. Aprendizado de ML-DS: Quando a crença a priori de um agente em relação ao efeito de tratamento ($N_E$) está desalinhada, mas todas as outras crenças estão corretas, o agente consegue aprender com a previsão de ML. A atualização bayesiana corrige a crença, levando a estimativas de CATE aprimoradas e melhores desfechos subsequentes em comparação com não usar o ML-DS.
2. O Perigo dos Priors Desalinhados: O artigo demonstra que um único prior desalinhado é suficiente para degradar o desempenho do ML-DS.
   • Se o agente possui crenças incorretas sobre a política de tratamento histórica ($\alpha_{A\mu}$), a interação com o ML-DS pode levar a estimativas errôneas de CATE. O agente tenta reconciliar a previsão de ML com seu prior incorreto, resultando em escolhas de tratamento subótimas e desfechos piores do que se tivessem ignorado o suporte de ML.
   • Efeitos negativos semelhantes foram observados quando os agentes possuíam priors desalinhados em relação à distribuição de covariáveis ($\alpha_{X\mu}$) ou à distribuição de desfecho ($\alpha_{Y\mu}$).
3. Correlação de Posterior: O processo de aprendizado se manifesta como uma correlação nas crenças posteriores do agente. Quando uma previsão contradiz as expectativas, o agente considera múltiplas hipóteses (ex: o tratamento é menos eficaz do que se pensava, OU as dosagens históricas foram maiores do que o assumido), criando uma dependência entre o efeito de tratamento inferido e a política histórica inferida.

Significância e Alegações

O artigo afirma fornecer o primeiro framework explícito para decompor a interação entre um agente bayesiano e o ML-DS, especificamente modelando como um agente aprende sobre o processo gerador de dados a partir de uma previsão de ML.

• Contribuição Teórica: A derivação de uma solução tratável para a inferência bayesiana através de variáveis de treinamento intercambiáveis (Teorema 2.8) permite a simulação de dinâmicas de aprendizado que eram anteriormente computacionalmente proibitivas.
• Contribuição Empírica: O estudo fornece evidências quantitativas de que o ML-DS pode fazer mais mal do que bem mesmo sob condições ideais (onde o modelo é bem especificado e o agente é perfeitamente racional). O determinante primário do sucesso é o alinhamento das crenças a priori do agente com a realidade dos dados de treinamento.
• Implicação Prática: Os achados ressaltam a importância crítica de fornecer documentação abrangente dos dados de treinamento e protocolos para os usuários de ML-DS. Sem o devido alinhamento de priors (ex: através de treinamento ou documentação), a introdução de suporte por IA pode levar a desfechos subsequentes prejudiciais.

Os autores observam que seus resultados são generalizáveis para qualquer campo que empregue modelos de previsão para suporte à decisão, embora a implementação atual seja limitada a modelos lineares e não-tratados e interações de etapa única. Trabalhos futuros são identificados como necessários para explorar modelos de ML causais, efeitos de tratamento heterogêneos e interações repetidas.