Resumo Técnico: Detecção de Performatividade de Resultado Usando Testes de Intervenção

Definição do Problema

Em muitos domínios críticos, como Cuidados Paliativos, Atribuição de Crédito e Sistemas de Recomendação, as previsões geradas por modelos de Aprendizado de Máquina (ML) podem influenciar causalmente os resultados que pretendem prever. Este fenômeno, conhecido como Performatividade de Resultado, ocorre quando o resultado realizado $Y$ de uma instância $X$ depende não apenas das características $X$, mas também da previsão $\hat{Y}$ atribuída a essa instância. Por exemplo, atribuir taxas de juros altas para devedores de alto risco pode aumentar a probabilidade de inadimplência, ou atribuir cuidados paliativos em vez de cuidados curativos pode influenciar a sobrevivência de um paciente.

Embora a pesquisa existente sobre Predição Performativa assuma que a presença de tais loops de feedback é conhecida a priori, este artigo aborda a lacuna na detecção da Performatividade de Resultado, particularmente em cenários offline (durante a coleta de dados ou antes da implantação do modelo). A performatividade não detectada pode levar a modelos que exacerbam o viés ou sofrem de declínio de desempenho. Métodos online existentes para identificar esses efeitos existem, mas há um trabalho limitado na identificação deles offline, o que é crucial por razões éticas e financeiras antes que um modelo seja implantado.

Metodologia: Detecção A/B de Performatividade de Resultado (OPAB)

Os autores propõem a Detecção A/B de Performatividade de Resultado (OPAB), um método de teste de intervenção offline inspirado em Ensaios Clínicos Randomizados (RCTs) e testes A/B.

Mecanismo Central

O teste de hipótese padrão comparando distribuições de resultados condicionadas às previsões de um classificador ($P(Y|\hat{Y}=0)$ vs. $P(Y|\hat{Y}=1)$) é insuficiente porque as próprias previsões $\hat{Y}$ dependem das características $X$, criando variáveis de confusão. Para quebrar essa dependência, o OPAB realiza uma intervenção do tipo do-calculus (do-intervention) nas previsões.

1. Atribuição Aleatória: Em vez de usar um preditor treinado $\phi(X)$, o OPAB atribui aleatoriamente previsões $\hat{y} \in \{0, 1\}$ a instâncias $X$ com probabilidade igual (Bernoulli(0.5)). Isso desacopla $\hat{Y}$ de $X$.
2. Observação: O sistema observa os resultados $Y$ resultantes para essas previsões atribuídas aleatoriamente.
3. Teste de Hipótese: O OPAB testa estatisticamente a dissimilaridade entre as distribuições de resultados dos dois grupos de intervenção:
   $$H(P(Y | \text{do}(\hat{Y}=0)), P(Y | \text{do}(\hat{Y}=1))) \leq \delta$$
   Se as distribuições forem significativamente diferentes (onde $H$ é um teste como Qui-Quadrado ou Exato de Fisher, e $\delta$ é o limiar de significância), a Performatividade de Resultado é detectada.

Classes de Suposição

O artigo deriva limites de complexidade de amostragem (o número mínimo de intervenções $N$ necessário) sob três classes distintas de suposições de Performatividade de Resultado:

1. Performatividade de Resultado Simples: A probabilidade do resultado depende apenas da previsão $\hat{y}$, abstraindo o espaço de características $X$.
2. Performatividade de Resultado Baseada em Modelo: O resultado depende da posição da instância no espaço de características e da previsão, modelado como um deslocamento linear no espaço de características baseado em pesos de previsão.
3. Performatividade de Resultado Baseada em Erro de Classificação: A Performatividade de Resultado ocorre apenas quando a previsão $\hat{y}$ não coincide com um resultado "desejável" $\bar{y}$. A probabilidade de o resultado desejado ser realizado apesar da classificação incorreta é governada pelos parâmetros $\gamma_0$ e $\gamma_1$.

Principais Contribuições

1. Formalização da Detecção Offline: O artigo formaliza o uso de testes de intervenção (OPAB) para detectar a Performatividade de Resultado antes da implantação do modelo, contrastando com métodos que exigem um modelo implantado para observar loops de feedback.
2. Limites de Complexidade de Amostragem: Os autores derivam limites teóricos para o número de amostras ($N$) necessários para detectar a Performatividade de Resultado para as três classes de suposições. Esses limites revelam que a detecção torna-se cada vez mais difícil (exigindo $N \to \infty$) à medida que a diferença na resposta performativa entre os grupos de previsão se aproxima de zero.
3. Regiões de Indistinguibilidade: Um conceito chave introduzido é a "região de indistinguibilidade". Estas são configurações de parâmetros onde o número alocado de intervenções é insuficiente para detectar a Performatividade de Resultado de forma confiável. Isso destaca limitações práticas em cenários onde as amostras são escassas, caras ou eticamente restritas.
4. Validação Empírica: O método é validado em dados sintéticos imputados com performatividade em seis conjuntos de dados de classificação binária do mundo real (Câncer de Mama, Diabetes, Adult Census, Kickstarter, Titanic, Loan) e um estudo de caso real no Open Bandits Dataset (OBD).

Resultados

• Eficácia de Detecção: O OPAB detecta com sucesso a Performatividade de Resultado em vários cenários. As taxas de detecção aumentam com o número de intervenções ($N$).
• Indistinguibilidade: Os experimentos confirmam a existência de regiões de indistinguibilidade. Por exemplo, na Performatividade de Resultado Simples, se os parâmetros de resposta performativa $\alpha_0$ e $\alpha_1$ forem quase idênticos, mesmo grandes tamanhos de amostra ($N=10.000$) falham em detectar a performatividade.
• Especificidades dos Conjuntos de Dados:
  • No Open Bandits Dataset, o OPAB detectou a Performatividade de Resultado no subconjunto "homens" (onde o posicionamento do item influenciou os cliques), mas não no subconjunto "mulheres".
  • Desequilíbrio de Classes: Os resultados indicam que o desequilíbrio de classes impacta significativamente a detecção. Conjuntos de dados equilibrados permitem uma detecção mais eficiente, enquanto conjuntos de dados altamente desequilibrados (ex: as taxas de clique do OBD) requerem exponencialmente mais amostras para detectar efeitos sutis.
• Comparação com Métodos Online: Uma comparação com um método de detecção online (Detecção Adam, baseada no monitoramento de mudanças na Taxa de Verdadeiros Positivos) mostra que o OPAB alcança taxas de detecção mais altas e consistentes usando apenas 10% das amostras necessárias pelo método online. O OPAB também é imune a problemas de concept drift que afetam métodos online.

Significância e Alegações

O artigo afirma que o OPAB fornece uma ferramenta prática e eficiente em termos de amostras para que profissionais identifiquem a Performatividade de Resultado antes de implantar modelos, potencialmente prevenindo a implantação de sistemas que inadvertidamente prejudicam resultados ou reforçam o viés.

A derivação dos limites de complexidade de amostragem oferece um insight crítico: existem configurações onde detectar a Performatividade de Resultado é praticamente inviável devido ao número proibitivo de intervenções necessárias. Isso tem implicações significativas para domínios de alto risco (como saúde) onde o teste de intervenção pode ser antiético ou caro demais. Nesses casos, se um cenário cair dentro de uma "região de indistinguibilidade", os profissionais podem precisar confiar em métodos não intervencionais (que são notados por serem menos eficientes em termos de amostra) ou aceitar o risco de uma performatividade não detectada.

Os autores concluem que, embora o OPAB seja eficaz, ele depende da suposição de uniformidade através do espaço de características e não considera latência de verificação ou rótulos ruidosos. Trabalhos futuros visam abordar essas limitações.