Resumo Técnico: Incerteza Desigual: Repensando Intervenções Algorítmicas para Mitigar a Discriminação em IA

1. Declaração do Problema

O artigo aborda os riscos jurídicos e éticos associados à incerteza preditiva em sistemas de Inteligência Artificial (IA) utilizados para tomadas de decisão de alto risco (ex.: crédito ao consumidor e justiça criminal). Embora modelos de aprendizado de máquina (ML) frequentemente exibam desempenho agregado semelhante, a incerteza preditiva é frequentemente distribuída de forma desigual entre grupos demográficos, estando muitas vezes concentrada em populações sub-representadas devido à escassez de dados ou viés histórico.

O problema central é como gerir essa incerteza sem exacerbar a discriminação. Os autores analisam duas intervenções algorítmicas comuns projetadas para atuar como "salvaguardas" para a interação humano-IA:

1. Abstenção Seletiva: Retenção das previsões do modelo dos decisores humanos quando a incerteza excede um determinado limiar, forçando uma decisão baseada exclusivamente no julgamento humano não auxiliado.
2. Fricção Seletiva: Apresentação da previsão do modelo ao decisor humano, mas acompanhada de um alerta (ex.: uma "bandeira amarela") quando a incerteza é alta, promovendo a reflexão sem remover a previsão.

O artigo argumenta que, embora essas intervenções visem mitigar erros, elas podem inadvertidamente gerar discriminação ilícita sob a lei do Reino Unido (UK), particularmente ao criar assimetrias procedimentais onde grupos sub-representados são desproporcionalmente sujeitos ao julgamento humano não auxiliado ou a sobreposições (overrides) enviesadas.

2. Metodologia

Os autores empregam uma metodologia híbrida combinando definições técnicas formais com análise doutrinária jurídica e aplicação de estudos de caso.

2.1 Definições Formais e Pressupostos

• Tarefa: Classificação binária ($\hat{y} \in \{0, 1\}$) onde um modelo $f$ prevê rótulos para entradas $x$.
• Métrica de Incerteza: Os autores utilizam a entropia de Shannon ($H(\hat{p})$) para quantificar a incerteza preditiva, onde $\hat{p}$ é a probabilidade prevista pelo modelo. A entropia é 0 para previsões certas e 1 para incerteza máxima ($\hat{p}=0.5$).
• Limiar de Intervenção: Um limiar $\tau$ é definido de modo que, se $H(\hat{y}) \geq \tau$, uma intervenção é acionada.
• Pressuposto de Calibração: Assume-se que o modelo é bem calibrado ao nível populacional, mas potencialmente mal calibrado dentro de subgrupos demográficos específicos (falha de calibração intra-grupo). Isso leva a diferenças sistemáticas nos valores de entropia entre grupos.
• Decisor Humano: Modelado como uma função $r(x)$ (não auxiliada) ou $r(x; f(x))$ (auxiliada). O artigo assume que os decisores podem exibir vieses cognitivos, como o viés de automação (excesso de confiança) ou sobreposições inadequadas.

2.2 Estudos de Caso

As intervenções são aplicadas a dois domínios específicos para analisar as consequências para os grupos afetados:

1. Crédito ao Consumidor: Previsão de risco de incumprimento de empréstimo. O estudo examina como a abstenção ou a fricção afeta as taxas de aprovação/rejeição de empréstimos e os tempos de processamento para grupos sub-representados.
2. Risco de Reincidência: Previsão da probabilidade de reincidência criminal na justiça criminal. O estudo analisa os resultados de sentenças (estritas vs. leves) e o impacto do Dever de Igualdade do Setor Público (PSED).

2.3 Estrutura Jurídica

A análise fundamenta-se na lei do Reino Unido, especificamente:

• O Equality Act 2010: Analisando discriminação direta e indireta, focando em se as intervenções constituem uma "Provisão, Critério ou Prática" (PCP) que coloca grupos protegidos em desvantagem particular.
• Dever de Igualdade do Setor Público (PSED): Obrigações da seção 149 para autoridades públicas.
• Lei de Proteção de Dados: O UK GDPR e a recém-proposta Data (Use and Access) Act 2025 (DUAA), especificamente em relação ao "envolvimento humano significativo" e à tomada de decisão exclusivamente automatizada.

3. Principais Contribuições

O artigo apresenta duas contribuições principais:

1. Análise Jurídica Doutrinária: Fornece a primeira análise doutrinária de intervenções algorítmicas baseadas em incerteza sob a lei do Reino Unido. Demonstra que limiares de incerteza formalmente neutros podem gerar efeitos discriminatórios, particularmente sob o quadro de discriminação indireta.
2. Avaliação Comparativa de Intervenções: Argumenta que a fricção seletiva é juridicamente preferível à abstenção seletiva. Embora ambas carreguem riscos, a fricção preserva o acesso à previsão do modelo e tem maior probabilidade de satisfazer o teste de proporcionalidade exigido pelo Equality Act 2010.

4. Resultados e Análise

4.1 Análise da Abstenção Seletiva

• Mecanismo: Quando a incerteza é alta, a previsão do modelo é ocultada e o humano toma uma decisão sem assistência de IA.
• Risco Discriminatório: Como os grupos sub-representados frequentemente apresentam maior incerteza preditiva (devido ao viés de dados), eles são desproporcionalmente desviados para trilhas de decisão "não auxiliadas".
• Conclusão Jurídica: Isso cria uma assimetria procedimental. Candidatos de grupos protegidos enfrentam tempos de processamento mais longos e a variabilidade do julgamento humano individual, enquanto outros recebem decisões padronizadas assistidas por IA. Os autores argumentam que isso constitui discriminação indireta sob o Equality Act 2010. É difícil justificar como "proporcional", pois existem alternativas menos discriminatórias (como recalibração ou fricção) que não descartam a informação do modelo.
• Resultado: A abstenção não remove o risco de discriminação; ela desloca o ônus da incerteza para grupos específicos.

4.2 Análise da Fricção Seletiva

• Mecanismo: A previsão do modelo é sempre exibida, mas as previsões de alta incerteza são acompanhadas por um sinal de alerta.
• Risco Discriminatório: O risco reside na forma como os humanos interpretam o alerta. Se os decisores (ex.: agentes de crédito ou juízes) sistematicamente sobrepõem previsões incertas de uma forma que correlacione com características protegidas (ex.: negar empréstimos a candidatos sinalizados de grupos minoritários), ocorre a discriminação.
• Conclusão Jurídica: A fricção seletiva tem menor probabilidade de ser considerada ilícita do que a abstenção. Ela preserva a natureza da decisão "assistida por IA", evitando o sistema de duas vias. Tem maior probabilidade de satisfazer o requisito de proporcionalidade porque é um meio menos restritivo de alcançar o objetivo legítimo de redução de erro. No entanto, sua licitude depende de evidências empíricas de que não piora sistematicamente os resultados para grupos protegidos na prática.
• Envolvimento Humano: Sob a proposta DUAA 2025, a fricção pode satisfazer o requisito de "envolvimento humano significativo", potencialmente isentando decisões de salvaguardas mais rigorosas de tomada de decisão automatizada. Contudo, os autores alertam que isso pode levar a uma conformidade "tokenista" se os humanos apenas carimbarem o modelo apesar do alerta.

4.3 Cenários de Estudo de Caso

O artigo delineia quatro cenários tanto para crédito quanto para sentenças:

1. Acordo (Incerteza $\to$ Adverso): O humano concorda com uma previsão negativa incerta. Risco de excesso de confiança num modelo enviesado.
2. Sobreposição/Override (Incerteza $\to$ Adverso): O humano sobrepõe uma previsão positiva incerta para gerar um resultado adverso. Identificado como o cenário mais preocupante para a discriminação, pois o viés humano pode sobrepor-se à sugestão (potencialmente mais neutra) do modelo.
3. Acordo (Incerteza $\to$ Favorável): O humano concorda com uma previsão positiva incerta.
4. Sobreposição/Override (Incerteza $\to$ Favorável): O humano sobrepõe uma previsão negativa incerta para gerar um resultado favorável. Embora teoricamente benéfico, evidências empíricas sugerem que as sobreposições não beneficiam sistematicamente os grupos sub-representados.

5. Significância e Alegações

O artigo afirma ter significância por ser o primeiro a aplicar rigorosamente a doutrina jurídica do Reino Unido a intervenções baseadas em incerteza. Sua tese central é que a neutralidade técnica (uso de limiares de entropia) não garante a neutralidade jurídica.

• Preferência Jurídica: Os autores concluem que a fricção seletiva é a escolha de design superior do ponto de vista da conformidade legal, pois mantém a integridade da colaboração humano-IA e evita as desvantagens procedimentais inerentes à abstenção.
• Incerteza Empírica: O artigo declara explicitamente que se a fricção seletiva melhora a qualidade da decisão na prática é uma questão empírica em aberto. Depende do treinamento dos decisores, da calibração das estimativas de incerteza e da cultura institucional.
• Trabalhos Futuros: Os autores identificam a necessidade de estudos empíricos sobre se os alertas de incerteza disparam diferentes taxas de sobreposição entre grupos demográficos e pesquisa técnica sobre se a calibração específica por grupo pode mitigar o impacto desproporcional dessas intervenções.

O artigo não alega que as intervenções baseadas em incerteza sejam inerentemente ilegais, mas sim que sua implementação deve ser cuidadosamente escrutinada para garantir que não violem o Equality Act 2010 ao sobrecarregar desproporcionalmente os grupos protegidos.