Automation Bias in the AI Act: On the Legal Implications of Attempting to De-Bias Human Oversight of AI

Resumo Técnico: Viés de Automação no AI Act – Sobre as Implicações Jurídicas de se Tentar Desenviesar a Supervisão Humana da IA

Definição do Problema
O Regulamento de Inteligência Artificial da União Europeia (AI Act) exige a supervisão humana para sistemas de IA de alto risco, a fim de mitigar riscos para a saúde, segurança e direitos fundamentais. Unicamente, o Artigo 14(4)(b) do AI Act obriga explicitamente os fornecedores de IA a permitir que os agentes de supervisão humana permaneçam "cientes da possível tendência de confiar ou confiar excessivamente automaticamente no resultado produzido por um sistema de IA", um fenômeno definido como viés de automação (AB - automation bias). Este artigo identifica uma lacuna regulatória crítica: o AI Act incorpora um conceito psicológico extrajurídico (AB) em um texto jurídico vinculativo sem fornecer um quadro normativo claro para sua mitigação. O problema central reside no desalinhamento entre a divisão jurídica de responsabilidades (colocando o ônus de possibilitar a consciência primordialmente nos fornecedores de IA) e a realidade psicológica do AB (que é causada por uma interação complexa entre design do sistema, psicologia individual, contexto organizacional e carga de trabalho, muitos dos quais são controlados pelo utilizador/implementador, não pelo fornecedor). Além disso, o artigo destaca a dificuldade de aplicar juridicamente a obrigação de "possibilitar a consciência", visto que provar o estado interno subjetivo de um agente de supervisão ou a ocorrência de AB em uma decisão específica é empiricamente desafiador.

Metodologia
Os autores empregam uma análise jurídica doutrinária combinada com uma revisão interdisciplinar da psicologia comportamental e da literatura de interação humano-IA. A metodologia envolve:

1. Análise Legislativa: Exame do texto, considerandos e histórico legislativo do AI Act (especificamente os Artigos 6, 14 e 26) para compreender a lógica e o escopo da referência ao AB.
2. Análise Jurídica Comparativa: Contraste da abordagem do AI Act com outros quadros da UE, particularmente o Regulamento Geral sobre a Proteção de Dados (GDPR) e o Artigo 22 relativo à tomada de decisões automatizadas.
3. Síntese Interdisciplinar: Mapeamento das obrigações legais frente às descobertas psicológicas sobre as causas do AB (ex: déficits de atenção, carga de trabalho, design de interface e responsabilidade) para identificar desalinhamentos na alocação de responsabilidade entre fornecedores e utilizadores.
4. Avaliação de Viabilidade de Execução: Análise dos requisitos probatórios para comprovar o AB em processos judiciais, considerando as limitações dos testes psicológicos atuais (ex: o valor preditivo de Testes de Associação Implícita) e o papel do testemunho pericial.

Principais Contribuições

• Identificação de Responsabilidade Assimétrica: O artigo argumenta que o AI Act cria uma tensão estrutural ao atribuir a obrigação de possibilitar a consciência do AB exclusivamente aos fornecedores de IA (Artigo 14), enquanto os fatores causais do AB (como carga de trabalho organizacional, treinamento e restrições ambientais) recaem majoritariamente sob o controle dos utilizadores/implementadores de IA (Artigo 26).
• Crítica à "Consciência" como Métrica Suficiente: Os autores sustentam que apenas possibilitar a "consciência" é um padrão juridicamente vago e potencialmente insuficiente. Eles defendem que a lei deveria, em tese, exigir medidas eficazes para reduzir a ocorrência de AB, em vez de apenas garantir que os agentes saibam que ele existe.
• Desafios de Execução: O artigo detalha a impossibilidade prática de provar o AB em procedimentos jurídicos ex post. Observa-se que estabelecer uma "verdade fundamental" (ground truth) para decisões isentas de viés é frequentemente impossível (especialmente em contextos jurídicos ou administrativos complexos), e decisões de casos isolados raramente fornecem dados suficientes para provar que ocorreu um viés psicológico.
• Lacuna Regulatória na Classificação de Risco: A análise revela uma brecha onde sistemas isentos de classificação de "alto risco" sob o Artigo 6(3) (ex: aqueles que apenas "apoiam" decisões humanas) podem ainda estar sujeitos a riscos significativos de AB, embora as salvaguardas específicas do Artigo 14 não se apliem a eles.
• Interação GDPR-AI Act: O artigo esclarece que o cumprimento dos requisitos de supervisão humana do AI Act não satisfaz automaticamente os requisitos do GDPR relativos à intervenção humana em decisões automatizadas (Artigo 22), dada a interpretação ampla do TJUE sobre "decisões automatizadas" no caso SCHUFA.

Resultos

• Ambiguidade Legislativa: A menção explícita ao AB no AI Act parece ser uma escolha regulatória arbitrária, uma vez que o histórico legislativo não oferece nenhuma razão específica para a seleção do AB sobre outros vieses cognitivos (ex: viés de confirmação, aversão ao algoritmo).
• Necessidade de Padronização: O texto legal atual é demasiado vago para ser efetivamente aplicado sem maior especificação. Os autores concluem que as normas harmonizadas são o principal veículo para operacionalizar essas obrigações.
• Incerteza Científica: A execução da consciência do AB depende fortemente do "estado da pesquisa" em psicologia comportamental, que atualmente é caracterizada por uma incerteza significativa quanto às causas e remédios para o AB em contextos específicos de IA de alto risco.
• Solução Proposta: O artigo conclui que as normas harmonizadas devem incluir uma cláusula de "estado da pesquisa". Isso permitiria referenciar dinamicamente as descobertas empíricas mais recentes sobre interação humano-IA, indo além do foco singular no AB para abordar o espectro mais amplo de vieses cognitivos.

Significância e Alegações
O artigo alega que a abordagem atual do AI Act corre o risco de ser ineficaz se depender apenas da "consciência" sem abordar os fatores sistêmicos e contextuais que impulsionam o viés de automação. Argumenta-se que, para o AI Act proteger efetivamente os direitos dos cidadãos da UE, o quadro regulatório deve evoluir para:

1. Ampliar o Escopo de Responsabilidade: Alinhar as obrigações legais com o controle real sobre os fatores causais, responsabilizando tanto os fornecedores (pelo design) quanto os utilizadores (pelo contexto organizacional).
2. Integrar a Ciência Empírica: Transitar de mandatos legais estáticos para um modelo regulatório dinâmico, onde as normas harmonizadas referenciam a evolução da pesquisa científica sobre a interação humano-IA.
3. Abordar o Problema da "Verdade Fundamental": Reconhecer que a execução jurídica da mitigação de viés requer testemunhos de especialistas e documentação técnica, uma vez que a prova direta de viés em decisões individuais é muitas vezes inalcançável.

Em última análise, os autores afirmam que, sem colmatar a lacuna entre os mandatos legais e a ciência comportamental, o requisito de supervisão humana do AI Act poderá falhar em prevenir os próprios riscos que pretende mitigar, criando potencialmente uma lacuna de proteção para os direitos fundamentais em aplicações de IA de alto risco.