Evidence for Whom? Contestability and Socio-Technical Assurance in High-Risk AI Governance
Este artigo argumenta que os atuais marcos de governança de IA de alto risco (NIST, Lei de IA da UE, ISO/IEC 42001) criam uma lacuna de evidência crítica ao priorizar evidências centradas em artefatos em detrimento de evidências baseadas em processos necessárias para a contestação, uma falha estrutural realçada pela ambiguidade inerente na interpretação desses requisitos e que, em última análise, mina os direitos procedimentais e epistêmicos dos stakeholders governados.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um mundo onde um programa de computador decide quem consegue um emprego, quem recebe um empréstimo ou se alguém recebe liberdade condicional. Esses sistemas não são apenas código rodando em um vácuo; eles fazem parte de um ecossistema humano maior que envolve as empresas que os constroem, as organizações que os utilizam e as pessoas cujas vidas são alteradas pelo seu resultado. Quando esses sistemas cometem um erro, a questão de quem é o responsável e como prová-lo torna-se urgente. Este é o domínio da governança da inteligência artificial, um campo dedicado a garantir que essas ferramentas poderosas sejam seguras, justas e responsáveis. Uma ideia central neste campo é a "contestabilidade", a capacidade de uma pessoa afetada por uma decisão questioná-la, entender por que ela aconteceu e buscar uma correção. Para que isso funcione, deve haver evidências — provas de que o sistema foi verificado, de que funciona conforme o pretendido e de que um humano poderia intervir se algo desse errado. Mas uma questão crítica permanece: quem tem o direito de ver essas evidências, e a evidência é realmente útil para a pessoa que mais precisa dela?
Uma equipe de pesquisadores de universidades dos Estados Unidos e da Índia partiu para investigar exatamente este problema. Eles examinaram três grandes conjuntos de regras e diretrizes que governam a inteligência artificial de alto risco: um framework voluntário dos Estados Unidos, uma lei vinculativa da União Europeia e um padrão internacional para a gestão de sistemas de IA. O objetivo deles era criar um mapa detalhado, ou "crosswalk" (ponte), que conectasse requisitos específicos nesses documentos aos métodos técnicos reais usados para testar a IA. Eles queriam ver se a evidência exigida pelas regras era o tipo de evidência que poderia realmente ajudar uma pessoa a contestar uma decisão, ou se era meramente uma coleção de relatórios técnicos que apenas as empresas e os reguladores poderiam ler.
Os pesquisadores começaram reunindo uma vasta coleção de métodos de avaliação técnica. Eles identificaram doze famílias distintas de testes, que variam desde verificar o quão precisa é um modelo em novos dados até ver se ela pode ser enganada por entradas maliciosas, e desde analisar a qualidade dos dados usados para treiná-la até estudar o quão bem os humanos podem supervisionar o sistema. Eles então pegaram essas doze famílias e as compararam com vinte e duas exigências específicas encontradas nos três documentos de governança. Eles fizeram uma pergunta simples, mas profunda, para cada pareamento: este teste específico fornece a prova principal necessária para satisfazer esta regra específica?
O que eles encontraram foi um desequilíbrio impressionante. As regras que pediam evidências sobre o próprio modelo de IA — como sua precisão, sua robustez contra ataques ou sua justiça em termos estatísticos — estavam bem suportadas. Havia muitos testes técnicos disponíveis para gerar os relatórios necessários. No entanto, as regras que pediam evidências sobre como o sistema funciona no mundo real, após ter sido implantado, estavam amplamente desamparadas. Essas regras diziam respeito a coisas como se um supervisor humano conseguiria de fato detectar um erro, se os registros do sistema eram detalhados o suficiente para reconstruir uma decisão específica e se a organização poderia provar que estava monitorando o impacto do sistema na vida das pessoas. Para essas questões cruciais, os pesquisadores descobriram que os métodos técnicos disponíveis eram inexistentes ou forneciam apenas um suporte secundário e fraco.
O estudo revelou que a evidência gerada para provar que um sistema de IA é seguro é projetada primariamente para intermediários: as empresas que constroem o software, os auditores que o verificam e os reguladores governamentais que aplicam a lei. As pessoas que são de fato sujeitas a essas decisões — o candidato a um emprego que foi rejeitado, o tomador de empréstimo que teve o crédito negado — não têm uma rota direta para essa evidência. Elas podem receber uma explicação do que o sistema fez, mas não podem acessar os registros subjacentes que permitiriam verificar se essa explicação é verdadeira ou entender exatamente como a decisão foi alcançada. Os pesquisadores argumentam que isso não é apenas uma lacuna técnica ou uma peça faltante de um quebra-cabeça; é uma falha fundamental no sistema de justiça. Ao negar às pessoas afetadas o acesso à evidência necessária para contestar uma decisão, o atual framework trata-as como sujeitos passivos em vez de participantes ativos em um processo que determina seus futuros.
Os pesquisadores foram cuidadosos ao notar que suas descobertas baseiam-se em uma análise específica da literatura técnica disponível e do texto das leis. Eles não alegaram que as empresas não estejam realizando essas verificações internamente, mas sim que os métodos para provar que essas verificações são eficazes ainda não estão padronizados ou amplamente disponíveis em uma forma que satisfaça as regras. Eles também destacaram que o próprio trabalho envolveu um grau de interpretação. Quando pediram a especialistas independentes que revisassem seu mapeamento, os especialistas concordaram com as linhas gerais, mas às vezes discordaram nos detalhes mais finos, sugerindo que as próprias regras são abertas a diferentes leituras razoáveis. Essa discordância, sugerem os autores, é uma característica do problema, não um erro: mostra que os requisitos atuais não são claros o suficiente para garantir que o tipo certo de evidência esteja sendo produzido.
Em última análise, o artigo conclui que a abordagem atual de governança de IA é incompleta. Ela depende fortemente de evidências que podem ser produzidas dentro do pipeline de desenvolvimento de uma empresa, como resultados de testes e documentação técnica, enquanto negligencia as evidências que só podem ser coletadas observando como o sistema interage com as pessoas no mundo real. Os autores propõem que, para que a IA seja verdadeiramente responsável, as regras devem evoluir para exigir evidências que não sejam apenas sobre a máquina, mas sobre todo o sistema sociotécnico. Isso inclui provas de que a supervisão humana é eficaz, que os registros são suficientes para reconstruir eventos e que o impacto do sistema na sociedade está sendo monitorado. Sem essas mudanças, a promessa de responsabilidade da IA permanece uma promessa feita apenas aos poderosos, deixando aqueles mais afetados pela tecnologia sem as ferramentas para se defenderem.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.