Opening the Black Box or Responding to Demands? Rethinking and Reconstructing the European Standard of Algorithmic Explanation
Este artigo critica as limitações do atual padrão de explicação algorítmica da UE e das abordagens de mitigação ou substituição existentes, propondo, em vez disso, um framework orientado à demanda que reconstrói o padrão ao categorizar as necessidades de explicação com base nos pontos de controle dos atores e realizá-las por meio de esquemas substitutos viáveis.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo moderno, os computadores tomam inúmeras decisões que moldam nossas vidas diárias, desde determinar se obteremos um empréstimo até decidir quais notícias veremos. Durante décadas, a ideia prevalecente era que, se um computador tomasse uma decisão, deveríamos ser capazes de pedir que ele mostrasse seu trabalho, tal como um aluno mostrando o desenvolvimento de sua lição de matemática para provar que a resposta está correta. Esse conceito é conhecido como explicação algorítmica e é um pilar das leis de privacidade na União Europeia e em outras regiões. A lei assume que, se uma pessoa for afetada por uma decisão automatizada, ela tem o direito de compreender a lógica por trás dela. No entanto, um problema significativo surgiu: os computadores que tomam essas decisões mudaram. Os sistemas antigos seguiam regras claras e passo a passo que podiam ser facilmente rastreadas. Os sistemas atuais mais poderosos, frequentemente chamados de redes neurais, aprendem com vastas quantidades de dados de formas tão complexas e interconectadas que nem mesmo seus criadores conseguem mapear totalmente cada etapa interna. Isso cria uma situação de "caixa preta", onde a entrada entra e uma decisão sai, mas o caminho intermediário permanece oculto. Quando a lei exige ver o interior de uma caixa que a tecnologia não consegue abrir totalmente, o sistema entra em colapso, levando à confusão, evasão legal e perda de confiança.
Um pesquisador chamado Feng Zhi, trabalhando na Escola de Inteligência Artificial e Direito em Chongqing, China, propôs uma nova maneira de resolver este impasse. Em vez de tentar forçar a abertura de uma caixa preta que não pode ser aberta, o estudo sugere que devemos parar de pedir para ver a mecânica interna e começar a fazer perguntas que correspondam ao que as pessoas encarregadas podem realmente responder. O achado central deste trabalho é que precisamos dividir a demanda por uma explicação em dois momentos diferentes no tempo, baseando-nos em quem está no controle do sistema de computador. O primeiro momento é quando o sistema está sendo construido e configurado; o segundo momento é quando o sistema está de fato tomando uma decisão para uma pessoa específica. Ao separar esses dois estágios, o autor argumenta que podemos substituir a demanda impossível de ver o código por demandas práticas que sejam tão eficazes quanto para proteger os direitos das pessoas.
O artigo argumenta que a abordagem atual, que tenta fornecer diferentes níveis de detalhe dependendo de quem pergunta, falha porque ainda exige o mesmo feito técnico impossível: espiar dentro da caixa preta. Quer um usuário faça uma pergunta simples ou uma complexa, o computador ainda tem que revelar sua lógica interna para responder, o que muitas vezes não consegue fazer sem perder precisidade ou revelar segredos comerciais. Outra ideia comum é simplesmente confiar no sistema se ele parecer seguro ou se as pessoas que o construíram forem qualificadas. O autor rejeita isso também, apontando que um sistema pode ser construído por boas pessoas e ainda assim tomar decisões ruins mais tarde, ou que confiar no construtor não explica por que uma pessoa específica teve um empréstimo negado. O estudo sugere que simplesmente verificar se o resultado final pode ser contestado após o fato também é insuficiente, pois, a essa altura, o dano já pode ter ocorrido e ser impossível de desfazer.
Para corrigir isso, o artigo introduz um framework baseado em "nós temporais", que são simplesmente os pontos específicos no tempo em que diferentes pessoas detêm as rédeas do controle. O primeiro estágio é o "estágio de comportamento". Isso acontece antes de o sistema ser usado pelo público. Durante este tempo, os desenvolvedores e as empresas que implantam o sistema têm controle total. Eles decidem quais dados usar, como treinar o modelo e quais medidas de segurança implementar. Como eles têm o controle, a demanda por uma explicação neste estágio não deve ser sobre a decisão final, mas sobre o risco. O estudo propõe que, em vez de mostrar o código, esses atores devem ser obrigados a apresentar declarações detalhadas sobre como avaliaram os riscos e quais passos tomaram para prevenir danos. Eles também devem manter um registro dos logs de atividade do sistema. Isso desloca o foco de "como funciona a matemática?" para "você fez o seu trabalho para garantir que isso é seguro?". Se um problema ocorrer mais tarde, esses registros permitem que os reguladores rastreiem e vejam se os criadores seguiram as regras, alocando efetivamente a responsabilidade sem precisar entender a matemática inexplicável.
O segundo estágio é o "estágio de resultado". Este é quando o sistema está operando e tomando decisões que afetam pessoas reais. Neste ponto, os desenvolvedores perderam o controle; o sistema está reagendo a novos dados em tempo real. Aqui, a demanda por explicação muda. O objetivo não é mais verificar os controles de risco, mas construir confiança no resultado. O artigo sugere que as pessoas não precisam entender a lógica interna complexa para confiar em uma decisão; elas precisam saber se a decisão faz sentido com base na experiência humana comum. Por exemplo, se um sistema de pontuação de crédito nega um empréstimo, o usuário não precisa ver os pesos da rede neural; ele precisa saber se a decisão se alinha com o que a sociedade geralmente considera justo, como níveis de renda ou índices de endividamento. O estudo propõe que as empresas devem publicar essas regras sociais gerais para que as pessoas possam comparar a decisão com elas. Se uma decisão desviar do que o senso comum sugeriria, o sistema deve acionar uma revisão humana. Uma pessoa real deve então analisar o caso e fornecer uma explicação clara e fundamentada sobre o por que daquela decisão incomum ter sido tomada.
Esta abordagem não pede menos proteção; pede um tipo diferente de proteção que é de fato possível de entregar. Ao substituir a demanda para ver o código interno por uma demanda por registros de risco e uma demanda por consistência com o senso comum, o sistema pode funcionar sem entrar em colapso. O autor observa que isto não é uma nova invenção, mas uma reorganização de ferramentas jurídicas existentes, como a exigência de que as empresas mantenham registros de suas atividades de processamento. O estudo enfatiza que este método respeita a realidade da tecnologia moderna enquanto cumpre a promessa legal de accountability (prestação de contas). Ele move a conversa para longe da tarefa impossível de abrir a caixa preta e em direção à tarefa prática de garantir que aqueles que constroem e utilizam estes sistemas sejam responsáveis por suas ações e que os resultados que produzem façam sentido para as pessoas que vivem com eles. A pesquisa conclui que esta mudança de perspectiva é necessária para restaurar o valor prático da explicação algorítmica, garantindo que a lei permaneça relevante em uma era de máquinas inteligentes.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.