Counterfactual Explanations and the Scope of Contestability
Este artigo argumenta que explicações contrafatuais podem restaurar a agência na tomada de decisão automatizada ao definir a contestabilidade como o direito de exigir a revogação de uma decisão, analisando como tais explicações ajudam a detectar erros algorítmicos e propondo uma abordagem de consulta de múltiplas etapas para aumentar sua eficácia.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo moderno, os computadores tomam cada vez mais as decisões pesadas que moldam nossas vidas. Eles decidem quem recebe um empréstimo, quem é contratado para um emprego e quem recebe cuidados médicos. Esses sistemas frequentemente operam como "caixas pretas", o que significa que sua lógica interna é tão complexa que nem mesmo as pessoas que os construíram conseguem explicar facilmente como uma escolha específica foi feita. Essa opacidade cria um problema para a agência humana: se não entendemos por que uma decisão foi tomada, não podemos contestá-la de forma eficaz se acreditarmos que ela está errada. Para corrigir isso, muitos especialistas propuseram um "direito à explicação", sugerindo que, quando um algoritmo nos rejeita, ele deve nos dizer o porquê. Um método popular para fornecer essas explicações é o "contrafactual". Este é um enunciado hipotético simples que diz a uma pessoa qual pequena mudança teria levado a um resultado diferente, como: "Se sua renda fosse cinco mil dólares maior, seu empréstimo teria sido aprovado". Embora isso pareça útil, um novo artigo das filósofas e cientistas da computação Alice C.W. Huang e Thomas Grote faz uma pergunta crítica: esse tipo de explicação realmente dá às pessoas o poder de lutar contra decisões automatizadas injustas?
Os autores começam distinguindo exatamente o que significa contestar uma decisão. Eles diferenciam três objetivos distintos que as explicações podem servir. O primeiro é a justificativa, que trata de provar que o sistema de computador como um todo é confiável e justo para todos. O segundo é o recurso, que é voltado para o futuro; ele diz à pessoa quais passos ela pode tomar no futuro para obter um resultado melhor, como adquirir mais experiência profissional para melhorar um currículo. O terceiro, e o foco deste artigo, é a contestabilidade. Esta é voltada para o passado. É a capacidade de uma pessoa olhar para uma decisão que já aconteceu, encontrar um erro e exigir que a decisão seja revogada. Os pesquisadores definem a contestabilidade de forma restrita: ela exige o fornecimento de informações suficientes para que uma pessoa possa provar que uma decisão específica foi provavelmente um erro, dando-lhe uma base sólida para exigir uma revisão.
Quando os autores testaram se as explicações contrafactuais são boas para possibilitar esse tipo de contestabilidade, os resultados foram surpreendentemente pessimistas. Eles examinaram várias formas comuns pelas quais as decisões automatizadas dão errado. Em casos de discriminação, um contrafactual pode mostrar que uma pessoa teria sido contratada se tivesse uma raça ou gênero diferentes. Embora isso pareça uma evidência forte, os pesquisadores encontraram um grande obstáculo chamado "problema de Rashomon". Este é a ideia de que raramente existe apenas um único motivo para uma decisão. Um computador pode dizer que um empréstimo foi negado devido à baixa renda, mas também poderia ser verdade que o empréstimo teria sido aprovado se o solicitante tivesse um histórico profissional diferente. Como existem muitas maneiras diferentes de alterar a entrada para obter um resultado diferente, o sistema de computador poderia simplesmente escolher a explicação que é menos prejudicial à instituição, ignorando aquela que prova a discriminação. Sem uma forma de forçar o sistema a mostrar todos os motivos possíveis, uma pessoa pode nunca ver o contrafactual específico que prova que ela foi tratada injustamente.
O problema piora quando o erro não é sobre justiça, mas sobre o computador entender mal a situação específica de uma pessoa. Imagine um modelo de saúde que prevê que uma pessoa está em risco de fadiga porque é vegana, assumindo que a dieta carece de ferro. Se essa pessoa, na verdade, tiver uma condição sanguínea rara que causa excesso de ferro, a lógica do modelo está errada para ela, mesmo que esteja correta para a maioria das pessoas. Uma explicação contrafactual poderia simplesmente dizer: "Se você não fosse vegana, não estaria em risco". Isso não ajuda a pessoa a provar que ela é uma exceção à regra; apenas repete a suposição falha do modelo. Para contestar isso, a pessoa precisaria de conhecimento médico profundo para explicar por que a regra geral do modelo não se aplica à sua biologia específica. Da mesma forma, se uma decisão estiver errada devido a um simples erro administrativo, como um banco ter o número errado da dívida de uma pessoa, uma explicação contrafactual é frequentemente inútil. O sistema pode dizer: "Se sua dívida fosse menor, você seria aprovado", o que é verdadeiro, mas óbvio. Não diz à pessoa que os registros do banco estão simplesmente errados, que é a razão real que ela precisa corrigir.
Os pesquisadores concluem que, embora as explicações contrafactuais sejam excelentes para ajudar as pessoas a planejar o futuro, elas são frequentemente fracas demais para ajudar as pessoas a combater erros passados. As informações necessárias para provar um erro são frequentemente complexas demais, muito específicas para o indivíduo ou facilmente ocultáveis pela capacidade do sistema de escolher qual explicação mostrar. Para corrigir isso, os autores não sugerem abandonar a ideia de explicações, mas sim mudar a forma como elas são entregues. Eles propõem uma abordagem de "múltiplos disparos" (multi-shot). Em vez de dar à pessoa uma resposta única e pré-embalada, o sistema permitiria que a pessoa fizesse múltiplas perguntas ao computador. Uma pessoa poderia testar diferentes ideias, tais como: "E se eu tivesse mais experiência?" ou "E se eu morasse em um bairro diferente?". Isso transforma o usuário de um receptor passivo de informações em um investigador ativo.
No entanto, os autores alertam que isso sozinho não é suficiente. A maioria das pessoas não sabe quais perguntas fazer ou como interpretar as respostas, especialmente quando carecem de conhecimento especializado. Para resolver isso, eles sugerem que as pessoas devem ser apoiadas por assistentes sociais ou técnicos — especialistas que compreendem os detalhes jurídicos e técnicos do sistema. Esses ajudantes poderiam guiar os indivíduos sobre quais perguntas fazer e como usar as respostas para construir um caso. O artigo argumenta que, sem esse tipo de apoio humano e a capacidade de fazer múltiplas perguntas, a promessa de poder contestar uma decisão algorítmica permanece uma promessa vazia. A tecnologia para gerar essas explicações existe, mas a forma atual de utilizá-las é insuficiente para restaurar a verdadeira agência às pessoas afetadas por decisões automatizadas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.