Beyond Explanation: Evidentiary Rights for Algorithmic Accountability

1. O Problema

O artigo identifica uma lacuna crítica na literatura e na regulação atual sobre responsabilidade algorítmica. O foco predominante tem sido a explicação (entender por que uma decisão foi tomada), mas os autores argumentam que a explicação é insuficiente para permitir a contestação (a capacidade de desafiar se a decisão estava correta).

• A Falácia da Explicação: Um indivíduo pode receber uma explicação legítima (ex: "sua pontuação de risco foi 0,73") e entender a decisão, mas não ter meios para verificar a precisão dos dados, testar cenários alternativos ou produzir contra-evidências.
• A Falta de Acesso Evidencial: Sem acesso aos dados de entrada, à lógica do sistema ou à capacidade de testar o sistema, a contestação torna-se impossível. A explicação é um fluxo de informação unidirecional, enquanto a contestação requer um processo interativo de verificação.
• Taxonomia de Falhas: O artigo propõe uma taxonomia de cinco modos de falha na contestação:
  1. Opacidade: Falta de razão para a decisão (atualmente o foco principal de pesquisas como XAI e GDPR).
  2. Explicação sem Evidência: A decisão é explicada, mas não pode ser verificada ou desafiada (o foco do artigo).
  3. Evidência sem Fórum: Dados acessíveis, mas sem mecanismo de apelação.
  4. Fórum sem Padrões: Apelações existem, mas sem critérios claros de sucesso.
  5. Padrões sem Remédios: O desafio é aceito, mas não há correção efetiva.

2. Metodologia

O estudo baseia-se em uma análise empírica e diagnóstica de 168 casos legais envolvendo tomada de decisão algorítmica, abrangendo o período de 2012 a 2025.

• Escopo Geográfico e Setorial: Os casos cobrem 19 jurisdições (incluindo EUA, UE, Reino Unido e outros) e sete domínios: emprego, crédito/seguros, habitação, saúde, justiça criminal, benefícios governamentais e responsabilidade de plataformas.
• Coleta de Dados: Utilizou-se uma estratégia multi-fonte (bancos de dados jurídicos como Westlaw/LexisNexis, ações regulatórias da EEOC, CFPB, FTC, e fontes secundárias como jornalismo investigativo).
• Esquema de Codificação: Os casos foram codificados para quatro variáveis principais:
  1. Acesso à Evidência: Total (dados de entrada, lógica e saída), Parcial (apenas saídas ou padrões agregados) ou Nenhum (sistema opaco).
  2. Resultado: Conquistado (acordo, julgamento favorável, alívio regulatório), Negado ou Em andamento.
  3. Qualidade da Explicação: Alta (fatores específicos com pesos), Parcial (categorias gerais) ou Nenhuma.
  4. Recursos Jurídicos: Alto (agências governamentais/ONGs grandes), Médio ou Baixo.
• Abordagem Diagnóstica: Os autores enfatizam que a correlação entre acesso e sucesso não é necessariamente causal (devido a efeitos de seleção), mas serve para identificar onde o processo de contestação falha sistematicamente.

3. Contribuições Principais

A. Estrutura de "Dois Portões" (Two-Gate Structure)

A análise revela que a prestação de contas algorítmica enfrenta dois portões sequenciais:

1. Portão Procedimental (Acesso à Evidência): Se o afetado não consegue acessar evidências para testar a decisão, o caso falha quase que imediatamente, independentemente do mérito.
2. Portão Doutrinal (Regras de Responsabilidade Substantiva): Mesmo com acesso total à evidência, o caso pode falhar se as leis substantivas (ex: Seção 230 nos EUA para plataformas) imunizarem a organização.

B. Proposta de "Direitos Evidenciais" e "Interrogatório Contrafactual"

O artigo propõe um novo mecanismo procedural chamado Direitos de Interrogatório Contrafactual:

• Mecanismo: Em vez de revelar o modelo proprietário (o "segredo comercial"), o sistema deve fornecer uma interface de teste (sandbox) onde o afetado pode submeter entradas modificadas (perturbações) e observar se a saída muda.
• Controle do Afetado: Diferente de "explicações contrafactuais" geradas pela organização (que podem ser estratégicas), aqui o indivíduo define as variações para testar suas próprias hipóteses de viés ou erro.
• Critérios de Divergência: O sistema deve gerar evidência de apelação se pequenas variações semanticamente equivalentes (ex: mudar o ano de formatura de 1991 para 2011, ou reescrever uma descrição de experiência) causarem mudanças significativas na pontuação ou no resultado (ex: cruzar o limiar de aprovação).

4. Resultados Empíricos

• Correlação Acesso-Sucesso:
  • Casos sem acesso à evidência: Taxa de sucesso de apenas 9% (1 em 11 casos resolvidos).
  • Casos com acesso (total ou parcial): Taxa de sucesso de 93% (101 em 109 casos resolvidos).
  • Casos com acesso total (excluindo imunidade de plataformas): Taxa de sucesso de 97%.
• O Papel da Explicação: A qualidade da explicação (alta, parcial ou nenhuma) não correlacionou com o sucesso do caso quando o acesso à evidência estava presente. Casos com explicações de alta qualidade, mas sem acesso à evidência, falharam em 100% dos casos analisados.
• O Caso das Plataformas (Seção 230): Todos os 6 casos de responsabilidade de plataformas que tiveram acesso total à evidência foram negados, não por falta de prova, mas devido à imunidade doutrinária da Seção 230. Isso confirma que o acesso à evidência é necessário mas não suficiente se a lei substantiva bloquear a responsabilidade.
• Viés de Seleção: Os autores reconhecem que casos sem acesso podem nem chegar à litigância (advogados recusam casos sem provas), o que pode inflar a taxa de sucesso observada nos casos com acesso. No entanto, o padrão diagnóstico permanece claro: a barreira procedimental é o principal gargalo.

5. Significado e Implicações

• Reenquadramento da Responsabilidade: O artigo desloca o foco de um problema de "transparência técnica" (como explicar o modelo) para um problema de "direitos procedimentais" (como permitir o teste e a verificação).
• Viabilidade Técnica: A proposta de interrogatório contrafactual contorna a objeção de segredo comercial, pois não exige a divulgação do código-fonte ou dos pesos do modelo, apenas o comportamento do sistema frente a entradas específicas.
• Implementação Graduada: O artigo sugere uma implementação em três níveis:
  • Nível 1 (Alto Risco): Acesso total de interrogatório (justiça criminal, saúde, emprego, habitação).
  • Nível 2 (Risco Médio): Acesso limitado ou mediado por representantes licenciados (moderação de conteúdo, seguros).
  • Nível 3 (Baixo Risco): Apenas transparência agregada (recomendações, publicidade).
• Impacto Político: A proposta oferece uma via para fortalecer a aplicação de leis existentes (como GDPR, FCRA, leis de direitos civis) sem necessariamente criar novas legislações complexas, reinterpretando o conceito de "informação significativa" para incluir a capacidade de teste.

Em suma, o artigo argumenta que a verdadeira responsabilidade algorítmica não reside em entender a decisão, mas em ter o poder de verificar, comparar e testar a decisão. Sem direitos evidenciais, a explicação é apenas uma ilusão de transparência.