Resumo Técnico: O Mesmo Sistema, Veredictos Opostos: Discricionariedade de Métricas em Auditorias de Ética de IA e os Limites da Divulgação

1. Declaração do Problema

O artigo aborda uma lacuna crítica na governança de IA: embora os reguladores exijam cada vez mais auditorias de equidade quantificadas para sistemas de IA de alto risco (ex: o EU AI Act, a Lei Local 144 de NYC), não existe um padrão para ditar como esses números de equidade são computados. A ausência de um padrão de medição canônico cria uma "janela de discricionariedade" onde um auditor honesto, utilizando métodos defensáveis, pode reportar veredictos de equidade vastamente diferentes para o mesmo sistema.

O problema central é que as práticas atuais de divulgação documentam a computação de um único número, mas permanecem silenciosas sobre a seleção desse número. Consequentemente, um escore de equidade publicado é uma seleção de uma ampla gama de possibilidades defensáveis, e os leitores não podem determinar se o número reportado representa um achado representativo ou um outlier favorável. Este problema é distinto do "fairwashing" (explicações enganosas) ou "audit-washing" (processos cosméticos); trata-se da ambiguidade estrutural inerente a auditorias honestas onde múltiplas métricas válidas geram resultados contraditórios.

2. Metodologia

O artigo emprega uma estratégia empírica de três partes para medir a magnitude desta discricionariedade e avaliar potenciais remédios.

Estudo 1: A Janela de Discricionariedade (Análise de Multiverso)

• Design: O processo de auditoria é tratado como um "multiverso". O estudo enumera toda especificação defensável para quatro sistemas de decisão: um instrumento implantado (risco de pré-liberdade COMPAS) e três benchmarks canônicos (renda do Censo, crédito alemão, emprego ACS).
• Escopo: Um total de 91.572 especificações foram geradas variando sete eixos:
  1. Família de Métricas (Seleção): 8 famílias (ex: paridade estatística, igualdade de oportunidade, paridade preditiva).
  2. Limiar de Decisão (Definição): 5 regras (ex: 0.5 fixo, decil superior).
  3. População de Referência (Definição): 3 filtros defensáveis por sistema.
  4. Regra de Comparação de Grupos (Definição): 4 convenções para lidar com atributos de múltiplos níveis.
  5. Período de Relato (Consistência): 5 anos × 3 estados (para dados do censo).
  6. Classe de Modelo (Benchmark): 3 aprendizes (regressão logística, gradient boosting, random forest).
  7. Semente de Reamostragem (Benchmark): 3 sorteios independentes para medir erro de amostragem.
• Medidas de Resultado: O estudo calcula a "janela de discricionariedade" (intervalo de razões de impacto), instabilidade de veredito (passar/falhar contra a regra dos quatro quintos de 0.80) e reversão de direção (qual grupo é identificado como desfavorecido).

Estudo 2: Análise de Divulgações Publicadas

• Corpus: 6.797 documentos de dois regimes: 25 Avaliações de Impacto Algorítmico obrigatórias (Canadá) e 6.772 Model Cards voluntários (Hugging Face).
• Procedimento: Uma triagem automatizada sinalizou 76 candidatos contendo alegações de equidade quantificada, que foram verificados manualmente. O estudo codificou se essas divulgações declaravam o nome da métrica, população de avaliação, grupos comparados, limiar de decisão e medidas alternativas não escolhidas.

Estudo 3: Quantificando o Valor da Divulgação

• Lógica: Usando o espaço enumerado no Estudo 1, o estudo simula a divulgação progressiva. Ele calcula quanto o intervalo de possíveis figuras reportadas diminui conforme um auditor divulga elementos específicos (ex: família de métrica, depois limiar, depois população).
• Objetivo: Determinar qual porcentagem da "janela de discricionariedade" poderia ser fechada por requisitos de divulgação obrigatória semelhantes aos do relato financeiro (reconciliação e consistência).

3. Principais Resultados

A Largura da Janela de Discricionariedade

• Magnitude: Em todos os 7 pares de sistema/atributo, a razão de impacto reportada abrange um intervalo mediano de 0.94 em uma escala limitada em 1.0. Mesmo a janela mais estreita (crédito alemão) abrange 0.79.
• Instabilidade de Veredito: Em 100% dos 7 pares, o espaço de especificações defensáveis contém tanto um "passa" quanto um "falha" contra a regra regulatória dos quatro quintos (limiar de 0.80).
• Reversão de Direção: Em 100% dos 7 pares, a identidade do grupo "desfavorecido" reverte dependendo da especificação escolhida.
• Comparação com Erro de Amostragem: O movimento causado pela variação de especificações é de 6 a 30 vezes maior do que o movimento causado pelo erro de amostragem (redesenhar os dados). A razão mediana é de 17:1.

Drivers de Variação

• A Seleção de Métricas Domina: A escolha da família de métricas explica de 14% a 94% da variância no valor reportado (mediana de 45%). Este é o maior driver individual e o elemento menos divulgado.
• Escolhas de Definição: Limiar, população e regras de grupo contribuem com 0–23% da variância.
• Consistência: O período de relato contribui com no máximo 2.4%.

Práticas Atuais de Divulgação

• Raridade: Apenas 0,56% (38 de 6.797) dos documentos continham uma alegação de equidade quantificada confirmada.
• Omissões: Entre os 38 casos confirmados:
  • 100% nomearam a medida.
  • 68,4% declararam a população de avaliação.
  • 71,1% identificaram os grupos comparados.
  • 0% declararam um limiar de decisão, reportaram uma figura de período anterior ou nomearam a medida alternativa não escolhida.
• Regimes Obrigatórios: Nenhum dos 25 Impactos Algorítmicos canadenses reportou uma medida de equidade quantificada.

O Valor da Divulgação (Remédio)

• Divulgação da Família de Métricas: Divulgar a família de métricas isoladamente fecha 44% da janela de discricionariedade.
• Reconciliação Total: Divulgar a família de métricas, o limiar, a população de referência e a regra de grupo fecha 78% da janela.
• Consistência: Adicionar a consistência do período de relato traz o fechamento total para 82%.
• Residual: Um intervalo residual de 0,16 a 0,21 permanece mesmo com divulgação total, representando a variação devida ao erro de amostragem e escolhas de classe de modelo que a transparência sozinha não pode resolver.

4. Principais Contribuições

1. Primeira Medição da Discricionariedade de Métrica ao Nível de Auditoria: O artigo fornece a primeira quantificação empírica de quanto o valor de equidade reportado se move através de especificações defensáveis em um instrumento implantado e benchmarks canônicos.
2. Decomposição de Variância: Ele pesa empiricamente as escolhas do auditor, demonstrando que a seleção de métricas é a fonte dominante de variância, superando amplamente o erro de amostragem.
3. Linha de Base Empírica para Divulgação: Estabelece que a prática atual documenta o "como" (computação), mas não o "quê" (seleção), deixando os leitores incapazes de reconstruir o intervalo de resultados possíveis.
4. Limites Quantificados da Transparência: Coloca um limite medido na eficácia da divulgação, mostrando que, embora a reconciliação possa fechar ~78% da discricionariedade, um residual não nulo permanece, exigendo padrões substantivos ou estimativas mais rigorosas para ser abordado.

5. Significância e Alegações

O artigo argumenta que o fenômeno "mesmo sistema, veredictos opostos" não é uma anomalia, mas uma característica estrutural das auditorias de ética de IA atuais. A significância reside em deslocar o foco regulatório da tarefa impossível de concordar em um único método de equidade "correto" para a tarefa alcançável de governar a divulgação de escolhas.

• Para Reguladores: O artigo afirma que os reguladores podem imediatamente exigir a divulgação de quatro elementos (família de métricas, definição operacional, população de referência e regra de comparação) sem precisar decidir qual métrica é a correta. Isso tornaria a discricionariedade "legível" e fecharia a maior parte do intervalo onde os veredictos invertem.
• Para a Teoria: Reenquadra os "resultados de impossibilidade" da equidade (que afirmam que as métricas não podem coexistir) como um problema de política de divulgação, em vez de uma falha técnica. A magnitude da janela de discricionariedade transforma a questão de um debate teórico em um desafio prático de governança.
• Para a Prática: Propõe um "conjunto mínimo de divulgação" que não custa nada além de registrar as escolhas já feitas, permitindo que conselhos e auditores questionem os valores reportados com base no intervalo de alternativas.

O artigo conclui modestamente que, embora a transparência não possa eliminar toda a incerteza (o residual permanece), tornar a discricionariedade legível é um passo necessário e imediato que não requer esperar por um padrão canônico que pode nunca existir.