Auditing a Dutch Public Sector Risk Profiling Algorithm Using an Unsupervised Bias Detection Tool

Resumo Técnico: Auditoria de Algoritmo de Perfil de Risco do Setor Público Holandês usando Ferramenta de Detecção de Viés Não Supervisionada

1. O Problema

Algoritmos são cada vez mais utilizados para automatizar ou auxiliar decisões humanas, mas frequentemente exibem viés contra grupos demográficos protegidos por lei. Um desafio crítico na auditoria de algoritmos é a indisponibilidade de dados sobre esses grupos demográficos (como etnia, raça ou origem migratória) devido a legislações de privacidade rigorosas, como o GDPR na União Europeia.

O artigo foca em um caso real de discriminação indireta ocorrido na Agência Executiva Holandesa para Educação (DUO). Entre 2012 e 2023, um algoritmo baseado em regras simples foi utilizado para atribuir "pontuações de risco" a estudantes que solicitavam bolsas de estudo para moradia. O algoritmo utilizava três características aparentemente neutras:

1. Tipo de educação (MBO, HBO, WO).
2. Idade do estudante.
3. Distância entre a residência do estudante e a dos pais.

O algoritmo atribuiu sistematicamente riscos mais altos a estudantes de educação profissional (MBO), mais jovens e que viviam perto dos pais. Isso resultou em uma discriminação indireta contra estudantes com origem migratória não europeia, afetando mais de 350.000 alunos e levando a um pedido de desculpas oficial e um plano de compensação de 61 milhões de euros pelo governo holandês em 2024.

O desafio central: Como auditar e detectar esse viés sem ter acesso aos dados individuais de origem migratória dos estudantes (protegidos por privacidade)?

2. Metodologia

Os autores utilizaram uma abordagem de detecção de viés não supervisionada para reauditar o algoritmo da DUO. A metodologia baseia-se na premissa de que, mesmo sem rótulos demográficos, é possível identificar subgrupos na população que sofrem tratamento desigual através de técnicas de agrupamento (clustering).

Passos da Metodologia:

1. Dados: Utilizaram dados processados pelo algoritmo da DUO (2014 e 2019), contendo cerca de 298.882 estudantes. Os dados incluíam as características de entrada (educação, idade, distância) e a pontuação de risco gerada.
2. Ferramenta de Detecção (HBAC): Aplicaram o algoritmo Hierarchical Bias-Aware Clustering (HBAC). Este algoritmo itera sobre o conjunto de dados, dividindo-o recursivamente em clusters para isolar grupos onde a métrica de viés apresenta a maior variância (desigualdade).
   • Métrica de Viés: Definida como a probabilidade de um estudante ser classificado como "alto risco". O objetivo é verificar se essa probabilidade é igual entre diferentes grupos (Paridade Demográfica).
   • Melhorias Metodológicas: Os autores propuseram melhorias ao HBAC original, incluindo:
     • Uso de k-modes para lidar com variáveis categóricas.
     • Divisão de Amostra (Sample Splitting): O conjunto de dados é dividido em 80% (treino/clustering) e 20% (teste). Isso evita o overfitting e garante que a detecção de viés seja estatisticamente válida em dados não vistos.
     • Correção de Bonferroni: Aplicada para ajustar testes de hipóteses múltiplas, reduzindo a taxa de falsos positivos.
3. Validação (Pós-hoc): Embora o algoritmo não use dados demográficos para criar os clusters, os autores utilizaram estatísticas agregadas fornecidas pelo Escritório de Estatística Holandês (CBS) para estimar a proporção de estudantes com origem migratória não europeia em cada cluster identificado. Isso serviu para validar se os clusters "injustos" encontrados pelo algoritmo não supervisionado correspondiam aos grupos demográficos conhecidos como prejudicados.

3. Contribuições Principais

O artigo apresenta duas contribuições fundamentais:

1. Auditoria em Larga Escala de Discriminação Indireta: Demonstração prática de como auditar um sistema de decisão governamental de alto impacto (bolsas de estudo) que afetou centenas de milhares de pessoas, validando a eficácia de métodos não supervisionados na ausência de dados sensíveis.
2. Ferramenta de Código Aberto: Disponibilização de uma biblioteca Python e uma aplicação web de código aberto que implementa o método de detecção de viés não supervisionado. A ferramenta inclui as melhorias metodológicas (correção estatística e suporte a dados categóricos) para permitir que auditores internos e externos apliquem o método em seus próprios conjuntos de dados.

4. Resultados

A aplicação da ferramenta no conjunto de dados de 2014 (n = 214.599) e 2019 (n = 50.233) produziu os seguintes resultados:

• Identificação de Clusters: O algoritmo não supervisionado identificou clusters distintos com diferenças estatisticamente significativas na taxa de classificação de "alto risco".
  • No cluster com maior viés (Cluster 3 em 2014), 50% dos estudantes foram classificados como "alto risco", comparado a apenas 3% e 19% nos outros clusters.
• Correlação com Demografia: Ao cruzar os clusters com as estatísticas agregadas do CBS:
  • O cluster com maior viés (Cluster 3) tinha uma estimativa de 41% de estudantes com origem migratória não europeia.
  • Os clusters com menor viés tinham estimativas de 10% a 17%.
• Características Proxy: A análise revelou que as características usadas pelo algoritmo (educação profissional MBO, idade 15-18 ou 25-50, e distância curta dos pais) atuam como proxies (indicadores indiretos) fortes para origem migratória não europeia.
• Validação Estatística: Os testes de hipótese (usando teste qui-quadrado de Pearson com correção de Bonferroni) confirmaram que as diferenças nas métricas de viés entre os clusters não eram devidas ao acaso (p-valor < 0,001).

5. Significância e Conclusão

O estudo demonstra que aprendizado não supervisionado é uma ferramenta viável e poderosa para a auditoria de algoritmos quando dados demográficos protegidos não estão disponíveis.

• Validação Legal e Ética: A ferramenta serve como um ponto de partida para avaliações deliberativas por especialistas humanos. Ela sinaliza onde a discriminação indireta pode estar ocorrendo, permitindo que auditores investiguem se as regras neutras violam leis de não discriminação (como a Convenção Europeia dos Direitos Humanos).
• Transparência e Acessibilidade: Ao fornecer a ferramenta como código aberto e com interface web, os autores democratizam o acesso à auditoria algorítmica, permitindo que organizações sem expertise técnica profunda detectem potenciais vieses em seus sistemas.
• Implicações Práticas: O caso da DUO ilustra que algoritmos simples e baseados em regras podem ser tão discriminatórios quanto modelos complexos de machine learning, e que a supervisão humana e ferramentas de auditoria robustas são essenciais para a governança de IA no setor público.

Em suma, o trabalho prova que é possível detectar e quantificar discriminação algorítmica sistêmica sem violar a privacidade dos indivíduos, utilizando apenas os dados de entrada e saída do sistema, validado posteriormente por estatísticas agregadas.