🤖 machine learning

A Geometric Theory of Robust Fairness Audits

Este artigo introduz um arcabouço geométrico para analisar e quantificar a robustez de auditorias de equidade baseadas em vizinhança contra perturbações de atributos, estabelecendo condições para estabilidade e propondo uma nova métrica chamada "volatilidade de auditoria" para medir sua sensibilidade.

Autores originais: Binita Maity

Publicado 2026-08-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Binita Maity

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo moderno, os algoritmos tomam cada vez mais decisões que moldam vidas humanas, desde a aprovação de empréstimos e o diagnóstico de doenças até a determinação da elegibilidade para liberdade condicional. À medida que esses sistemas se tornam mais poderosos, a sociedade desenvolveu uma necessidade crítica de garantir que eles tratem as pessoas de forma justa. Uma abordagem importante para verificar a equidade foca na ideia de que indivíduos semelhantes devem receber resultados semelhantes. Para testar isso, os auditores frequentemente analisam os dados de uma pessoa e comparam seu resultado com os resultados de seus vizinhos mais próximos no conjunto de dados. Se duas pessoas são quase idênticas em suas características, mas recebem pontuações vastamente diferentes, o sistema é sinalizado como potencialmente injusto. Este método, conhecido como auditoria baseada em vizinhança, tornou-se uma ferramenta padrão para avaliar modelos de aprendizado de máquina porque é flexível e pode detectar injustiças localizadas que estatísticas amplas poderiam ignorar.

No entanto, uma nova preocupação surgiu em relação à confiabilidade dessas próprias auditorias. O processo de encontrar os "vizinhos" de uma pessoa depende da posição precisa dos pontos de dados em um espaço matemático. No mundo real, os dados raramente são perfeitos; eles contêm pequenos erros, valores ausentes ou variações sutis causadas pela forma como as informações foram registradas ou limpas. Esses pequenos deslocamentos podem empurrar uma pessoa o suficiente para mudar quem são seus vizinhos mais próximos. Se os vizinhos mudam, a pontuação de equidade muda, mesmo que a previsão do modelo subjacente para aquela pessoa permaneça exatamente a mesma. Isso levanta uma questão preocupante: um achado de injustiça é uma falha genuína no sistema ou é meramente um artefato de um processo de medição instável?

Pesquisadores do Instituto Indiano de Tecnologia de Gandhinagar desenvolveram uma nova maneira de entender este problema. Eles trataram o processo de auditoria não apenas como uma verificação estatística, mas como uma verificação geométrica, mapeando exatamente como pequenas mudanças nos dados afetam a estabilidade desses grupos de vizinhos. O trabalho deles estabelece que a estabilidade de uma auditoria de equidade depende inteiramente de quão claramente separados os vizinhos de uma pessoa estão de todos os outros no conjunto de dados. Eles descobriram que, se os vizinhos de uma pessoa são distintamente mais próximos dela do que qualquer outro não-vizinho, o resultado da auditoria permanecerá estável mesmo se os dados forem levemente perturbados. Mas se os vizinhos estiverem amontoados junto com o restante da população, até mesmo um pequeno empurrão pode trocá-los, fazendo com que a pontuação de equidade oscile drasticamente.

A equipe introduziu um conceito que chamam de "volatilidade de auditoria" para medir o quanto se espera que uma pontuação de equidade flutue quando os dados são submetidos a perturbações pequenas e repetidas. Ao testar sua teoria em conjuntos de dados do mundo real envolvendo renda, marketing bancário e registros de justiça criminal, eles confirmaram que a geometria dos dados é o principal motor da estabilidade. Em conjuntos de dados onde os indivíduos estão claramente agrupados com seus verdadeiros pares, as auditorias permaneceram robustas e consistentes. Em contraste, em conjuntos de dados onde os indivíduos estavam mais misturados, houve alta volatilidade, o que significa que os vereditos de equidade eram altamente sensíveis a pequenas mudanças nos dados. Os pesquisadores demonstraram que a escolha de como se faz a média dos resultados também importa; usar métodos que sejam menos sensíveis a valores extremos pode reduzir ainda mais essa instabilidade.

Crucialmente, o estudo mostra que a imprevisibilidade das auditorias de equidade não é um mistério, mas uma propriedade geométrica calculável. Os pesquisadores provaram que a quantidade de mudança em uma pontuação de equidade está diretamente ligada ao número de vizinhos que são substituídos durante uma perturbação. Eles descobriram que a mudança máxima na distância entre quaisquer dois pontos é limitada pelo tamanho da perturbação, e esse limite dita o quanto a vizinhança local pode mudar. Quando aplicaram essas descobertas a conjuntos de dados padrão, o comportamento observado coincidiu perfeitamente com suas previsões. As auditorias foram mais estáveis em regiões onde a "margem de separação local" — o intervalo entre os vizinhos mais próximos de uma pessoa e o grupo seguinte mais próximo — era grande.

Este trabalho desloca o foco de simplesmente construir melhores modelos para compreender a confiabilidade das ferramentas usadas para medi-los. Sugere que, antes de declarar um sistema injusto, os auditores devem primeiro verificar se a estrutura de vizinhança é estável o suficiente para sustentar tal conclusão. Se a geometria dos dados for muito frouxa, a própria auditoria torna-se um instrumento não confiável, incapaz de distinguir entre viés genuíno e ruído aleatório. Os pesquisadores fornecem uma estrutura para calcular exatamente quanta confiança se pode depositar em uma avaliação de equidade baseada na estrutura subjacente dos dados. Ao quantificar essa vulnerabilidade, eles oferecem uma maneira de projetar procedimentos de auditoria mais robustos que possam resistir às imperfeições inevitáveis dos dados do mundo real, garantindo que o julgamento de equidade seja tão sólido quanto os dados nos quais se apoia.

Resumo Técnico: Uma Teoria Geométrica de Auditorias de Equidade Robustas

Declaração do Problema

Auditorias de equidade baseadas em vizinhança são um método padrão para avaliar a equidade individual na tomada de decisão algorítmica. Essas auditorias operam sob a premissa de que indivíduos semelhantes (definidos por proximidade no espaço de características) devem receber previsões semelhantes. Tipicamente, isso é implementado comparando a previsão de um indivíduo contra as de seus $k$ -vizinhos mais próximos (k-NN).

Embora amplamente utilizadas devido à sua natureza agnóstica ao modelo e capacidade de detectar inequidade localizada, a robustez do próprio procedimento de auditoria tem sido amplamente negligenciada. A literatura existente foca em tornar os modelos de previsão robustos a perturbações adversariais, mas assume que o mecanismo de auditoria é estável. Na prática, no entanto, pequenas perturbações no espaço de características — causadas por ruído, pré-processamento, normalização ou valores ausentes — podem alterar as relações de vizinhança. Essa "substituição de vizinhança" pode levar a avaliações de equidade significativamente diferentes para o exato mesmo modelo, tornando difícil distinguir a inequidade genuína da instabilidade da auditoria. Não existe atualmente um arcabouço teórico que explique quando essas auditorias permanecem estáveis sob perturbações de características ou como mudanças geométricas se propagam para os resultados da auditoria.

Metodologia

O autor propõe um arcabouço geométrico unificado para analisar a robustez de auditorias de equidade baseadas em vizinhança sob perturbações limitadas no espaço de características.

1. Formalização das Auditorias

O arcabouço modela uma auditoria de equidade local como um processo de duas etapas:

Avaliação de Equidade Pareada: Uma função $g$ avalia a relação de equidade entre um indivíduo $x_i$ e seus vizinhos $x_j \in N_k(i)$ .
Agregação: Um operador $\Phi$ agrega esses escores pareados em um único escore de auditoria local $A_i(X)$ .

O autor restringe sua análise a operadores de agregação Lipschitzianos (Definição 1). Esta classe inclui médias aritméticas, médias ponderadas, médias aparadas (trimmed means) e estimadores M robustos, garantindo que o arcabouço se aplique a uma ampla gama de métodos de auditoria existentes (ex: auditorias baseadas em consistência, FaiTH).

2. Modelo de Perturbação Geométrica

A análise assume um modelo de previsão fixo $f$ e um conjunto de dados $X$ imerso em um espaço métrico $(M, d)$ . Um conjunto de dados perturbado $X'$ é definido como uma perturbação geométrica $\epsilon$ -limitada se a distância entre qualquer ponto original $x_i$ e sua versão perturbada $x'_i$ for no máximo $\epsilon$ .

O conceito geométrico central introduzido é a Margem de Separação Local ( $\gamma_i$ ), definida como a diferença entre a distância até o vizinho mais distante e a distância até o vizinho mais próximo que não é vizinho:
$\gamma_i = \min_{x_j \notin N_k(i)} d(x_i, x_j) - \max_{x_j \in N_k(i)} d(x_i, x_j)$

3. Derivação Teórica

O artigo estabelece uma cadeia de garantias de estabilidade:

Estabilidade de Distância: Perturbações limitadas ( $\epsilon$ ) resultam em mudanças de distância pareada de no máximo $2\epsilon$ (Lema 1).
Redução de Margem: A margem de separação local diminui em no máximo $4\epsilon$ (Lema 2).
Invariância de Vizinhança: Se a margem de separação original $\gamma_i > 4\epsilon$ , o conjunto de $k$ -vizinhos mais próximos permanece invariante (Teorema 3).
Estabilidade de Auditoria: Quando as vizinhanças mudam, o desvio no escore de auditoria é limitado pela constante de Lipschitz do operador de agregação ( $L_\Phi$ ), o escore pareado máximo ( $M$ ) e o tamanho do conjunto de substituição de vizinhança ( $|R_i|$ ) (Teorema 6).
Volatilidade de Auditoria: O autor introduz a Volatilidade de Auditoria ( $\kappa$ ), definida como a variação esperada do escore de auditoria sob repetidas perturbações estocásticas. Eles provam que a volatilidade é limitada pelo tamanho esperado do conjunto de substituição de vizinhança (Teorema 8).

Principais Contribuições

Formulação do Problema: O artigo desloca o foco da robustez na aprendizagem de máquina justa da previsibilidade do modelo de previsão para a confiabilidade do próprio procedimento de auditoria.
Arcabouço Unificado: Fornece uma abstração geométrica para auditorias de vizinhança como agregações Lipschitzianas, unificando vários métodos existentes sob um único guarda-chuva teórico.
Garantias de Robustez: O autor deriva garantias de robustez determinísticas, probabilísticas e esperadas. Eles identificam a margem de separação local como um certificado geométrico suficiente para a preservação de vizinhança e a substituição de vizinhança como o mecanismo fundamental que impulsiona a instabilidade da auditoria.
Medida Quantitativa: A introdução da Volatilidade de Auditoria oferece uma medida quantitativa da sensibilidade esperada das auditorias de equidade sob repetidas perturbações.

Resultados Experimentais

O arcabouço teórico foi validado em três conjuntos de dados de referência: Adult Income, Bank Marketing e COMPAS.

Estabilidade Geométrica: Experimentos confirmaram que as distorções de distância pareada observadas e as reduções nas margens de separação permaneceram bem abaixo dos limites teóricos de $2\epsilon$ e $4\epsilon$ , respectivamente.
Preservação de Vizinhança: A Taxa de Preservação de Vizinhança (NPR) diminuiu monotonicamente à medida que o raio de perturbação aumentava. Conjuntos de dados com margens de separação intrínsecas maiores (Adult, Bank) mantiveram maior estabilidade em comparação ao COMPAS.
Mecanismo de Instabilidade de Auditoria: Os resultados demonstraram uma forte correlação entre a quantidade de substituição de vizinhança e a volatilidade da auditoria. Em diferentes modelos de perturbação (uniforme, Gaussiana, esparsa), a volatilidade da auditoria foi determinada principalmente pela extensão da substituição de vizinhança, apoiando a natureza independente de distribuição da teoria.
Sensibilidade de Agregação: Comparar diferentes operadores de agregação (média aritmética, média aparada, mediana, pior vizinho) mostrou que operadores com constantes de Lipschitz menores (ex: média aparada, mediana) produziram menor volatilidade de auditoria, confirmando que a sensibilidade da agregação é um determinante chave da robustez.
Geometria do Conjunto de Dados: Os experimentos verificaram que conjuntos de dados com margens de separação local maiores exibiram significativamente menor substituição de vizinhança e volatilidade de auditoria, aproximando-se de zero para vizinhanças bem separadas.

Significância e Alegações

O artigo afirma fornecer o primeiro arcabouço teórico para analisar a estabilidade de auditorias de equidade locais sob perturbações no espaço de características. Sua principal significância reside em:

Diagnosticar Instabilidade: Identifica que a instabilidade da auditoria não é apenas um resultado da sensibilidade do modelo, mas é fundamentalmente impulsionada pela fragilidade geométrica das vizinhanças locais (especificamente, a substituição de vizinhos).
Poder Preditivo: O arcabouço permite que profissionais prevejam a estabilidade da auditoria com base nas propriedades geométricas do conjunto de dados (margens de separação) e na escolha do operador de agregação, em vez de depender apenas de observação empírica.
Confiabilidade de Medição: Ao tratar a equidade como um problema de medição, o trabalho complementa os esforços existentes em IA responsável ao oferecer ferramentas para quantificar e mitigar a falta de confiabilidade introduzida pelo pré-processamento de dados e ruído nas avaliações de equidade.

O autor conclui que a substituição de vizinhança é o mecanismo geométrico chave que governa a estabilidade da auditoria e que o arcabouço proposto estabelece uma base principiológica para o design de métodos de auditoria de equidade baseados em vizinhança mais robustos.