🤖 AI

SOMtime the World Ain $'$ t Fair: Violating Fairness Using Self-Organizing Maps

Este artigo demonstra que a suposição de justiça através da não consciência é falsa no aprendizado não supervisionado, mostrando que os Mapas Auto-Organizáveis (SOMtime) podem inadvertidamente codificar atributos sensíveis como idade e renda como eixos latentes dominantes mesmo quando esses atributos são excluídos do treinamento, criando, assim, riscos significativos de justiça a jusante.

Autores originais: Joseph Bingham, Netanel Arussy, Dvir Aran

Publicado 2026-07-09

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Joseph Bingham, Netanel Arussy, Dvir Aran

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está construindo um mapa mágico gigante de uma cidade, mas estabeleceu uma regra estrita: você não tem permissão para olhar para as placas de rua que dizem "Bairro Rico" ou "Cidade Velha". Você só tem as formas dos edifícios e as cores dos telhados. A grande suposição no mundo da ciência da computação sempre foi: "Se você não olhar para as placas, seu mapa será totalmente neutro. Ele não mostrará acidentalmente onde as pessoas ricas vivem ou qual é a idade dos residentes."

Este artigo, intitulado "SOMtime the World Ain't Fair" (Às vezes o Mundo Não é Justo), vem dizer: "Na verdade, essa suposição está errada."

Os autores, uma equipe da Universidade Technion, descobriram que mesmo quando você esconde informações sensíveis como idade ou renda de um computador, o computador ainda pode construir um mapa onde esses segredos se alinham perfeitamente em uma linha reta e fácil de ler. Eles chamam isso de "vazamento de atributo sensível estruturado" (structured sensitive-attribute leakage). Não é apenas que o segredo está escondido em algum lugar do mapa; é que o segredo está organizado em uma rodovia clara e nomeada que atravessa o meio dele.

O Criador de Mapas Mágicos: SOMtime

Para encontrar essa rodovia oculta, os autores usaram uma ferramenta especial chamada SOMtime (baseada em Mapas Auto-Organizáveis). Pense no SOMtime como um bibliotecário super organizado que pega uma pilha bagunçada de livros (dados) e os arranja em uma grade gigante.

Aqui está o truque: Quando os autores alimentaram este bibliotecário com dados sobre pessoas, mas esconderam sua idade e renda, o bibliotecário não apenas embaralhou os livros aleatoriamente. Em vez disso, o bibliotecário os organizou de modo que, se você caminhasse de uma extremidade da grade para a outra, você naturalmente passaria de "jovem" para "velho" ou de "baixa renda" para "alta renda".

Em seus testes, esta ferramenta encontrou uma linha reta onde a idade e a renda estavam perfeitamente ordenadas. Em um conjunto de dados chamado World Values Survey, a conexão entre essa linha oculta e a idade real das pessoas era incrivelmente forte, com um índice de correlação de até 0,85. Para colocar em perspectiva, se você desenhasse uma linha através dos dados, você preveria a idade quase perfeitamente.

Os "Outros" Ferramentas Falharam no Teste

Os autores não usaram apenas o SOMtime; eles o compararam com os suspeitos habituais do mundo dos dados: PCA, UMAP, t-SNE, Autoencoders e Isomap. Estas são as ferramentas padrão que as pessoas usam para dar sentido aos grandes volumes de dados.

O artigo descobriu que essas outras ferramentas foram terríveis em encontrar essa rodovia oculta. Mesmo quando os autores deram a elas todas as chances de rotacionar o mapa ou olhar em todas as direções possíveis, o melhor que conseguiram foi uma correlação de cerca de 0,44. Na verdade, para alguns conjuntos de dados, as ferramentas padrão obtiveram uma pontuação de 0,00, o que significa que não encontraram absolutamente nenhuma conexão entre o mapa e a idade ou renda ocultas.

Os autores provaram que isso não é apenas porque o SOMtime é uma ferramenta "maior" ou "mais inteligente"; eles testaram um Autoencoder massivo (um modelo de deep learning com 1,4 milhão de parâmetros) que podia reconstruir os dados quase perfeitamente (com um erro de apenas 0,001). No entanto, mesmo este modelo gigante não conseguiu encontrar a rodovia oculta; ele alcançou apenas uma correlação de 0,34.

Isso prova que a magia não é sobre ter mais poder de computação; é sobre como a ferramenta organiza os dados. O SOMtime usa um método específico chamado "aprendizado competitivo" que naturalmente puxa sinais fracos de todos os lugares e os alinha em uma única direção clara. As outras ferramentas, como o PCA, tendem a ignorar esses sinais fracos se eles não forem os recursos mais fortes ou mais barulhentos na sala.

Por Que Isso Importa: A Armadilha da "Justiça"

O artigo argumenta que não podemos simplesmente dizer: "Não contamos ao computador sobre a idade, então é justo". Essa ideia é chamada de "justiça através da ignorância" (fairness through unawareness), e este artigo mostra que ela é uma defesa fraca.

Se um mapa organiza as pessoas por idade ao longo de uma linha reta, então qualquer decisão tomada usando esse mapa será acidentalmente enviesada pela idade.

Se você usar o mapa para agrupar pessoas em bairros (clustering), os grupos serão segregados por idade.
Se você usar o mapa para recomendar produtos, as recomendações serão baseadas na idade.
Se você usar o mapa para visualizar dados, a imagem mostrará gradientes de idade.

Os autores provaram matematicamente que, se este "vazamento" existe em um nível de correlação de r, ele garante uma quantidade específica de injustiça (disparidade de grupo) para qualquer tarefa que utilize o mapa. Não é apenas uma possibilidade; é uma certeza matemática.

O Que o Artigo Descarta

Os autores são muito claros sobre o que isso não é:

Não é apenas "sondagem" (probing): Normalmente, para descobrir se um mapa é tendencioso, treina-se uma "sonda" separada (uma mini-IA) para adivinhar o segredo. Os autores mostram que o SOMtime encontra o viés sem precisar de uma sonda. O viés é visível apenas olhando para a forma do mapa.
Não é apenas "topologia": Eles testaram o Isomap, outra ferramenta que preserva a forma dos dados. O Isomap falhou em encontrar a rodovia oculta (pontuando perto de 0,00 em alguns casos). Isso prova que simplesmente preservar a "forma" dos dados não é suficiente; a maneira específica como o SOMtime organiza a grade é o que cria a linha ordenada e clara.
Não é sobre sinais "fortes": Os autores removeram as características que estavam mais fortemente ligadas à idade (como remover a coluna "Idade" inteira e filtrar qualquer outra coluna que fosse óbvia demais). Mesmo com esses sinais fracos e dispersos, o SOMtime ainda encontrou o padrão.

A Conclusão

O artigo não oferece uma solução para tornar esses mapas justos. Em vez disso, ele oferece uma lanterna. Ele nos mostra que o aprendizado não supervisionado (aprender sem rótulos) não é neutro. Ele pode organizar secretamente os dados por traços sensíveis como idade e renda, criando um "eixo nomeado" que qualquer pessoa que use os dados seguirá acidentalmente.

Os autores mediram isso em dados do mundo real de cinco países e em um enorme conjunto de dados de censo. Eles descobriram que, enquanto as ferramentas padrão podem perder o viés, o SOMtime o expõe claramente, com índices de correlação de até 0,85. A mensagem é simples: se você quer verificar se sua IA é justa, você não pode apenas verificar a resposta final. Você tem que verificar o mapa sobre o qual ela foi construída, porque o mapa já pode estar classificado pelos próprios segredos que você tentou esconder.

Resumo Técnico: SOMtime – Violando a Equidade com Mapas Auto-Organizáveis

Declaração do Problema

O artigo desafia a suposição generalizada de "equidade através da ignorância" (fairness through unawareness) no aprendizado de máquina não supervisionado. Essa suposição postula que, se atributos sensíveis (ex: idade, renda, raça) forem omitidos dos atributos de entrada durante o treinamento, as representações resultantes (embeddings) serão neutras e livres de viés discriminatório. Os autores argumentam que isso é falso. Eles demonstram que as representações não supervisionadas podem codificar informações sensíveis não meramente como ruído recuperável, mas como um vazamento de atributo sensível estruturado: informação organizada ao longo de um eixo geométrico único e interpretável (uma ordenação monotônica) dentro do espaço de embedding.

Este vazamento é particularmente insidioso porque ocorre antes de qualquer tarefa supervisionada ser definida. Consequentemente, qualquer aplicação downstream que dependa desses embeddings — como agrupamento (clustering), sistemas de recomendação ou visualização — herda um risco de equidade por padrão. O artigo postula que os métodos de auditoria padrão, que frequentemente dependem de classificadores de sondagem (probing classifiers) ou estimativa de informação mútua, podem falhar em detectar esse tipo específico de organização geométrica global, especialmente quando o sinal sensível está distribuído em muitos recursos fracos, em vez de concentrado em alguns poucos proxies fortes.

Metodologia: SOMtime

Os autores propõem o SOMtime, uma ferramenta de auditoria de preservação de topologia baseada em Mapas Auto-Organizáveis (SOMs) de alta capacidade. Diferente do uso padrão de SOM para visualização, o SOMtime é projetado especificamente para expor o vazamento estruturado.

Mecanismo Central

Discretização de Preservação de Topologia: Os dados de entrada são mapeados em uma grade discreta 2D de vetores protótipos usando um Mapa Auto-Organizável (SOM). O tamanho do mapa é escalado heuristicamente ( $K = 5 \cdot N^{0.54}$ ) para garantir alta resolução.
Construção de Embedding 3D: Para permitir uma análise contínua, a grade discreta do SOM é transformada em um embedding 3D. Cada observação recebe:
- Coordenadas $(x, y)$ : A posição de sua Unidade de Melhor Correspondência (BMU) na grade.
- Coordenada $z$ : O erro de quantização ( $\|x_i - w_{j^*}\|$ ), referido como "energia de ativação".
Recuperação de Eixo: O método analisa a geometria dos centroides das unidades do SOM para identificar uma trajetória onde o atributo sensível varia monotonicamente. Isso é alcançado via um procedimento de vizinho mais próximo guloso que constró de um caminho ao longo da grade.
Métrica de Auditoria: A força do vazamento é quantificada pela correlação de Spearman ( $\rho$ ) entre o atributo sensível omitido e a posição ao longo do caminho monotônico recuperado (especificamente o eixo de ativação $z$ ).

Fundamentação Teórica

O artigo estabelece uma ponte teórica entre vazamento estruturado e violação de equidade:

Definição: O vazamento estruturado ocorre quando um atributo sensível $s$ é codificado ao longo de uma única direção linear $\hat{v}$ no espaço de embedding com correlação $r$ .
Limite de Disparidade: Os autores provam que, se o vazamento estruturado existe ao nível de correlação $r$ , ele induz um limite inferior quantitativo para a pior disparidade de grupo para qualquer função Lipschitz atuando sobre o embedding. Especificamente, a separação de média de grupo é exatamente $|r|\sigma_\zeta / \sqrt{p(1-p)}$ , onde $p$ é a prevalência do grupo.
Contraste de Mecanismo: O artigo contrasta os SOMs com a Análise de Componentes Principais (PCA). O PCA suprime sinais em direções de baixa variância; se um atributo sensível estiver distribuído em muitos recursos com correlações individuais fracas, o PCA trunca esse sinal. Em contraste, os SOMs preservam sinais Lipschitz-contínuos independentemente da variância, permitindo que agreguem sinais fracos distribuídos em uma estrutura geométrica coerente.

Configuração Experimental

Os autores avaliaram o SOMtime contra cinco baselines (PCA, UMAP, t-SNE, Autoencoders e Isomap) em dois conjuntos de dados do mundo real, omitindo estritamente os atributos sensíveis durante o aprendizado de representação:

World Values Survey (WVS): Dados de cinco países (Canadá, Romênia, Alemanha, China, EUA) usando questões de ética/moral, com a idade como o atributo omitido.
Census-Income (KDD): Dados demográficos e econômicos, com idade, renda e ganhos de capital omitidos.

Pré-processamento: Para simular um modelo de ameaça realista onde proxies fortes são removidos, os autores filtraram recursos com alta correlação ao atributo sensível. Isso deixou um regime onde nenhum recurso individual era um indicador forte, forçando os métodos a depender da agregação de sinais fracos distribuídos.

Principais Resultados

1. Recuperação Superior da Estrutura Sensível

O SOMtime superou significativamente todos os baselines na recuperação da ordenação monotônica dos atributos sensíveis:

WVS (Idade): O SOMtime alcançou correlações de Spearman entre 0,52 e 0,85 entre os países. O baseline mais forte (PCA) atingiu, no máximo, 0,44.
Census (Idade/Renda/Ganhos): O SOMtime alcançou correlações de 0,83 (Idade), 0,69 (Renda) e 0,43 (Ganhos). Os baselines atingiram o pico de 0,22–0,40.
Invariância de Rotação: Mesmo ao avaliar os baselines sob uma métrica invariante à rotação (buscando a melhor direção linear no embedding), a liderança do SOMtime persistiu. O fator de melhoria variou de 1,7x a 5,4x.

2. Validação do Mecanismo

Capacidade vs. Topologia: Grandes Autoencoders (1,4M de parâmetros) alcançaram uma reconstrução quase perfeita (MSE $\approx$ 0,001), mas falharam em recuperar a estrutura sensível (Spearman máx $\approx$ 0,34). Isso confirma que o vazamento não se deve à capacidade do modelo, mas à dinâmica de aprendizado competitivo e à topologia de grade fixa dos SOMs.
Especificidade da Preservação de Topologia: O Isomap, outro método de preservação de topologia, teve desempenho semelhante ao PCA e UMAP (Spearman máx $\approx$ 0,43) e falhou em recuperar a estrutura em vários casos. Isso indica que a vantagem é específica dos SOMs, não da preservação de topologia em geral.
Força do Sinal: A lacuna de desempenho foi maior onde o sinal por recurso era mais fraco (ex: Ganhos de Capital), apoiando a hipótesia de que os SOMs agregam unicamente sinais fracos distribuídos.

3. Recuperação de Trajetória

O procedimento de recuperação de trajetória reconstruiu com sucesso a ordenação dos grupos sensíveis (ex: faixas etárias) a partir do embedding 3D com alta precisão (ex: 100% para WVS Canadá, 0,82 para Census Idade), excedendo em muito o acaso.

Significância e Alegações

O artigo apresenta as seguintes alegações quanto à sua contribuição:

Refutação da Neutralidade: Representações não supervisionadas não são neutras; elas podem codificar atributos sensíveis como eixos geométricos dominantes, mesmo quando esses atributos são explicitamente excluídos do treinamento.
Vazamento Estruturado: Os autores definem e demonstram uma forma específica de vazamento — o vazamento de atributo sensível estruturado — onde a informação é organizada ao longo de um eixo interpretável, distinta do mero vazamento "recuperável por sondagem".
Necessidade de Auditoria: A auditoria para equidade deve se estender além de preditores supervisionados e classificadores de sondagem para incluir representações não supervisionadas. Como o vazamento estruturado cria um "eixo nomeado", ele é auditável antes que as tarefas downstream (agrupamento, visualização) sejam executadas.
Ponte Teórica: O trabalho formaliza o vínculo entre a ordenação monotônica em embeddings e as violações de equidade downstream, provando que a existência de tal ordenação garante um limite inferior para a disparidade de grupo para qualquer tarefa Lipschitz contínua.

Os autores posicionam o SOMtime não como uma ferramenta de mitigação de equidade, mas como uma lente diagnóstica que torna explícita a organização geométrica "invisível" dos dados sensíveis, permitindo assim a governança e a auditoria em pipelines de ML modernos que dependem de fundamentos não supervisionados.