Locating Demographic Bias at the Attention-Head Level in CLIP's Vision Encoder

Este artigo propõe um método de auditoria de justiça mecanicista que localiza e mitiga vieses demográficos em cabeças de atenção individuais do codificador de visão do CLIP, demonstrando que o viés de gênero é mais localizável e passível de correção do que o viés de idade.

O essencial

Imagine que o CLIP (o modelo de inteligência artificial estudado neste artigo) é como um grande escritório de detetives que tenta adivinhar qual é a profissão de uma pessoa apenas olhando para uma foto dela.

O problema é que, como esse escritório foi treinado lendo milhões de livros e vendo milhões de fotos da internet, ele aprendeu alguns preconceitos da sociedade. Por exemplo, ele tende a achar que uma mulher na foto é uma "enfermeira" e não uma "médica", mesmo que ela esteja vestida como médica.

Até agora, os cientistas sabiam que o detetive estava errado, mas não sabiam onde exatamente, dentro da mente do computador, esse preconceito estava escondido. Era como saber que o carro quebrou, mas não saber qual peça específica estava com defeito.

A Grande Descoberta: O "Raio-X" dos Pensamentos

Os autores deste artigo criaram uma técnica de "raio-x" para olhar dentro da mente do computador. Eles dividiram a mente do detetive em pequenos assistentes (chamados de "cabeças de atenção"). Cada assistente olha para a foto e foca em algo diferente: um olha para a cor do uniforme, outro para o fundo, outro para o rosto, etc.

A ideia foi: "Quem é o assistente que está sussurrando 'ela é mulher, então deve ser enfermeira'?"

Eles usaram uma técnica inteligente para identificar esses "assistentes preconceituosos" e, em seguida, fizeram um experimento: desligaram (ablataram) esses assistentes específicos para ver o que acontecia.

O Que Eles Encontraram?

Aqui estão as descobertas principais, explicadas de forma simples:

1. O Preconceito de Gênero está "Escondido" em Poucos Lugares

Quando analisaram o preconceito de gênero (homem vs. mulher), descobriram que ele estava concentrado em apenas 4 assistentes (cabeças) no final do processo de pensamento do computador.

• A Analogia: É como se, em um escritório com 384 funcionários, apenas 4 pessoas estivessem escrevendo bilhetes preconceituosos nas paredes.
• O Resultado: Quando eles "desligaram" esses 4 funcionários, o computador parou de cometer o erro de achar que mulheres são enfermeiras. Mais impressionante ainda: o computador ficou mais preciso no geral! Ele começou a acertar mais a profissão de mulheres médicas.

2. O "Super-Assistente" (L23H4)

Desses 4 assistentes, havia um chefe (chamado L23H4) que era responsável pela grande maioria do erro.

• A Analogia: Imagine que esse chefe é o único que segura o manual de instruções erradas. Se você tirar esse manual da mão dele, o escritório inteiro funciona melhor.
• O Detalhe: Esse chefe específico era o culpado por fazer o computador confundir "médica" com "enfermeira". Ao tirá-lo, a confusão diminuiu drasticamente.

3. O Preconceito de Idade é Diferente

Quando analisaram o preconceito de idade (jovem vs. idoso), a história foi diferente.

• A Analogia: Enquanto o preconceito de gênero estava concentrado em 4 pessoas específicas, o preconceito de idade parecia estar espalhado por todo o escritório, como um cheiro de mofo que vem de todas as paredes, e não de uma única fonte.
• O Resultado: Eles tentaram desligar os assistentes suspeitos de preconceito de idade, mas não funcionou muito bem. O computador continuou cometendo erros. Isso sugere que, para idade, o problema é mais complexo e não está em um único lugar fácil de encontrar.

O Grande Aviso (A Lição Moral)

O artigo termina com um aviso muito importante: Desligar o preconceito não é mágica.

Quando eles desligaram o assistente que fazia o computador achar que "mulheres são enfermeiras", o computador parou de fazer esse erro, mas começou a errar de outro jeito em outros lugares.

• A Analogia: É como se você tirasse o funcionário que sempre dizia "não contrate mulheres". O escritório parou de rejeitar mulheres, mas agora pode estar rejeitando homens em outras situações, ou mudando o foco para outro erro.
• Conclusão: A técnica serve para diagnosticar (descobrir onde está o problema), mas não é uma solução pronta para consertar o sistema de forma perfeita. É como descobrir qual peça do carro está rangendo; você sabe onde está, mas trocar a peça pode exigir um ajuste fino para não desequilibrar o motor.

Resumo Final

Este artigo é como um manual de diagnóstico para a inteligência artificial. Ele nos ensina que:

1. Podemos encontrar exatamente onde o preconceito vive dentro da "mente" do computador.
2. O preconceito de gênero é fácil de achar (está em poucos lugares), mas o de idade é difícil (está espalhado).
3. Entender isso é o primeiro passo para criar uma IA mais justa, mas precisamos ter cuidado para não apenas "mudar o erro" de um lugar para outro.

É um passo gigante para tornar a tecnologia mais transparente e menos injusta!

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Locating Demographic Bias at the Attention-Head Level in CLIP's Vision Encoder", apresentado em português:

1. Problema e Motivação

Os modelos fundamentais (foundation models) multimodais, como o CLIP, replicam sistematicamente vieses sociais presentes em seus dados de treinamento. Embora as auditorias de justiça padrão consigam quantificar que um modelo é tendencioso (ex: classificando erroneamente médicas como enfermeiras), elas não conseguem explicar onde dentro da rede neural essa discriminação reside.

A lacuna identificada é a falta de ferramentas para localizar mecanicamente o viés demográfico em nível de componentes internos (cabeças de atenção) em codificadores de visão discriminativos. Enquanto trabalhos anteriores focaram em modelos generativos ou em nível de camadas inteiras, este artigo busca mapear o viés até o nível individual das cabeças de atenção nos Transformers de Visão (ViT).

2. Metodologia Proposta

O authors propõem uma auditoria de justiça mecanicista que combina três técnicas principais para localizar e validar cabeças de atenção responsáveis por vieses demográficos no codificador de visão do CLIP (ViT-L-14):

• Decomposição do Fluxo Residual Projetado: Utiliza a hipótese do fluxo residual para decompor a representação final da imagem nas contribuições aditivas de cada uma das 384 cabeças de atenção (24 camadas × 16 cabeças).
• Ranking de Cabeças via CAV Zero-Shot (Concept Activation Vectors):
  • Adapta o conceito de CAV para um cenário zero-shot. Em vez de treinar classificadores lineares em imagens rotuladas, as direções dos conceitos são derivadas diretamente dos embeddings de texto do codificador de texto do CLIP.
  • São definidos protótipos textuais para atributos demográficos (Gênero: Masculino, Feminino, Não-binário; Idade: Jovem, Adulto, Idoso) e para classes de ocupação.
  • Para cada cabeça, calcula-se a similaridade de cosseno entre o centróide visual da cabeça e os protótipos de texto. Cabeças que alinham mais fortemente com protótipos demográficos do que com a ocupação relevante são classificadas como candidatas a viés.
• Análise TextSpan Aumentada por Viés:
  • Estende o algoritmo TextSpan (que gera rótulos legíveis para humanos do que uma cabeça codifica) adicionando os protótipos demográficos ao dicionário de texto original.
  • Se um protótipo demográfico (ex: "Mulher") aparecer entre os textos explicativos de topo de uma cabeça, isso fornece validação qualitativa independente do ranking quantitativo.
• Validação por Ablação Média (Mean Ablation):
  • Para confirmar causalidade, a saída projetada das cabeças candidatas é substituída pela sua média calculada em todo o conjunto de dados.
  • Controle Aleatório: Para garantir que a redução do viés não seja apenas devido à remoção de capacidade de atenção, o experimento é comparado com a ablação de cabeças aleatórias da mesma camada (controle pareado por camada).

3. Configuração Experimental

• Modelo: CLIP ViT-L-14 (codificador de visão).
• Dataset: Subset do benchmark FACET, contendo 42 classes de profissões (25.416 imagens), anotadas por Gênero e Idade.
• Métricas:
  • Viés: Medido pelo V de Cramér (efeito de tamanho independente do tamanho da amostra) derivado de testes de qui-quadrado sobre tabelas de contingência de previsões.
  • Acurácia: Precisão global nas 42 classes.
• Processo de Seleção: Uma busca em grade (grid search) foi realizada para definir os limiares de seleção de cabeças, minimizando o V de Cramér sem reduzir a acurácia.

4. Resultados Principais

A. Viés de Gênero (Resultados Fortes)

• Localização: O pipeline identificou um conjunto compacto de 4 cabeças nas camadas terminais (camadas 21-23) responsáveis pela maior parte do viés de gênero.
• Impacto da Ablação:
  • A ablação dessas 4 cabeças reduziu o viés global (V de Cramér: de 0,381 para 0,362) e, surpreendentemente, melhorou a acurácia global (+0,42%).
  • O controle aleatório não produziu efeitos semelhantes, confirmando a especificidade das cabeças identificadas.
• Dominância de uma Cabeça Única: A cabeça L23H4 (Camada 23, Cabeça 4) foi responsável por 87% da redução total de viés na classe "Médico".
  • Exemplo: Para a classe "Médico", a ablação de L23H4 aumentou a acurácia de mulheres de 13,4% para 26,3%, reduzindo a confusão com "Enfermeiro".
• Redistribuição de Previsões: A correção não é perfeita; ao reduzir o viés em "Médico", a acurácia em "Enfermeiro" diminuiu ligeiramente, indicando que a cabeça estava roteando informações demográficas para a classificação. A ablação remove o sinal demográfico, redistribuindo as previsões para a classe correta, mas não elimina o viés de forma absoluta.

B. Viés de Idade (Resultados Fracos/Difusos)

• Localização: O pipeline identificou cabeças candidatas para viés de idade, mas a ablação produziu efeitos fracos e inconsistentes.
• Impacto: A ablação das cabeças selecionadas para idade resultou em uma redução mínima de viés (V de Cramér: 0,224 → 0,222) e, em alguns casos (como na classe "Guarda"), aumentou ligeiramente o viés.
• Conclusão: Isso sugere que o viés de idade neste modelo é codificado de forma mais difusa (distribuído por muitas cabeças ou camadas) em comparação com o viés de gênero, que se concentra em gargalos específicos nas camadas finais.

5. Contribuições e Significância

1. Metodologia de Diagnóstico: Apresenta uma nova abordagem para localizar viés em nível de cabeças de atenção em codificadores discriminativos, combinando decomposição residual, CAVs zero-shot e TextSpan aumentado.
2. Evidência de Localizabilidade: Demonstra que o viés de gênero em CLIP é altamente localizável em um pequeno número de cabeças terminais, enquanto o viés de idade não é. Isso indica que diferentes atributos protegidos podem exigir estratégias de intervenção distintas.
3. Distinção entre Diagnóstico e Mitigação: O trabalho esclarece que a ablação de cabeças serve como uma ferramenta de diagnóstico causal poderosa, mas não é uma estratégia de mitigação pronta para uso. Remover uma cabeça enviesada pode deslocar o viés para outra direção ou atributo (ex: melhorar "Médico" piorando "Enfermeiro"), em vez de criar um modelo neutro.
4. Interpretabilidade Mecanicista: Fornece evidências de que o roteamento de informações demográficas ocorre através de gargalos específicos na arquitetura do Transformer, permitindo intervenções mais precisas no futuro.

Conclusão

O artigo estabelece que é possível mapear o viés demográfico até o nível de cabeças individuais em modelos de visão modernos. A descoberta de que o viés de gênero é concentrado em poucas cabeças (especialmente L23H4) oferece um alvo claro para futuras pesquisas de intervenção, enquanto a natureza difusa do viés de idade sugere que soluções mais complexas serão necessárias para esse atributo. O estudo reforça a necessidade de auditorias que vão além da métrica de saída para entender a arquitetura interna dos modelos.