A Woman with a Knife or A Knife with a Woman? Measuring Directional Bias Amplification in Image Captions

1. Declaração do Problema

Amplificação de Viés em Legendas de Imagens:
Quando modelos de geração de legendas para imagens são treinados em conjuntos de dados enviesados (por exemplo, legendas escritas por humanos contendo estereótipos sociais), eles frequentemente reproduzem e até amplificam esses vieses em suas saídas geradas. Por exemplo, um modelo pode prever "uma mulher segurando uma faca" com mais frequência do que "um homem segurando uma faca" quando a evidência visual é ambígua, ou vice-versa.

Limitações das Métricas Existentes:
Os métodos atuais para medir a amplificação de viés dividem-se em duas categorias, ambas falhando para legendas de imagens:

1. Métricas baseadas em classificação (por exemplo, BA→, DPA): Estas medem o viés em tarefas de classificação, mas ignoram o significado semântico de frases em linguagem natural. Elas não conseguem distinguir entre "Ele tem uma bola" e "Ele não tem uma bola" se as palavras-chave forem as mesmas.
2. Métricas conscientes da linguagem (por exemplo, LIC, ImgCap2):
   • LIC (Vazamento em Legendagem): Embora compreenda a semântica, é não-direcional. Não consegue distinguir qual atributo causou o viés. Não consegue dizer se o modelo amplificou o viés de prever "mulher" ao ver uma "faca", ou prever "faca" ao ver uma "mulher".
   • ImgCap2: Confunde vieses inerentes à imagem com vieses na legenda, tornando-o inadequado para isolar o comportamento do modelo de legendagem.
   • Problemas de Consistência: As pontuações do LIC variam significativamente dependendo da escolha do codificador de frases (um hiperparâmetro), tornando os resultados pouco confiáveis.

A Lacuna: Não existe nenhuma métrica existente que seja simultaneamente consciente da linguagem (compreende semântica), direcional (identifica a fonte do viés: Atributo $\to$ Tarefa vs. Tarefa $\to$ Atributo) e consistente entre diferentes configurações de modelo.

---

2. Metodologia: Amplificação Direcional de Viés em Legendagem (DBAC)

Os autores propõem o DBAC, uma nova métrica projetada para medir a amplificação de viés em duas direções específicas:

• $A \to T$ (Atributo para Tarefa): A presença de um atributo (por exemplo, Gênero) amplifica a previsão de uma tarefa/objeto (por exemplo, Faca)?
• $T \to A$ (Tarefa para Atributo): A presença de uma tarefa/objeto amplifica a previsão de um atributo (por exemplo, Gênero)?

Mecanismo Central

O DBAC utiliza um framework de ataque adversarial combinado com alinhamento de vocabulário:

1. Mascaramento:
   • Para medir $A \to T$: Tokens de gênero são mascarados na legenda (por exemplo, "Uma <gênero> com um violão").
   • Para medir $T \to A$: Tokens de tarefa são mascarados (por exemplo, "Um homem com um ").
2. Função Atacante ($f$):
   • Um modelo (codificador de frases + cabeça de classificação) é treinado para prever o atributo mascarado (por exemplo, gênero) usando apenas o contexto restante.
   • Alta precisão de previsão implica que o contexto restante (a tarefa) contém sinais de viés fortes sobre o atributo.
3. Formulação Probabilística:
   • O viés é quantificado pela probabilidade do atributo dada a frase mascarada.
   • Para garantir um prior fixo (um requisito para medição válida de amplificação de viés), os autores usam o teorema de Bayes para aproximar o viés como $P(\text{Tarefa} | \text{Atributo})$.
   • Pontuação de Amplificação de Viés: Calculada como a diferença entre o viés em Legendas Geradas por Modelo (MGC) e Legendas Geradas por Humanos (HGC), normalizada para uma faixa de $(-1, 1)$.
   • Fórmula: $DBAC = \frac{\omega_M - \omega_H}{\omega_M + \omega_H + \epsilon}$, onde $\omega$ representa a força do viés.

Melhorias Técnicas Chave sobre o LIC

1. Direcionalidade: Separa explicitamente a amplificação $A \to T$ e $T \to A$, permitindo estratégias de mitigação direcionadas.
2. Substituição Contextual (Alinhamento de Vocabulário):
   • Problema: Legendas humanas (HGC) possuem vocabulários maiores do que legendas de modelo (MGC). A simples "substituição constante" (substituir palavras desconhecidas por <unk>) perde nuances semânticas.
   • Solução: O DBAC utiliza substituição contextual. Se uma palavra em HGC estiver ausente em MGC, ela é substituída pela palavra semanticamente mais próxima do vocabulário de MGC (usando embeddings como GloVe ou FastText). Se nenhuma correspondência próxima existir, torna-se <unk>.
   • Benefício: Isso preserva o sinal de viés semântico melhor do que a substituição constante.
3. Consistência do Codificador: A métrica é projetada para ser robusta entre diferentes codificadores de frases (LSTM, RNN, Transformers, Modelos pré-treinados).

---

3. Contribuições Principais

1. Métrica DBAC: A primeira métrica que é simultaneamente consciente da linguagem, direcional e consistente.
2. Identificação da Fonte: O DBAC pode identificar se um modelo amplifica o viés de atributos para tarefas ou vice-versa, permitindo estratégias específicas de retreinamento (por exemplo, retreinar apenas em "mulheres com objetos que não sejam facas" se o viés $A \to T$ for alto).
3. Substituição Contextual: Demonstrou que substituir palavras por alternativas semanticamente similares (em vez de <unk> genérico) produz estimativas de viés mais precisas.
4. Robustez: Provou que as pontuações do DBAC são estáveis entre vários codificadores de frases, eliminando a necessidade de ajuste de hiperparâmetros para encontrar um codificador "adequado".

---

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados COCO Captions utilizando 13 modelos de legendagem diferentes (incluindo BLIP, OSCAR, LLaVA e modelos baseados em Transformer) e atributos para Gênero e Raça.

• Captura de Viés Linguístico: Em conjuntos de dados controlados onde gênero e tarefa estavam equilibrados, mas o uso de verbos era desequilibrado, métricas não conscientes da linguagem (BA→, DPA) relataram viés zero. O DBAC e o LIC detectaram corretamente o viés linguístico.
• Validação de Direcionalidade:
  • Os autores mascararam progressivamente pessoas nas imagens. À medida que a pessoa se tornava menos visível, o modelo confiava mais em objetos de fundo (tarefas) para adivinhar gênero/raça.
  • Resultado: Apenas o DBAC capturou a tendência crescente no viés $T \to A$ à medida que o mascaramento aumentava. O LIC falhou em detectar essa tendência porque carecia de direcionalidade.
• Consistência (Análise de Sensibilidade):
  • O DBAC mostrou um Coeficiente de Variação (CV) significativamente menor entre diferentes codificadores de frases em comparação com o LIC.
  • Gênero: O DBAC teve 84,5% menos variação (codificadores do zero) e 69,9% menos variação (codificadores pré-treinados) do que o LIC.
  • Raça: O DBAC teve 59,5% menos variação (do zero) e 83,6% menos variação (pré-treinado) do que o LIC.
• Impacto da Substituição: A substituição contextual melhorou as pontuações de similaridade METEOR (retendo o significado original) em cerca de 2,7% a 3,4% em relação à substituição constante. Também resultou em pontuações de detecção de viés mais altas e precisas.
• Análise de Modelos:
  • A maioria dos modelos reduziu o viés $A \to T$ (prever tarefas dado o gênero tornou-se mais justo).
  • No entanto, 8 dos 13 modelos aumentaram o viés $T \to A$ (prever gênero dada uma tarefa tornou-se mais enviesado).
  • A técnica de mitigação "Equalizer" reduziu o viés $T \to A$, mas inadvertidamente piorou o viés $A \to T$, destacando a necessidade de métricas direcionais para evitar consequências não intencionais.

---

5. Significado

• Confiabilidade: O DBAC é estabelecido como a única métrica confiável para medir a amplificação de viés em legendas de imagens, abordando as falhas críticas dos métodos anteriores.
• Insights Acionáveis: Ao identificar a direção do viés, o DBAC permite que pesquisadores apliquem mitigação direcionada. Em vez de retreinar um modelo em um conjunto de dados massivo, os pesquisadores podem especificamente curar dados para quebrar associações enviesadas específicas (por exemplo, "faca $\to$ mulher").
• Padronização: A robustez do DBAC contra escolhas de codificador de frases remove uma grande fonte de ruído experimental, tornando a medição de viés mais reprodutível e comparável entre estudos.
• Segurança: Em aplicações de alto risco, como tecnologia assistiva para deficientes visuais, entender e corrigir o viés direcional é crucial para evitar descrições enganosas ou prejudiciais.