Vision-Language Models Suppress Female Representations Under Ambiguous Input

Resumo Técnico: Modelos de Visão-Linguagem Suprimem Representações Femininas sob Entradas Ambíguas

Definição do Problema
Embora os modernos Modelos de Visão-Linguagem (VLMs) tenham sido alinhados para evitar a expressão de vieses demográficos em seus resultados quando o gênero é visualmente explícito, lacunas significativas permanecem em relação ao seu comportamento sob entradas ambíguas (ex: figuras vistas de costas, rostos obscurecidos ou equipamentos de proteção completos). A auditoria padrão no nível da saída sugere que esses modelos são neutros, muitas vezes recusando-se a atribuir gênero ou adotando o termo "uma pessoa". No entanto, este artigo postula que a neutralidade da saída pode mascarar vieses internos persistentes. Especificamente, os autores investigam se os VLMs codificam associações de gênero internamente que diferem de seus resultados textuais finais, particularmente quando as pistas visuais são insuficientes para determinar o gênero.

Metodologia
Para sondar as representações internas sem depender da geração de saída, os autores introduzem o LALS (Latent Association Leaning Score), uma métrica zero-shot projetada para medir associações de conceitos na granularidade de tokens visuais individuais e camadas da rede.

• Mecanismo LALS: O método projeta os estados ocultos de tokens visuais de qualquer camada $\ell$ para o espaço de embedding de texto do modelo usando o procedimento LatentLens. Ao comparar esses vetores projetados contra um corpus de referência balanceado de termos associados ao gênero (ex: "homem", "pai" vs. "mulher", "mãe"), o LALS computa um escore contínuo em $[-1, +1]$ para cada token.
• Agregação: Escores ao nível da imagem são derivados pela agregação dos 5% superiores de tokens com a magnitude de sinal mais forte.
• Configuração Experimental: O estudo avalia quatro VLMs de pesos abertos (Qwen2-VL, Qwen2.5-VL, LLaVA-v1.6, InternVL2.5) em um conjunto de dados de mais de 800 imagens de gênero ambíguo em 15 ocupações (estereotipadas masculinas, estereotipadas femininas e neutras).
• Análise Comparativa: Os autores comparam os escores internos do LALS contra as saídas geradas pelos modelos sob duas condições de prompting: descrição de texto aberto e escolha forçada (FC - forced-choice) de adivinhação de gênero. Eles também realizam estudos de ablação envolvendo manipulação de cores (ex: mudar a vestimenta de azul para rosa) e comparações entre modelos base e ajustados por instrução (instruction-tuned).

Principais Contribuições e Resultados

1. Desacoplamento de Representações Internas e Saídas:
   O estudo identifica uma divergência sistemática onde os modelos codificam internamente associações femininas para certas ocupações, mas produzem o padrão masculino sob prompting de escolha forçada. Este "regime de divergência" inclui ocupações como floristas, professores de pré-escola e babás. Enquanto prompts de texto aberto geram respostas neutras, prompts de escolha forçada disparam um "colapso de modo masculino" (male-mode collapse), onde os modelos revertem para o masculino mesmo para papéis fortemente estereotipados como femininos (ex: enfermeiras, cabeleireiras), apesar de sinais internos sugerirem o contrário.

2. Mecanismo de Filtragem Assimétrica:
   A análise camada por camada dos escores LALS revela um filtro assimétrico dentro da arquitetura da rede:

   • Sinais Masculinos: Amplificam-se ou permanecem estáveis do início para as camadas finais, passando pela rede de ponta a ponta.
   • Sinais Femininos: Atingem o pico nas camadas intermediárias e finais, mas são sistematicamente suprimidos ou colapsados para zero (ou para o território negativo/masculino) antes da camada final de geração.
     Esta supressão explica por que as representações internas associadas ao feminino não se manifestam na saída textual final para entradas ambíguas.

3. Influência de Pistas Visuais Culturalmente Carregadas:
   Experimentos de ablação de cor demonstram que as associações internas são moduladas por pistas visuais específicas. Alterar o chapéu de um operário da construção civil ou o uniforme de uma enfermeira de azul para rosa reduz significativamente o sinal masculino interno ou aumenta o sinal feminino, respectivamente. Isso sugere que os modelos internalizaram associações de gênero-cor culturais presentes nos dados de treinamento.

4. Origem do Viés:
   A filtragem assimétrica não é um artefato do ajuste de instrução (RLHF). Comparações entre modelos base e ajustados por instrução mostram que a supressão de sinais femininos existe no modelo base e é meramente amplificada pelo alinhamento, não criada por ele. Além disso, o viés origina-se no caminho visual; prompts apenas de texto para as mesmas ocupações mostram amplificação de sinal feminino nas camadas tardias, o opente ao colapso do caminho visual.

Significância e Alegações
O artigo argumenta que a auditoria ao nível da saída é insuficiente para avaliar a equidade dos VLMs, particularmente em cenários de alto risco envolvendo entradas ambíguas (ex: vigilância, ferramentas assistivas). Os autores afirmam que:

• O alinhamento mascara em vez de eliminar o viés: Os modelos aprendem a suprimir a expressão de suas representações internas enviesadas sem remover as próprias representações.
• Representações internas impulsionam riscos subsequentes: Como os embeddings de VLMs são cada vez mais usados como características para busca de imagens, classificação de conteúdo e ferramentas de contratação, sinais internos enviesados propagam-se através desses sistemas, independentemente da saída textual final do modelo.
• LALS como ferramenta de auditoria: O LALS fornece um método zero-shot e livre de rótulos para detectar esses vieses ocultos, oferecendo uma visão mais granular de como as associações demográficas evoluem através da rede.

Os autores concluem que o "padrão masculino" observado em cenários ambíguos é uma propriedade estrutural do processamento visual do modelo, enraizada nos dados de pré-treinamento e reforçada pela filtragem assimétrica de sinais de gênero pela rede, em vez de ser uma simples falha de alinhamento.