Vision-Language Models Suppress Female Representations Under Ambiguous Input

Resumen Técnico: Los Modelos de Visión-Lenguaje Suprimen las Representaciones Femeninas bajo Entradas Ambiguas

Planteamiento del Problema
Aunque los modelos de visión-lenguaje (VLM) modernos han sido alineados para evitar expresar sesgos demográficos en sus salidas cuando el género es visualmente explícito, persisten brechas significativas con respecto a su comportamiento ante entradas ambiguas (por ejemplo, figuras vistas desde atrás, rostros ocultos o equipo de protección completo). La auditoría estándar a nivel de salida sugiere que estos modelos son neutrales, a menudo negándose a asignar un género o recurriendo por defecto a "una persona". Sin embargo, este artículo postula que la neutralidad de la salida puede enmascarar sesgos internos persistentes. Específicamente, los autores investigan si los VLM codifican asociaciones de género internamente que difieren de sus salidas textuales finales, particularmente cuando las pistas visuales son insuficientes para determinar el género.

Metodología
Para sondear las representaciones internas sin depender de la generación de salidas, los autores introducen LALS (Latent Association Leaning Score), una métrica zero-shot diseñada para medir las asociaciones de conceptos a la granularidad de los tokens visuales individuales y las capas de la red.

• Mecanismo LALS: El método proyecta los estados ocultos de los tokens visuales de cualquier capa $\ell$ al espacio de embeddings de texto del modelo utilizando el procedimiento LatentLens. Al comparar estos vectores proyectados contra un corpus de referencia equilibrado de términos asociados al género (por ejemplo, "hombre", "padre" frente a "mujer", "madre"), LLS calcula un puntaje continuo en $[-1, +1]$ para cada token.
• Agregación: Los puntajes a nivel de imagen se derivan agregando el 5% superior de los tokens con la magnitud de señal más fuerte.
• Configuración Experimental: El estudio evalúa cuatro VLM de pesos abiertos (Qwen2-VL, Qwen2.5-VL, LLaVA-v1.6, InternVL2.5) en un conjunto de datos de más de 800 imágenes de género ambiguo a través de 15 ocupaciones (estereotipadas masculinas, estereotipadas femeninas y neutrales).
• Análisis Comparativo: Los autores comparan los puntajes internos de LALS contra las salidas generadas por los modelos bajo dos condiciones de prompting: descripción de código abierto y elección forzada (FC, forced-choice) de género. También realizan estudios de ablación mediante la manipulación de color (por ejemplo, cambiando la ropa de azul a rosa) y comparaciones entre modelos base e instruidos (instruction-tuned).

Contribuciones Clave y Resultados

1. Desacoplamiento de Representaciones Internas y Salidas:
   El estudio identifica una divergencia sistemática donde los modelos codifican internamente asociaciones femeninas para ciertas ocupaciones, pero emiten salidas de valores por defecto masculinos bajo el prompting de elección forzada. Este "régimen de divergencia" incluye ocupaciones como floristas, maestras de preescolar y niñeras. Mientras que los prompts de código abierto generan respuestas neutrales, los prompts de elección forzada activan un "colapso de modo masculino", donde los modelos recurren por defecto a lo masculino incluso para roles fuertemente estereotipados como femeninos (por ejemplo, enfermeras, peluqueras), a pesar de que las señales internas sugieren lo contrario.

2. Mecanismo de Filtrado Asimétrico:
   El análisis por capas de los puntajes LALS revela un filtro asimétrico dentro de la arquitectura de la red:

   • Señales Masculinas: Se amplifican o permanecen estables desde las capas tempranas a las tardías, pasando a través de la red de extremo a extremo.
   • Señales Femeninas: Alcanzan su pico en las capas medias a tardías, pero son sistemáticamente suprimidas o colapsadas hacia cero (o hacia territorio negativo/masculino) antes de la capa de generación final.
     Esta supresión explica por qué las representaciones internas asociadas a lo femenino no logran manifestarse en la salida final para entradas ambiguas.

3. Influencia de Claves Visuales Culturalmente Cargadas:
   Los experimentos de ablación de color demuestran que las asociaciones internas son moduladas por claves visuales específicas. Cambiar el sombrero de un trabajador de la construcción o el uniforme de una enfermera de azul a rosa reduce significativamente la señal masculina interna o aumenta la señal femenina, respectivamente. Esto sugiere que los modelos han internalizado las asociaciones de género-color presentes en los datos de entrenamiento.

4. Origen del Sesgo:
   El filtrado asimétrico no es un artefacto del ajuste de instrucciones (RLHF). Las comparaciones entre modelos base e instruidos muestran que la supresión de las señales femeninas existe en el modelo base y es simplemente amplificada por la alineación, no creada por ella. Además, el sesgo se origina en la vía visual; los prompts de solo texto para las mismas ocupaciones muestran una amplificación de la señal femenina en las capas tardías, lo opuesto al colapso de la vía visual.

Significancia y Reivindicaciones
El artículo argumenta que la auditoría a nivel de salida es insuficiente para evaluar la equidad de los VLM, particularmente en escenarios de alto riesgo que involucran entradas ambiguas (por ejemplo, vigilancia, herramientas de asistencia). Los autores afirman que:

• La alineación enmascara en lugar de eliminar el sesgo: Los modelos aprenden a suprimir la expresión de sus representaciones internas sesgadas sin eliminar las representaciones mismas.
• Las representaciones internas impulsan riesgos derivados: Dado que los embeddings de los VLM se utilizan cada vez más como características para la búsqueda de imágenes, el ranking de contenido y herramientas de contratación, las señales internas sesgadas se propagan a través de estos sistemas independientemente de la salida textual final del modelo.
• LALS como herramienta de auditoría: LALS proporciona un método zero-shot y libre de etiquetas para detectar estos sesgos ocultos, ofreciendo una visión más granular de cómo las asociaciones demográficas evolucionan a través de la red.

Los autores concluyen que el "valor por defecto masculino" observado en escenarios ambiguos es una propiedad estructural del procesamiento visual del modelo, arraigada en los datos de preentrenamiento y reforzada por el filtrado asimétrico de las señales de género de la red, más que un simple fallo de alineación.