StylisticBias: A Few Human Visual Cues Drive Most Social Biases in MLLMs

Resumen Técnico: StylisticBias

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) se despliegan cada vez más en dominios de alto riesgo como la contratación, la moderación de contenidos y el apoyo judicial. Si bien investigaciones previas han establecido que estos modelos heredan y amplifican los sesgos sociales de los datos de entrenamiento, los indicios visuales específicos que impulsan estos juicios siguen siendo poco comprendidos. Los estudios existentes suelen comparar diferentes individuos o grupos demográficos, lo que dificulta la separación de los efectos de atributos de apariencia específicos de las diferencias de identidad inherentes. Además, el trabajo previo se ha centrado principalmente en constructos agregados latentes como la "atractividad" o categorías demográficas amplias (raza, género), dejando un vacío en la comprensión de cómo atributos visuales específicos y controlados —como el estilo de vestimenta, el aseo personal o los accesorios— alteran las percepciones sociales cuando la identidad se mantiene constante.

Metodología: El Benchmark StylisticBias
Para abordar esto, los autores presentan StylisticBias, un benchmark controlado diseñado para evaluar el sesgo social a nivel de atributo en los MLLM. La metodología se basa en un proceso de generación de dos etapas para aislar las variables visuales:

1. Generación de Rostros Base: Los autores generaron 500 rostros base fotorrealistas utilizando Imagen 4. Estos rostros cubren un producto cartesiano de cuatro dimensiones demográficas: edad (joven, mediana edad, anciano), género (masculino, femenino), etnia (asiático, africano, europeo, de Oriente Medio, latino) y tipo de cuerpo (delgado, normal, obeso). Estas imágenes base sirven como anclajes de identidad, presentando iluminación de estudio estandarizada, expresiones neutras y sin accesorios ni maquillaje.
2. Generación de Variaciones Controladas: Utilizando Nano Banana (Gemini 2.5 Flash Image), los autores crearon aproximadamente 50 variaciones de un solo atributo para cada rostro base, lo que resultó en unos 25,000 imágenes. Cada variación modifica exactamente un atributo visual (por ejemplo, cambiar el peinado, añadir tatuajes, alterar el estilo de ropa) mientras preserva la identidad base, la pose y la iluminación. Este diseño asegura que cualquier cambio en el juicio del modelo pueda atribuirse al atributo alterado específico y no a cambios de identidad.
3. Protocolo de Evaluación: Se evaluaron seis MLLM de código abierto (que van desde 4B hasta 14B de parámetros, incluyendo LLaVA-v1.6, Qwen3-VL y variantes de Gemma) en un entorno de configuración cero (zero-shot). Los modelos realizaron juicios de elección forzada binaria en 25 escenarios sociales basados en el marco de calidez-competencia (por ejemplo, "Elegante vs. Poco elegante", "Rico vs. Pobre", "Confiable vs. Poco confiable"). Para mitigar la sensibilidad al prompt, cada par de imagen-escenario fue evaluado bajo 12 variaciones (4 ordenaciones de prompt × 3 semillas aleatorias), sumando aproximadamente 28.3 millones de llamadas de juicio.

Contribuciones Clave

1. Benchmark StylisticBias: Un conjunto de datos de 500 identidades base y aproximadamente 25,000 imágenes sintéticas con ediciones de un solo atributo, lo que permite una evaluación de sesgo de grano fino donde la identidad es fija.
2. Evaluación a Gran Escala: Una evaluación exhaustiva de seis MLLM a través de 25 escenarios de juicio social binario, proporcionando una visión granular de cómo diferentes arquitecturas responden a los indicios visuales.
3. Hallazgos Empíricos sobre la Concentración de Sesgo: El estudio identifica que el sesgo no está distribuido uniformemente, sino concentrado en un pequeño conjunto de indicios visuales, particularmente aquellos relacionados con la autopresentación.

Resultados
Los experimentos arrojaron varios patrones consistentes a través de los modelos evaluados:

• Impulsores Demográficos: La edad y el tipo de cuerpo emergieron como los impulsores demográficos más fuertes del juicio social (Fuerza de Variación, VS = 0.075 y 0.069, respectivamente). Las identidades obesas y ancianas fueron sistemáticamente asociadas con atribuciones de rasgos menos favorables. En contraste, la etnia y el género mostraron efectos significativamente menores (VS = 0.038 y 0.030).
• Desplazamientos a Nivel de Atributo: Aproximadamente 15 atributos visuales explicaron casi el 80% de la variación total del sesgo. El estilo de moda produjo los mayores desplazamientos, seguido por el vello facial y el maquillaje. Por el contrario, atributos como las irregularidades de la piel y el color de cabello mostraron un impacto cercano a cero.
• Asimetría de los Indicios: Los indicios negativos (por ejemplo, ropa desgastada/gastada, cabello desordenado) produjeron desplazamientos significativamente mayores en el juicio del modelo que sus contrapartes positivas, reflejando el sesgo de negatividad humano.
• Sesgo de Alineación Semántica: La sensibilidad del modelo fue mayor cuando el rasgo juzgado estaba semánticamente alineado con la apariencia visible. Los juicios socioeconómicos (por ejemplo, "Rico vs. Pobre") y los juicios relacionados con el estilo (por ejemplo, "Elegante vs. Poco elegante") fueron desproporcionadamente sensibles a los cambios visuales en comparación con rasgos internos como "Honesto" o "Leal".
• Consistencia del Modelo: Aunque los modelos difirieron en la magnitud de sus respuestas (por ejemplo, Pixtral fue el más reactivo, Qwen3 el más conservador), en su mayoría coincidieron en qué indicios importaban. Los modelos más grandes tendieron a atenuar las magnitudes de los efectos pero preservaron la estructura general de sensibilidad.
• Interacciones Contextuales: El impacto de los indicios fue moderado por el contexto demográfico. Por ejemplo, el efecto positivo de la ropa formal se amplificó para los rostros ancianos y cuerpos obesos, mientras que el efecto negativo de la "ropa urbana" (streetwear) pasó de ser negativo para rostros jóvenes a neutral/positivo para rostros ancianos.

Significado y Reivindicaciones
El artículo sostiene que StylisticBias proporciona una base necesaria para ir más allá de las comparaciones demográficas gruesas hacia la atribución visual controlada. Los autores argumentan que los MLLM son sistemáticamente sensibles a cómo luce una persona (indicios específicos como la moda y el aseo) más que solo a quién se representa que es.

El estudio destaca que el sesgo en los sistemas multimodales se concentra en un pequeño conjunto de indicios de autopresentación, particularmente aquellos vinculados al estatus socioeconómico y el estilo. Esto sugiere que las evaluaciones estándar que se centran únicamente en grupos demográficos amplios pueden pasar por alto los principales impulsores del sesgo basado en la apariencia. Al publicar el benchmark y el conjunto de datos, los autores pretenden apoyar la auditoría de equidad y el desarrollo de estrategias de mitigación para el sesgo impulsado por la apariencia en aplicaciones de IA con consecuencias reales.

Limitaciones
Los autores reconocen que el estudio utiliza imágenes sintéticas controladas en lugar de fotografías reales, lo que limita la generalizabilidad a todos los despliegues del mundo real, pero fue una elección deliberada para asegurar el aislamiento de la identidad y la seguridad ética. Además, el estudio se centra en un subconjunto curado de grupos demográficos y atributos visuales para mantener la interpretabilidad, lo que significa que identifica qué indicios impulsan los desplazamientos, pero no cubre exhaustivamente todas las identidades socialmente significativas ni explica los mecanismos subyacentes de estos efectos.