VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model

1. El Problema

Los Modelos de Lenguaje y Visión Grandes (LVLMs) han avanzado significativamente hacia la inteligencia artificial general, pero presentan un riesgo crítico: la propagación y amplificación de sesgos sociales. Estos sesgos surgen de datos de entrenamiento desequilibrados, lo que lleva a asociaciones falsas (por ejemplo, vincular ciertas razas con el crimen o géneros específicos con profesiones estereotipadas).

Aunque existen benchmarks anteriores para evaluar la equidad en modelos de lenguaje (LLMs) o modelos de visión-lingüísticos tempranos (como CLIP), estos son insuficientes para los LVLMs modernos debido a:

• Escala de datos limitada.
• Formatos de preguntas únicos (generalmente solo de opción múltiple o solo abiertos).
• Fuentes de sesgo estrechas (a menudo se basan en datos reales que pueden tener fugas de datos o no cubrir suficientes interseccionalidades).
• Falta de evaluación en modelos avanzados como LLaVA, MiniGPT-4 o modelos cerrados como Gemini y GPT-4V.

2. Metodología: VLBiasBench

Para abordar estas limitaciones, los autores presentan VLBiasBench, un benchmark integral diseñado específicamente para evaluar sesgos en LVLMs utilizando datos sintéticos.

A. Generación de Datos (Imágenes Sintéticas)

• Herramienta: Utilizan el modelo de difusión Stable Diffusion XL (SDXL).
• Volumen: Generaron 46,848 imágenes de alta calidad.
• Control de Calidad: Implementaron un proceso de filtrado de tres etapas:
  1. Filtrado Semántico (CLIP): Asegura que la imagen coincida con el prompt (similitud coseno > 0.7).
  2. Filtrado de Seguridad (NSFW): Elimina contenido inapropiado o ofensivo.
  3. Filtrado Manual: Revisión humana para corregir artefactos de generación (ej. extremidades fusionadas) y asegurar la diversidad.
• Ventaja: El uso de imágenes sintéticas evita la fuga de datos (data leakage), asegurando que las imágenes de prueba no aparezcan en los conjuntos de entrenamiento de los modelos evaluados.

B. Categorías de Sesgo

El benchmark cubre 11 categorías de sesgo:

• 9 categorías independientes: Edad, discapacidad, género, nacionalidad, apariencia física, raza, religión, profesión y estatus socioeconómico (SES).
• 2 categorías interseccionales: Raza × Género y Raza × Estatus Socioeconómico.

C. Diseño de las Preguntas (Evaluación)

El dataset final consta de 128,342 muestras, divididas en dos formatos para una evaluación multidimensional:

1. Preguntas de Respuesta Abierta (Open-ended):
   • Objetivo: Inducir al modelo a generar narrativas o historias basadas en la imagen, revelando asociaciones implícitas.
   • Métrica: Se utiliza el análisis de sentimientos VADER para calcular la polaridad (positiva/negativa) del texto generado. Se mide el rango de diferencia de sentimientos entre subgrupos (ej. ¿es la respuesta más negativa para una raza específica?). También se evalúa la polaridad de género en profesiones.
2. Preguntas de Respuesta Cerrada (Close-ended):
   • Objetivo: Evaluar la capacidad de razonamiento lógico y la equidad en decisiones binarias o de opción múltiple.
   • Subconjuntos: Se dividen en cuatro tipos para aislar el impacto de la modalidad:
     • Base: La evidencia clave está en el texto; la imagen solo muestra atributos protegidos.
     • Scene: La evidencia clave está en la imagen (acciones, expresiones); el texto es mínimo.
     • Text / Scene Text: Versiones mejoradas que introducen comparaciones entre dos grupos (ej. "¿Es X más competente que Y?") para probar la robustez de la equidad en escenarios multi-grupo.
   • Métrica: Precisión (Accuracy) en la selección de la respuesta correcta, diferenciando entre contextos ambiguos y desambiguados.

3. Contribuciones Clave

1. VLBiasBench: El primer benchmark a gran escala (128k muestras) diseñado específicamente para LVLMs, cubriendo 11 categorías de sesgo con datos sintéticos de alta calidad.
2. Enfoque de Evaluación Multidimensional: Combina preguntas abiertas (para detectar sesgos de generación de texto) y cerradas (para detectar sesgos de razonamiento), además de evaluar la influencia de la modalidad dominante (texto vs. imagen).
3. Evaluación Exhaustiva: Se probaron 15 modelos de código abierto (como LLaVA, MiniGPT, InstructBlip) y 2 modelos cerrados (GPT-4o, Gemini), proporcionando una visión comparativa sin precedentes.
4. Validación de Métricas: Demostraron que las métricas automáticas (VADER) tienen una alta correlación con evaluaciones humanas (Pearson > 0.97), validando la eficiencia del enfoque automatizado.

4. Resultados Principales

• Desempeño General: Los modelos de código abierto muestran sesgos significativos. Por ejemplo, Shikra-7b mostró los niveles más altos de sesgo en casi todas las categorías.
• Modelos Cerrados vs. Abiertos: Los modelos cerrados (GPT-4o y Gemini) demostraron consistentemente un menor nivel de sesgo y mayor equidad, atribuido a sus estrictos mecanismos de seguridad y alineación.
• Impacto de la Modalidad:
  • La mayoría de los modelos de código abierto tienen un rendimiento significativamente peor en el conjunto "Scene" (evidencia visual) que en "Base" (evidencia textual), lo que indica una mayor dificultad para procesar información visual compleja sin sesgos.
  • Los modelos cerrados mantienen un rendimiento más estable entre ambas modalidades.
• Efecto del Tamaño del Modelo: En general, aumentar el número de parámetros dentro de la misma arquitectura (ej. LLaVA-7B vs. LLaVA-13B) tiende a reducir el sesgo, aunque hay excepciones.
• Interseccionalidad: Los modelos tienden a fallar más cuando se evalúan categorías interseccionales (ej. Raza × SES), sugiriendo que la complejidad de múltiples factores de sesgo desafía su capacidad de decisión.
• Contextos Ambiguos: Los modelos a menudo muestran "sobreconfianza" en contextos ambiguos, seleccionando respuestas sesgadas incluso cuando la información es insuficiente.

5. Significado e Impacto

• Herramienta de Diagnóstico: VLBiasBench proporciona una metodología estandarizada y reproducible para identificar fallos de equidad en LVLMs antes de su despliegue masivo.
• Guía para el Desarrollo: Los resultados indican que la simple escalabilidad de parámetros no elimina el sesgo; se requieren técnicas específicas de alineación y mitigación, especialmente para la interseccionalidad y el razonamiento visual.
• Seguridad Social: Al identificar y cuantificar estos sesgos, el trabajo contribuye a la responsabilidad social de la IA, ayudando a prevenir la discriminación automatizada en aplicaciones críticas como contratación, justicia o atención médica.
• Recurso Abierto: El dataset y el código están disponibles públicamente, fomentando la investigación futura en la creación de LVLMs más justos y seguros.

En resumen, el artículo establece un nuevo estándar para la evaluación de la equidad en la inteligencia artificial multimodal, demostrando que, aunque los modelos avanzados han mejorado, los sesgos sociales siguen siendo un desafío crítico que requiere atención continua y benchmarks rigurosos.