Disparities In Negation Understanding Across Languages In Vision-Language Models

Título: Disparidades en la Comprensión de la Negación entre Idiomas en Modelos Visión-Lenguaje

1. El Problema

Los Modelos Visión-Lenguaje (VLM) sufren de un sesgo de afirmación: una tendencia sistemática a seleccionar descripciones positivas ("X está presente") incluso cuando la descripción correcta contiene una negación ("no hay X").

• Limitación actual: La investigación previa ha documentado este fallo casi exclusivamente en inglés. Sin embargo, la negación se manifiesta de manera diferente en cada idioma debido a variaciones en la morfología, el orden de las palabras y los patrones de clíticos.
• Brecha de equidad: Dado que los modelos se entrenan predominantemente en inglés y un puñado de idiomas de alto recurso, existe un riesgo de que las soluciones diseñadas para el inglés no funcionen equitativamente para otras comunidades lingüísticas. Esto es crítico en dominios de seguridad, como la radiología, donde la distinción entre "no hay derrame pleural" y "derrame pleural presente" es vital.

2. Metodología

Los autores desarrollaron y evaluaron un nuevo marco de trabajo para medir y corregir estas disparidades:

• Construcción del Benchmark (NegBench Multilingüe):

  • Extensión del conjunto de datos NegBench (originalmente en inglés) a siete idiomas tipológicamente diversos: Inglés, Chino Mandarín, Árabe, Griego, Ruso, Tagalo y Español.
  • Diversidad lingüística: Los idiomas cubren diferentes familias, scripts (latino y no latino), direcciones de escritura (izquierda a derecha y derecha a izquierda) y estructuras de negación (partículas independientes vs. morfología compleja).
  • Validación: Las traducciones se realizaron con Google Translate y fueron verificadas manualmente por hablantes nativos (30 muestras por idioma) para asegurar la fidelidad semántica y la naturalidad de los marcadores de negación.

• Modelos Evaluados:

  • Se probaron tres VLMs contrastivos con diferentes regímenes de entrenamiento:
    1. CLIP: Entrenado principalmente en inglés.
    2. SigLIP: Entrenado en datos multilingües.
    3. MultiCLIP: Entrenado en datos multilingües.
  • Tarea: Clasificación de 4 opciones (4-way multiple choice) para emparejar la imagen con la descripción correcta (afirmativa o negada). La precisión aleatoria es del 25%.

• Evaluación de Corrección (SpaceVLM):

  • Se aplicó SpaceVLM, una técnica propuesta recientemente que descompone las descripciones en componentes afirmativos y negados mediante embeddings híbridos (usando un umbral $\tau=0.92$ derivado de datos en inglés) para corregir el sesgo.

3. Contribuciones Clave

1. Primer Benchmark Multilingüe: Presentación de la primera evaluación verificada por humanos de la comprensión de la negación en VLMs a través de siete idiomas tipológicamente diversos.
2. Análisis Tipológico: Demostración de que la estructura lingüística (morfología, script, tipo de negación) interactúa directamente con el rendimiento del modelo y la efectividad de las correcciones.
3. Evaluación de Soluciones: Análisis exhaustivo de cómo una solución diseñada para el inglés (SpaceVLM) se comporta de manera desigual en diferentes idiomas, revelando patrones de inequidad técnica.

4. Resultados Principales

• Rendimiento Base (Sin corrección):

  • CLIP: Muestra disparidades extremas. Funciona por debajo del azar en idiomas no latinos como Árabe (15.7%), Tagalo (11.8%) y Griego (18.0%), mientras que en inglés alcanza el 39.3%.
  • SigLIP y MultiCLIP: Aunque el entrenamiento multilingüe reduce la brecha (desviación estándar menor), la precisión media sigue siendo baja. MultiCLIP es el más consistente (41.2% de precisión media), pero aún falla significativamente en la comprensión de la negación en general.
  • Conclusión: El entrenamiento multilingüe por sí solo no resuelve el problema de la negación.

• Impacto de SpaceVLM (Corrección):

  • La efectividad de la corrección sigue un patrón tipológico claro:
    • Idiomas con partículas de negación independientes (Inglés, Español, Griego, Tagalo): Muestran mejoras sustanciales y consistentes (+9.0 a +38.9 puntos porcentuales). Por ejemplo, el Tagalo saltó del 11.8% al 50.7% con CLIP.
    • Idiomas con negación morfológicamente compleja o partículas semánticamente distintas (Ruso, Árabe, Chino): Muestran mejoras mínimas, nulas o incluso degradación del rendimiento (ej. Chino con SigLIP cayó un 19.5%).
  • Robustez: Este patrón se mantuvo incluso al probar en modelos ajustados específicamente para negación (NegCLIP, ConCLIP), sugiriendo que es una propiedad intrínseca de cómo estos idiomas codifican la negación y cómo los modelos la procesan.

5. Significado e Implicaciones

• Equidad en la Despliegue Global: Las disparidades en la comprensión de la negación constituyen una inequidad técnica. Las soluciones que funcionan para el inglés pueden ser ineficaces o contraproducentes para otras comunidades lingüísticas, especialmente en aplicaciones de alto riesgo.
• Influencia de la Tipología: La estructura lingüística (morfología, sintaxis) determina cómo los modelos interpretan el significado. Las correcciones basadas en la sintaxis del inglés no son universales.
• Recomendaciones Futuras:
  • Se requiere la curación de datos de preentrenamiento multilingüe ricos en negación.
  • Desarrollo de estrategias de tokenización que preserven el alcance de la negación a través de sistemas morfológicos diversos.
  • Calibración de métodos de corrección (como el umbral $\tau$ de SpaceVLM) por grupos tipológicos en lugar de usar un único ajuste global.
  • La necesidad de auditorías de equidad que consideren explícitamente la estructura lingüística, no solo la precisión general.

En resumen, el artículo demuestra que la "brecha digital de idiomas" en los VLMs no es solo un problema de cantidad de datos, sino de estructura lingüística, y que lograr una IA equitativa requiere adaptar las soluciones a la tipología específica de cada idioma.