Multilingual Vision-Language Models, A Survey

Resumen Técnico: Modelos Visuales-Lingüísticos Multilingües, Una Encuesta

Enunciado del Problema
Los modelos visuales-lingüísticos (VLM) han logrado un progreso sin precedentes en el procesamiento conjunto de datos lingüísticos naturales y visuales. Sin embargo, el campo está fuertemente sesgado hacia el inglés, con un rendimiento significativamente inferior para otros idiomas, particularmente aquellos con recursos limitados. Existe una tensión crítica, a menudo no abordada, en el desarrollo de VLM multilingües: el conflicto entre la neutralidad lingüística (garantizar representaciones cruzadas lingüísticamente consistentes de conceptos objetivos) y la conciencia cultural (adaptar los resultados para reflejar matices lingüísticos, culturales y contextuales). Los métodos de entrenamiento actuales pueden imponer la neutralidad lingüística en un grado medible, pero la conciencia cultural depende de datos diversos y es difícil de evaluar. Además, existe una discrepancia entre los objetivos de entrenamiento y las metas de evaluación, ya que dos tercios de las puntuaciones existentes priorizan la consistencia semántica mediante enfoques basados en la traducción, a menudo fallando en capturar contenido fundamentado culturalmente.

Metodología
Esta encuesta proporciona un análisis exhaustivo del estado del arte en VLM multilingües y sus puntuaciones de evaluación. La metodología implica:

1. Revisión de Modelos: Un examen sistemático de 33 modelos visuales-lingüísticos multilingües publicados entre 2020 y 2025. Los autores categorizan estos modelos por arquitectura (solo codificador, codificador-decodificador, solo decodificador y mezcla de expertos), estrategias de datos de entrenamiento (soporte multilingüe implícito vs. explícito) y escalas de parámetros.
2. Análisis de Puntuaciones: Una revisión de 23 puntuaciones multilingües. Los autores analizan estos conjuntos de datos basándose en la cobertura lingüística, la diversidad tipológica (utilizando métricas como la Distancia Sintáctica Media Pareada y la Inclusión de Valores de Características de GramBank) y los paradigmas de evaluación (basados en traducción vs. conscientes de la cultura).
3. Evaluación Comparativa: El artículo contrasta la evolución arquitectónica desde los primeros modelos basados en codificadores hasta las arquitecturas generativas modernas solo de decodificador y evalúa la medida en que los modelos y puntuaciones actuales abordan la tensión entre la neutralidad lingüística y la conciencia cultural.

Contribuciones Clave

• Taxonomía de Modelos y Puntuaciones: El artículo establece una taxonomía detallada de 33 VLM multilingües de pesos abiertos y 23 puntuaciones, proporcionando estadísticas sobre el soporte lingüístico, conteos de parámetros y métricas de descarga/citación.
• Identificación de la Tensión Central: Los autores definen y analizan explícitamente el compromiso fundamental entre la neutralidad lingüística (facilitar la transferencia cruzada lingüística mediante representaciones consistentes) y la conciencia cultural (requerir adaptación específica al contexto). Señalan que, mientras la neutralidad es matemáticamente optimizable mediante aprendizaje contrastivo en datos paralelos, la conciencia cultural carece de objetivos de entrenamiento explícitos y depende en gran medida de la composición de los datos.
• Análisis de la Brecha de Evaluación: La encuesta destaca una brecha significativa entre el número de idiomas que los modelos afirman soportar (a menudo más de 100) y el número evaluado realmente en las puntuaciones (típicamente de 4 a 30). Además, critica la dominancia de las puntuaciones basadas en traducción (por ejemplo, XVNLI, xGQA), que priorizan la equivalencia semántica sobre la diversidad cultural.
• Tendencias Arquitectónicas: El artículo documenta el cambio del campo desde modelos solo de codificador (optimizados para clasificación) hacia arquitecturas solo de decodificador y codificador-decodificador capaces de tareas generativas, notando un aumento dramático en los conteos de parámetros desde cientos de millones a más de 2 billones.

Resultados y Observaciones

• Evolución Arquitectónica: El campo ha pasado de 16 modelos solo de codificador a 14 modelos solo de decodificador y 3 modelos codificador-decodificador. Los modelos recientes solo de decodificador (por ejemplo, LLaMA 4, Qwen 3-VL) utilizan arquitecturas de mezcla de expertos (MoE) y escalan a billones de parámetros.
• Disparidades en la Cobertura Lingüística: Si bien los codificadores lingüísticos subyacentes (como XLM-RoBERTa) soportan implícitamente más de 100 idiomas, los datos de entrenamiento multimodales explícitos a menudo cubren muchos menos idiomas. Muchos modelos dependen de la transferencia cruzada lingüística o del cambio de código sintético en lugar del preentrenamiento multilingüe de extremo a extremo.
• Limitaciones de las Puntuaciones: Aproximadamente dos tercios de las puntuaciones utilizan metodologías basadas en traducción con imágenes idénticas y texto traducido, priorizando la neutralidad lingüística. Solo una minoría (por ejemplo, MARVL, ArtElingo-28, CVQA) incorpora imágenes específicas de la región y contenido fundamentado culturalmente.
• Problemas de Transparencia: Los modelos comerciales de pesos abiertos a menudo carecen de transparencia respecto a la composición de los datos de entrenamiento y la distribución lingüística, lo que dificulta evaluar sus verdaderas capacidades multilingües y culturales.
• Rendimiento: Si bien los modelos muestran capacidades de transferencia cruzada lingüística, el rendimiento en tareas conscientes de la cultura sigue siendo un desafío. Las métricas de evaluación para tareas generativas (por ejemplo, BLEU, chrF) varían entre idiomas y no logran capturar la adecuación cultural.

Significado
El artículo argumenta que el campo debe ir más allá de la suposición de que la neutralidad lingüística es suficiente para la accesibilidad global. Plantea que la tensión entre la neutralidad y la conciencia cultural es un desafío ético y técnico fundamental. El significado de esta encuesta radica en su identificación de la actual desalineación entre los objetivos de entrenamiento (que favorecen la neutralidad) y la necesidad de sistemas conscientes de la cultura. Llama a:

• Desarrollo de objetivos de entrenamiento explícitos para la conciencia cultural.
• Creación de marcos de evaluación integrales que incluyan protocolos de evaluación humana para la adecuación cultural y abarquen una gama más amplia de idiomas y niveles de recursos.
• Mejora de los estándares de transparencia y documentación de datos, particularmente para modelos comerciales, para permitir un análisis sistemático de la cobertura de datos y los sesgos.

Los autores concluyen que, si bien se ha avanzado en la escalabilidad de los modelos y la expansión de la cobertura lingüística, la tensión no resuelta entre la neutralidad y la conciencia cultural, junto con las limitaciones de evaluación, obstaculiza el despliegue de sistemas visuales-lingüísticos verdaderamente inclusivos y globalmente accesibles.