Resumen Técnico: "Înțelegi românește? Una receta para Modelos de Visión-Lenguaje Rumanos"

Planteamiento del Problema

Los Modelos de Visión-Lenguaje (VLM, por sus siglas en inglés) han alcanzado un éxito significativo en evaluaciones de referencia en inglés, pero sufren una degradación severa del rendimiento en lenguas de bajos recursos. Esta brecha surge de la falta de corpora de imagen-texto a gran escala y culturalmente arraigados, así como de marcos de evaluación para lenguas como el rumano. Los VLM multilingües existentes suelen depender de la traducción post-hoc de conjuntos de datos centrados en el inglés, lo que no logra capturar la semántica visual localizada, el contexto cultural y los matices del texto dentro de las imágenes (OCR). En consecuencia, no está claro con qué eficacia se transfieren las capacidades multilingües al entendimiento multimodal fundamentado en estos entornos, particularmente para tareas que involucran análisis de documentos, razonamiento cultural y reconocimiento de texto dentro de imágenes.

Metodología

Los autores presentan un estudio sistemático sobre la construcción de un VLM específico para el idioma rumano, cubriendo todo el flujo de trabajo desde la construcción de datos hasta la ablación arquitectónica.

1. Construcción y Adaptación de Datos

Los autores construyeron un corpus de entrenamiento de aproximadamente 3.17 millones de muestras adaptando 11 conjuntos de datos ingleses establecidos (p. ej., LAION, LLaVA-Mix, PixMo, CoSyn, FinePDFs).

• Estrategia de Traducción: A diferencia de trabajos previos que solo traducían las anotaciones textuales, este enfoque implica "traducir" el contenido visual. Esto incluye extraer el texto de las imágenes, traducirlo y regenerar la imagen con el texto traducido preservando el diseño, la fuente y el tamaño.
• Datos Nativos: El flujo de trabajo incorpora datos nativos rumanos, específicamente el conjunto de datos FinePDFs para OCR y gráficos regenerados sintéticamente de CoSyn donde el código fuente estaba disponible.
• Modelos de Traducción: Un estudio comparativo seleccionó GPT-4.1-mini para la traducción de referencia y Seed-X-PPO para la traducción de datos de entrenamiento basándose en el rendimiento en el conjunto de datos MMMU.
• Control de Calidad: Los anotadores humanos validaron las traducciones utilizando filtros de diferencia de longitud (marcando traducciones >1.5 veces la longitud del original) y muestreo aleatorio.

2. Evaluación de Referencia Nativa: HoraVQA

Para abordar la falta de evaluación culturalmente fundamentada, los autores introdujeron HoraVQA, un benchmark que contiene 580 pares de pregunta-respuesta a través de 232 imágenes únicas.

• Contenido: Las imágenes representan conceptos culturales rumanos (lugares emblemáticos, cocina, costumbres, historia) obtenidos de Wikimedia Commons.
• Anotación: Las preguntas fueron redactadas nativamente en rumano por siete voluntarios, categorizadas en formatos de opción múltiple y de respuesta abierta.
• Fundamentación Cultural: Cada pregunta está etiquetada con una bandera is_cultural para distinguir entre la percepción visual genérica y el conocimiento que requiere contexto cultural, histórico o lingüístico rumano.

3. Entrenamiento del Modelo y Arquitectura

El estudio utiliza una arquitectura de VLM modular (codificador de visión + columna vertebral de lenguaje + adaptador de proyección), basada principalmente en LLaVA-NeXT, pero también probando Qwen2-VL, Qwen2.5-VL, Qwen3-VL y Gemma3.

• Protocolo de Entrenamiento: Los modelos se someten a un ajuste fino supervisado (SFT) sobre los datos multimodales centrados en el rumano. El soporte de visión se mantiene congelado, mientras que el adaptador y la columna vertebral de lenguaje son entrenables.
• Hiperparámetros: El entrenamiento utiliza un único epoch, optimizador AdamW, programador de tasa de aprendizaje de coseno (pico de $1.0 \times 10^{-5}$) y un tamaño de lote de 64.

4. Estudios de Ablación

Los autores aislaron sistemáticamente las contribuciones de:

• Columnas Vertebrales de Lenguaje: Comparando LLMs multilingües contra LLMs adaptados al rumano (p. ej., RoLlama3).
• Columnas Vertebrales de Visión: Evaluando codificadores CLIP, SigLIP y SigLIP2.
• Composición de Datos: Analizando el impacto de los datos ricos en OCR y el texto traducido dentro de las imágenes.

Contribuciones Clave

1. Modelos RoVLM: Una suite de VLMs adaptados al rumano lanzada con un flujo de trabajo de entrenamiento y evaluación totalmente abierto y reproducible.
2. Suite de Evaluación Integral: Un conjunto de evaluación de 19 tareas que abarcan OCR, respuesta visual a preguntas (VQA), descripción de imágenes (captioning) y razonamiento, incluyendo el novedoso benchmark cultural HoraVQA.
3. Análisis Sistemático de la Adaptación: Una investigación detallada sobre cómo la composición de los datos (específicamente el OCR y el texto traducido en la imagen) y las elecciones arquitectónicas afectan el rendimiento multimodal en lenguas de bajos recursos.
4. Traducción de Contenido Visual: Un flujo de trabajo novedoso para traducir y regenerar el texto dentro de las imágenes para preservar la fundamentación visual mientras se adapta el contenido lingüístico.

Resultados

• Ganancias de Rendimiento: Los VLMs adaptados al rumano (RoVLMs) superan consistentemente a sus contrapartes de solo inglés en los 19 benchmarks. Notablemente, los RoVLMs a menudo superan a modelos de la siguiente categoría de tamaño (p. ej., un modelo de 3B adaptado al rumano superando a uno de 7B de solo inglés).
• Generalización de la Arquitectura: Las mejoras de rendimiento se generalizan a través de diferentes codificadores de visión y columnas vertebrales de lenguaje (Qwen, Gemma, Llama).
• Hallazgos de la Columna Vertebral de Visión: Contrario a las tendencias en el preentrenamiento multilingüe donde SigLIP2 destaca, CLIP superó a SigLIP y SigLIP2 en tareas de OCR y documentos. Los autores atribuyen esto a que CLIP preserva las estructuras visuales de alta frecuencia necesarias para la transcripción de caracteres, mientras que las variantes de SigLIP optimizan la abstracción semántica, lo que puede suprimir detalles finos.
• Hallazgos de la Columna Vertebral de Lenguaje: Cambiar a una columna vertebral de lenguaje adaptada al rumano (RoLlama3) produjo mejoras insignificantes respecto al Llama3 multilingüe estándar, sugiriendo que la mezcla de entrenamiento de 3.1M de muestras proporcionó suficiente capacidad para la adaptación, y que la limitación no era el modelo de lenguaje preentrenado sino la composición de los datos.
• Composición de Datos: Eliminar los datos de OCR provocó caídas de rendimiento en todas las categorías, no solo en las específicas de OCR, indicando que las capacidades de reconocimiento de texto son fundamentales para el entendimiento multimodal general.
• Imágenes Traducidas: Entrenar con imágenes que contienen texto traducido (lengua objetivo) produjo un aumento ligero pero consistente en el rendimiento (aprox. 1.76 puntos de promedio) sobre las imágenes nativas en inglés, con las mayores ganancias observadas en tareas de fundamentación.

Significado y Reivindicaciones

El artículo argumenta que la trayectoria dominante de escalar un único VLM generalista a través de todos los idiomas es insuficiente para las lenguas de bajos recursos. En su lugar, la adaptación especializada y dirigida al idioma es necesaria y efectiva.

Los autores afirman que:

• La Composición de Datos es Crítica: El principal motor del rendimiento no es la columna vertebral del lenguaje en sí, sino la composición de los datos de entrenamiento, específicamente la inclusión de supervisión densa en OCR y texto traducido en la imagen.
• Representación vs. Fundamentación: La "multilingüalidad" de la representación en el nivel de preentrenamiento no garantiza automáticamente un comportamiento fundamentado, fiel al OCR o culturalmente consciente.
• Los Benchmarks Culturales son Esenciales: Los benchmarks traducidos estándar son insuficientes; se requieren benchmarks culturales nativos como HoraVQA para evaluar y mejorar el entendimiento de un modelo sobre la cultura visual local.
• Eficiencia: Un modelo más pequeño y especializado entrenado con datos curados de bajos recursos puede superar a modelos más grandes y generalistas, ofreciendo un camino más eficiente para la IA multimodal en contextos no ingleses.

El trabajo concluye que, si bien la adaptación basada en la traducción es una estrategia viable, debe combinarse con datos nativos, una traducción visual rigurosa y una evaluación culturalmente específica para lograr un entendimiento multimodal robusto en lenguas de bajos recursos.