Resumen Técnico: Modelos de Lenguaje con Visión 20/20

Declaración del Problema

Aunque la curación de datos ha desplazado con éxito la frontera calidad-computo para los modelos de lenguaje (LM) y el preentrenamiento contrastivo imagen-texto, su papel específico en los Modelos de Lenguaje con Visión (VLM) sigue siendo poco explorado. En la investigación de VLM, la mezcla de entrenamiento a menudo se trata meramente como una métrica de volumen ("X mil millones de pares imagen-texto") en lugar de una variable de diseño principal, centrando la atención en su lugar en elecciones arquitectónicas (codificadores, conectores), manejo de resolución y etapas posteriores al entrenamiento (ajuste de instrucciones, RLHF). Los esfuerzos existentes de curación de datos para VLM suelen aislar ejes individuales (por ejemplo, deduplicación, filtrado de calidad o datos sintéticos) o carecen de líneas base de computo emparejado para probar la causalidad. Este artículo pregunta: ¿Hasta dónde puede llevar la curación de datos por sí sola el rendimiento de los VLM si se mantienen fijos la arquitectura, las recetas de entrenamiento y la capacidad de computo?

Metodología

Los autores proponen una tubería de curación de datos de extremo a extremo aplicada al subconjunto de imagen única MAmmoTH-VL-12M (aprox. 10M de muestras). La tubería integra cuatro componentes clave:

1. Deduplicación Multimodal: Deduplicación conjunta de imagen y texto para reducir la redundancia entre fuentes de código abierto.
2. Filtrado Conjunto: Filtros de calidad multimodal que operan sobre señales tanto de imagen como de texto para eliminar muestras de baja señal, malformadas o fuera de distribución, manteniendo al mismo tiempo ejemplos diversos, raros pero útiles.
3. Diseño de Mezcla: Ajuste de la distribución objetivo para mejorar la cobertura y el equilibrio sin sacrificar la amplitud del corpus original.
4. Datos Sintéticos: Una combinación de tuberías agnósticas a la tarea (para ampliar la cobertura) y tuberías de generación específicas para la tarea para familias de capacidades seleccionadas.

Configuración Experimental:

• Modelos: El entrenamiento se realizó en modelos de 1B, 2B y 4B parámetros utilizando backbones de lenguaje Qwen3 y el codificador de visión SigLIP2.
• Entrenamiento: Todos los modelos se entrenaron durante 25B de tokens en una sola etapa (entrenamiento conjunto del proyector y del LM) con una receta fija (optimizador, programación, tamaño de lote) y un presupuesto de computo definido.
• Líneas Base:
  • Línea Base de Computo Emparejado: Entrenada en el subconjunto de imagen única no curado de MAmmoTH-VL con arquitectura y computo idénticos.
  • Referencias de Vanguardia: Comparado contra modelos públicos intensivamente entrenados después del preentrenamiento (Qwen3-VL, InternVL3/3.5, Qwen3.5) que utilizan significativamente más computo de entrenamiento (hasta ~150×) y extenso entrenamiento posterior (SFT, RLHF, RLVR).
• Evaluación: El rendimiento se midió en 20 benchmarks públicos de VLM (11 In-Distribution, 9 Out-of-Distribution) y DatBench, un conjunto de alta fidelidad que cubre nueve ejes de capacidad. Crucialmente, todos los datos de entrenamiento pasaron por una descontaminación multimodal rigurosa para prevenir fugas en la evaluación.

Contribuciones Clave

El artículo demuestra que tratar los datos de preentrenamiento como una variable de diseño de primera clase produce VLMs que son grandes, generalizables, fiables y eficientes, sin requerir cambios arquitectónicos ni entrenamiento posterior.

1. Desplazamiento de la Frontera de Pareto Costo-Calidad: Los modelos curados alcanzan una precisión significativamente mayor que la línea base de computo emparejado en todas las escalas (1B, 2B, 4B).
2. Fuerte Generalización Fuera de Distribución (OOD): Las mejoras se transfieren a benchmarks no utilizados en el diseño de la curación, incluidas tareas de razonamiento con múltiples imágenes (BLINK) a pesar del entrenamiento exclusivo con imágenes únicas.
3. Fiabilidad y Robustez: La tubería de curación reduce la varianza entre semillas de entrenamiento y mantiene las ganancias de rendimiento a lo largo de diferentes longitudes de contexto (de 4k a 16k tokens).
4. Ganancias Conductuales Más Allá de los Benchmarks: En consultas abiertas, los modelos curados exhiben mayor honestidad (menos alucinaciones), especificidad, concisión y disposición para interactuar con prompts benignos en comparación con las líneas base y los modelos de vanguardia.
5. Eficiencia de Inferencia: Los modelos curados alcanzan una mayor precisión generando menos tokens, lo que resulta en un menor costo computacional (FLOPs de respuesta) en comparación tanto con las líneas base como con los modelos de vanguardia.

Resultados Clave

Ganancias de Rendimiento

• Mejora en Benchmarks: A la escala de 2B, el modelo curado mejoró el rendimiento promedio en +11.7 puntos porcentuales (pp) en 20 benchmarks públicos y en +11.3pp en los nueve ejes de DatBench.
• Independencia de Escala: Las ganancias persistieron a través de las escalas: +13.0pp en 1B, +11.7pp en 2B y +14.0pp en 4B en el conjunto público.
• Generalización OOD: El promedio de 9 evaluaciones OOD aumentó en +7.2pp. Notablemente, el razonamiento con múltiples imágenes en BLINK mejoró en +3.09pp (con Correspondencia Visual ganando +11.8pp) a pesar de que el modelo fue entrenado exclusivamente con datos de imagen única.
• Análisis Profundo de Anclaje (Grounding): La mayor ganancia individual fue en Anclaje (+57.1pp en DatBench), verificada a través de múltiples métricas (precisión central, recall@k en varios umbrales de IoU) como un cambio genuino de capacidad y no como un artefacto de puntuación.

Eficiencia y Costo

• Computo de Entrenamiento: El modelo curado de 2B superó a InternVL3.5-2B en 9.9pp con ~17× menos computo de entrenamiento y cerró la brecha con Qwen3-VL-2B a menos de 1.8pp con ~87× menos computo.
• Costo de Inferencia: Los modelos curados aumentaron simultáneamente la precisión y redujeron los FLOPs de respuesta. El modelo curado de 4B igualó la precisión cercana a la vanguardia con 3.3× menos FLOPs de respuesta que Qwen3-VL-4B.

Fiabilidad

• Reducción de Varianza: La desviación estándar por capacidad a través de semillas de entrenamiento disminuyó en ~67% (de 2.47 a 0.82pp) en DatBench.
• Robustez de Longitud de Contexto: La mejora en precisión se mantuvo a lo largo de longitudes de contexto de 4k, 8k y 16k tokens.

Mejoras Conductuales

En ~1,100 consultas abiertas, el modelo curado de 2B fue más honesto (negándose a confabular atributos ausentes) y más específico que la línea base emparejada. En comparación con una referencia de vanguardia de 2B, fue más conciso (longitud mediana de respuesta de 75 caracteres frente a 364 caracteres) y rechazó menos consultas benignas.

Significado y Afirmaciones

El artículo afirma que la curación de datos es una herramienta de alto apalancamiento para construir mejores VLMs. Al aislar los datos como la variable principal, los autores demuestran que:

1. La calidad de los datos de preentrenamiento es un factor dominante: Puede producir ganancias comparables o superiores a las de las innovaciones arquitectónicas y el extenso entrenamiento posterior.
2. La eficiencia es alcanzable: Se pueden construir VLMs de alto rendimiento con hasta ~150× menos computo de entrenamiento que los modelos actuales de vanguardia, centrándose únicamente en la curación de datos.
3. La generalización es inherente: Los datos de preentrenamiento de alta calidad conducen a una generalización OOD robusta y a comportamientos del mundo real mejorados (honestidad, especificidad) sin un ajuste de alineación explícito.

Los autores concluyen que desplazar el enfoque de "más computo" o "nuevas arquitecturas" hacia una curación rigurosa de datos ofrece un camino dominante de Pareto hacia VLMs superiores, alcanzando una precisión cercana a la vanguardia con una fracción del costo de recursos.