Resumen Técnico: FineVision: Los Datos Abiertos Son Todo Lo Que Necesitas

Declaración del Problema

El avance de los Modelos Visión-Lenguaje (VLM) se ve actualmente obstaculizado por un panorama fragmentado de conjuntos de datos públicos. Mientras que los modelos propietarios aprovechan corpus masivos y curados, las alternativas de código abierto se ven obligadas a ensamblar numerosos conjuntos de datos más pequeños y especializados. Este enfoque conduce a inconsistencias en los esquemas de anotación, el formato y la calidad de los datos. Además, los conjuntos de datos abiertos existentes a menudo sufren contaminación, donde los datos de entrenamiento se superponen con las pruebas de evaluación, inflando artificialmente las métricas de rendimiento e impidiendo una investigación centrada en datos robusta. El campo ha pasado de la simple agregación a la necesidad de una curación fundamentada y escalable que aborde la diversidad, la higiene y las tareas emergentes como la interacción agente en interfaces gráficas de usuario (GUI).

Metodología

Los autores presentan FineVision, un corpus meticulosamente curado de 24 millones de muestras derivadas de más de 200 fuentes públicas. El proceso de curación emplea una tubería semi-automática con supervisión humana diseñada para unificar datos heterogéneos en un esquema conversacional estandarizado.

1. Tubería de Curación de Datos

• Agregación de Fuentes: Los datos se recopilaron de Hugging Face, almacenamiento en la nube institucional, repositorios de GitHub y descargas web directas.
• Conversión Semi-Automática: Un enfoque híbrido combina agentes de Modelos de Lenguaje Grande (LLM) (específicamente Claude) para la ingestión masiva y el diseño de estrategias con revisores humanos. La tubería descompone la conversión en análisis de anotación, diseño de estrategias, implementación de scripts y verificación de calidad.
• Supervisión con Intervención Humana: Los revisores auditan las asignaciones, verifican aleatoriamente las salidas para asegurar el consumo fiel de las anotaciones y validan el formato y la diversidad. Para datos de agentes/GUI, los revisores validan esquemas de acción unificados e inspeccionan las trayectorias para garantizar la fidelidad ejecutable.
• Esquema Unificado: Todos los conjuntos de datos se convierten a un formato de chat estandarizado (muestra = {imágenes, textos, fuente, metadatos}). Los datos no conversacionales (por ejemplo, clasificación) se transforman en pares de preguntas y respuestas naturales. Los conjuntos de datos de preguntas y respuestas de un solo turno a menudo se agrupan en conversaciones de múltiples turnos para crear señales de entrenamiento más ricas.

2. Estrategias Específicas por Tarea

La tubería aplica seis estrategias de conversión principales para preservar la riqueza semántica:

• Preguntas y Respuestas Visuales: Agrupar preguntas por imagen en conversaciones de múltiples turnos con formulaciones variadas.
• Descripción y Subtítulos: Envolver los subtítulos de verdad fundamental con instrucciones de prompts aleatorizados.
• Anclaje y Relaciones Espaciales: Convertir las anotaciones espaciales en preguntas de sí/no con respuestas explicativas; las coordenadas se normalizan a metadatos.
• Comprensión de Documentos: Procesar documentos de varias páginas como listas de imágenes con respuestas enriquecidas (pasos de derivación, hechos).
• OCR y Transcripción: Generar turnos de transcripción exactos junto con turnos de comprensión opcionales.
• Clasificación y Detección: Convertir etiquetas en preguntas de decisión con respuestas explicativas.
• Unificación GUI/Agente: Una tubería específica normaliza las firmas de funciones heterogéneas y las taxonomías de acción de los conjuntos de datos de GUI en un espacio de acción unificado y tipificado con coordenadas agnósticas a la resolución.

3. Higiene de Datos y Descontaminación

• Limpieza: La validación automatizada elimina imágenes corruptas, archivos no decodificables y texto malformado. El texto se normaliza a UTF-8, se eliminan los caracteres de control y los turnos se limitan a 8192 tokens.
• Deduplicación: Se utilizan incrustaciones de Detección de Copias Auto-supervisada (SSCD) y similitud del coseno para identificar y fusionar imágenes casi duplicadas dentro y entre fuentes.
• Descontaminación del Conjunto de Pruebas: La tubería identifica imágenes de entrenamiento similares a las de 66 pruebas de referencia públicas de VLM. Se aplica un umbral conservador ($\tau = 0.95$) para señalar la contaminación potencial, aunque el conjunto de datos se publica en su forma original con estadísticas de contaminación proporcionadas.

Contribuciones Clave

1. Corpus FineVision: El lanzamiento del recurso abierto más grande de su tipo, que contiene 17 millones de imágenes, 89 millones de turnos y 9.5 mil millones de tokens de respuesta a través de 185 subconjuntos.
2. Flujo de Trabajo de Curación: Una tubería reproducible, semi-automática y con supervisión humana que unifica más de 200 fuentes manteniendo la estructura de la tarea y la diversidad conversacional.
3. Espacio de Acción Unificado: Una contribución novedosa para tareas de agentes, que proporciona un esquema estandarizado para interacciones de GUI en entornos de escritorio, móviles y navegadores.
4. Higiene Rigurosa: Protocolos integrales de deduplicación y descontaminación que utilizan incrustaciones SSCD, con la publicación pública de las herramientas y las incrustaciones precalculadas.
5. Análisis de Calidad: Una caracterización detallada del conjunto de datos a lo largo de cuatro ejes (Formato, Relevancia, Dependencia Visual, Correspondencia Imagen-Pregunta) utilizando la puntuación de LLM como juez.

Resultados Experimentales

Los autores entrenaron un SmolVLM de 460 millones de parámetros en FineVision y lo compararon con modelos entrenados en The Cauldron, LLaVA-OneVision y Cambrian-7M.

• Mejoras de Rendimiento: Los modelos entrenados en FineVision lograron resultados de vanguardia entre los VLM de datos abiertos, mostrando mejoras relativas significativas:
  • +27.7% sobre The Cauldron
  • +11.4% sobre Cambrian-7M
  • +38.4% sobre LLaVA-OneVision
  • (Mejora promedio de 10.8 puntos porcentuales sobre las líneas base en 11 pruebas de referencia).
• Dinámicas de Entrenamiento: Aunque el rendimiento inicial se retrasó ligeramente debido a la inclusión de tareas novedosas, los modelos entrenados en FineVision superaron a todas las líneas base después de aproximadamente una época, demostrando una generalización superior.
• Robustez ante la Contaminación: Cuando se reentrenaron en versiones descontaminadas de los conjuntos de datos, los modelos de línea base sufrieron caídas de rendimiento de 2.7–3.7 puntos porcentuales, mientras que el modelo FineVision solo cayó 1.6 puntos, confirmando que sus ganancias no son impulsadas por fugas de datos.
• Capacidades de GUI: En pruebas de referencia desafiantes de GUI (ScreenSpot-V2 y ScreenSpot-Pro), el modelo de 0.5B entrenado en FineVision logró un rendimiento comparable al de un modelo de 2B arquitectónicamente equivalente, superando a los modelos base pequeños que no pudieron resolver tareas sin ajuste fino.
• Métricas de Diversidad: FineVision exhibe una amplia amplitud conceptual (Rango Efectivo) y, crucialmente, una Proporción de Participación superior en comparación con otros conjuntos de datos grandes, lo que indica una distribución más uniforme de conceptos visuales.

Significado y Afirmaciones

El artículo afirma que la higiene de datos y la integración reflexiva son tan críticas como la escala. FineVision demuestra que un enfoque fundamentado para la curación, que combina una escala masiva con una limpieza rigurosa, deduplicación y supervisión humana, puede cerrar la brecha de rendimiento entre los VLM de código abierto y los propietarios.

Los autores enfatizan que el conjunto de datos no es simplemente una agregación más grande, sino una "base" diseñada para tareas emergentes, particularmente en entornos de agentes/GUI mediante un espacio de acción unificado. Al publicar el corpus, las recetas de conversión y las herramientas de deduplicación, el trabajo busca democratizar el acceso a datos de entrenamiento de alta calidad e impulsar la próxima ola de innovación en el desarrollo de VLM abiertos. Los autores reconocen modestamente las limitaciones, como las superposiciones residuales y la falta de pruebas de referencia comunitarias integradas para el control de GUI, posicionando a FineVision como un punto de partida para futuras extensiones hacia video, cobertura multilingüe y razonamiento de contexto más largo.