Resumen Técnico: DV-SFT (Supervisión de Visión Directa para Comprensión Visual de Alta Frecuencia)

Enunciado del Problema

Los Modelos de Lenguaje Multimodales Grandes (MLLM) suelen entrenarse de extremo a extremo utilizando un objetivo de predicción del siguiente token, donde las señales de supervisión se aplican exclusivamente a los tokens de texto. En consecuencia, los tokens visuales —los principales portadores de información visual— se optimizan solo de forma implícita como parte del contexto. Esta falta de guía semántica directa conduce a una comprensión visual de baja frecuencia, donde los detalles de alta frecuencia a menudo se pasan por alto o se alucinan.

Los intentos existentes de mejorar la precisión visual mediante la supervisión de tokens visuales enfrentan limitaciones significativas:

1. Indirectidad: Los métodos que dependen de señales de recompensa o alineación de representaciones proporcionan una supervisión gruesa o ruidosa.
2. Desalineación de Objetivos: Enfoques como la predicción del siguiente token visual o la reconstrucción a nivel de píxel a menudo no se alinean con el objetivo de la comprensión visual.
3. Complejidad Arquitectónica: La mayoría de los métodos requieren componentes adicionales (por ejemplo, decodificadores, tokenizadores) o pasadas forward adicionales, lo que dificulta la aplicabilidad práctica y mantiene un paradigma de entrenamiento unificado.

Persiste una necesidad abierta de una forma de supervisión de visión directa, intuitiva y arquitectónicamente simple que se integre perfectamente en el entrenamiento estándar de MLLM.

Metodología: Ajuste Fino Supervisado de Visión Directa (DV-SFT)

Los autores proponen DV-SFT, un método que construye supervisión explícita a nivel de token para tokens visuales utilizando el mismo objetivo de predicción del siguiente token empleado para el texto. La hipótesis central es que las palabras que describen el contenido de un parche de imagen pueden servir como etiquetas directas para los tokens visuales correspondientes.

Componentes Clave

1. Construcción de Etiquetas de Visión:
   Para abordar el desafío de etiquetar tokens visuales, los autores explotan la correspondencia directa visión-texto en escenarios relacionados con la OCR mediante dos pipelines:

   • Imagen-a-Etiqueta: Utiliza modelos de detección y reconocimiento de texto para extraer palabras y sus ubicaciones espaciales. Las palabras se alinean con el token visual correspondiente a su esquina inferior derecha.
   • Etiqueta-a-Imagen: Utiliza herramientas de dibujo para renderizar documentos de conjuntos de datos unimodales sobre una cuadrícula de parches de imagen en blanco, asegurando una alineación precisa entre palabras y tokens visuales.
   • Filtrado: Se descartan las palabras con longitudes de tokenización excesivas o alturas elevadas para garantizar la precisión de la anotación.

2. Objetivo de Entrenamiento:
   DV-SFT trata al MLLM como una caja negra, sin requerir modificaciones arquitectónicas. La función de pérdida total combina la supervisión de texto estándar ($L_t$) con la supervisión de visión directa ($L_v$):
   $$L = L_t + \lambda L_v$$
   Donde $L_v$ es la pérdida de entropía cruzada calculada sobre los tokens visuales utilizando sus etiquetas de palabra correspondientes. Para garantizar el entrenamiento paralelo, solo se utiliza el primer token de la etiqueta de visión para el cálculo de la pérdida.

3. Suavizado de Visión:
   Dado que los codificadores visuales poseen características bidireccionales (a diferencia de la naturaleza causal del LLM), un solo token visual puede contener información semántica de tokens subsiguientes. Para abordar esto, los autores introducen el Suavizado de Visión, inspirado en el suavizado de etiquetas. Esto permite que un token visual aprenda su propia etiqueta mientras también aprende otras etiquetas de visión presentes en la imagen, evitando la restricción de información.

Contribuciones Clave

1. Nuevo Paradigma de Entrenamiento: La propuesta de DV-SFT, que permite la supervisión directa a nivel de token en tokens visuales sin modificar la arquitectura del modelo ni las rutas forward, manteniendo un paradigma de entrenamiento completamente unificado y de extremo a extremo.
2. Pipeline de Construcción de Etiquetas: El diseño de un pipeline offline que aprovecha herramientas de OCR y dibujo para generar supervisión de alta frecuencia a nivel de token para tokens visuales.
3. Validación Empírica: Extensos experimentos que demuestran que DV-SFT mejora significativamente las capacidades visuales y supera al Ajuste Fino Supervisado (SFT) estándar y a las líneas base basadas en representaciones (por ejemplo, BASIC) en múltiples puntos de referencia.

Resultados Experimentales

Los autores evaluaron DV-SFT en tres modelos base (Qwen3-VL-2B, Qwen3-VL-8B y Qwen3-1.7B) a través de ocho puntos de referencia.

• Rendimiento Intra-Dominio: DV-SFT logró ventajas consistentes sobre el SFT estándar en tareas de comprensión de documentos y gráficos (DocVQA, InfographicVQA, SQuAD). Notablemente, superó al método BASIC, que sufrió degradación del modelo en modelos más pequeños debido a una calidad de representación subóptima.
• Generalización Extra-Dominio: DV-SFT demostró una fuerte generalización en tareas como ChartQA, OCRBench, OCRVQA y TextVQA. Las ganancias de rendimiento fueron más pronunciadas en tareas extra-dominio (mejora promedio del 1.6%) en comparación con las tareas intra-dominio (0.74%), lo que sugiere una mejora genuina de la comprensión visual en lugar de un sobreajuste específico de la tarea.
• Alineación Multimodal: El análisis del proceso de entrenamiento mostró que la supervisión de visión acelera el aprendizaje de características visuales, particularmente en las etapas tempranas del entrenamiento y para modelos unimodales que aprenden desde cero.
• Reconocimiento de Caracteres: DV-SFT mejoró la precisión en el reconocimiento de caracteres tanto en tareas de reconocimiento de texto contextual como no contextual (texto semánticamente sin sentido), confirmando la mejora en la comprensión visual de alta frecuencia.
• Capacidad Visual General: La evaluación en el punto de referencia MME (percepción y cognición visual general) indicó que la supervisión de visión basada en texto no degrada las capacidades visuales generales; más bien, mejora ligeramente el rendimiento general, sugiriendo que los mecanismos aprendidos se generalizan a escenarios no textuales.

Significado y Afirmaciones

El artículo afirma que DV-SFT ofrece una solución práctica y efectiva al problema de la comprensión visual de baja frecuencia en MLLM. Al tratar la supervisión de visión como una tarea estándar de predicción del siguiente token, el método:

• Elimina la Sobrecarga Arquitectónica: No requiere decodificadores adicionales, tokenizadores o pasadas forward, lo que lo hace fácilmente aplicable a cualquier pipeline de MLLM existente.
• Mejora la Comprensión de Alta Frecuencia: La supervisión directa obliga al modelo a alinear los tokens visuales con contenido semántico específico, reduciendo las alucinaciones y mejorando la precisión.
• Mejora la Eficiencia de Alineación: El método logra una mayor eficiencia de alineación multimodal en comparación con los métodos de supervisión indirecta.

Los autores concluyen que, aunque su implementación actual depende de escenarios de OCR para la construcción de etiquetas, el principio de la supervisión de visión directa es un paso necesario hacia un entrenamiento de MLLM más robusto, con trabajos futuros planificados para extender estos métodos a dominios visuales más amplios más allá del texto.