Resumen Técnico: Un LMM para el Anclaje Preciso de Elementos en Documentos

Declaración del Problema

El anclaje visual (visual grounding) —la capacidad de los Modelos de Lenguaje Multimodales Grandes (LMMs) para localizar regiones visuales específicas basadas en instrucciones de lenguaje natural— es crítico para la comprensión de documentos, la investigación profunda y la detección de errores. Sin embargo, los LMMs existentes tienen dificultades con el anclaje preciso en imágenes de documentos ricos en texto. A diferencia de las imágenes naturales, los documentos presentan una alta densidad de elementos, una gran diversidad de plantillas y diseños complejos. Los modelos actuales suelen fallar al localizar con precisión elementos críticos (palabras, frases, líneas), lo que conduce a un razonamiento "alucinado" donde el modelo se centra en regiones no relacionadas. Esta deficiencia obstaculiza el razonamiento con anclaje visual, un proceso en el que un LMM debe citar coordenadas espaciales específicas como evidencia de su razonamiento textual. Además, los conjuntos de datos existentes carecen de la granularidad y la diversidad (por ejemplo, documentos rellenados a mano sintéticos) necesarias para entrenar modelos para estos escenarios desafiantes, y no existe un flujo de trabajo de entrenamiento completo que optimice conjuntamente el anclaje y el razonamiento mediante aprendizaje por refuerzo (RL).

Metodología

El artículo presenta PreciseDoc, un LMM diseñado para el anclaje preciso de elementos, y PreciseDoc-Reasoner, su variante optimizada para el razonamiento con anclaje visual. La metodología se estructura en tres componentes principales:

1. Flujos de Generación de Datos de Alta Calidad

Para abordar la escasez de datos de anclaje de alta calidad, los autores construyeron dos motores de generación de documentos automatizados:

• Motor basado en LaTeX: Compila códigos fuente de LaTeX para generar PDFs nativos. Se inserta un comando personalizado (\marktext) durante la compilación para capturar las coordenadas espaciales precisas (convertidas de puntos a píxeles) para el texto envuelto. Este motor permite la producción masiva de diversos tipos de plantillas de currículum y otros tipos de documentos.
• Motor de Datos Manuscritos: Sintetiza documentos rellenados a mano con efectos de cámara (por ejemplo, filtros, degradación) para simular el escaneo del mundo real. Ensambla muestras de caracteres individuales del conjunto de datos NIST para formar texto coherente, reservando espacios para valores generados por un VLM. Este flujo de trabajo aborda la falta de conjuntos de datos para el anclaje de documentos manuscritos.
• Construcción de Tareas: Estos motores generan documentos y metadatos emparejados para dos tareas: Anclaje Puro (localizar frases o elementos específicos) y Extracción de Información (localizar grupos de elementos, como "Experiencia Laboral" en un CV).

2. Flujo de Entrenamiento: Del Inicio en Frío al Aprendizaje por Refuerzo

El entrenamiento de PreciseDoc-Reasoner sigue un paradigma de dos etapas:

• Etapa 1: Inicialización de Inicio en Frío (SFT): El modelo se ajusta finamente en un conjunto de datos de VQA curado de 27K (derivado de BBox-DocVQA y DOGR). Este conjunto de datos incluye trayectorias de razonamiento donde se instruye al modelo para generar coordenadas de cajas delimitadoras (ya sea a nivel de token o de elemento) junto con su proceso de pensamiento y respuesta final. Los datos se construyen expandiendo las cajas de nivel de token a cajas de nivel de elemento y anotando el contenido para asegurar que el VLM utilice activamente las cajas para el razonamiento en lugar de tratarlas como etiquetas suplementarias.
• Etapa 2: Aprendizaje por Refuerzo (RL): El modelo se somete a un entrenamiento conjunto de RL para supervisar tanto la precisión del razonamiento como el anclaje intermedio.
  • Diseño de Recompensa: La recompensa total $R$ combina una recompensa de precisión de respuesta ($R_{acc}$) y una recompensa de Intersección sobre Unión (IoU) dual ($R_{IoU}$).
  • Algoritmo Húngaro para el Emparejamiento: A diferencia de métodos anteriores que utilizan un mapeo de muchos a muchos (que puede inflar las métricas), los autores emplean el Algoritmo Húngaro para establecer una asignación óptima de uno a uno entre las cajas predichas y las reales. Esto maximiza el IoU total asegurando restricciones de mapeo estrictas.
  • Penalización de Longitud: Se aplica una penalización estricta a las cajas generadas no emparejadas para evitar que el modelo produzca cajas delimitadoras redundantes o excesivas para "manipular" la puntuación de IoU.

Contribuciones Clave

1. Motores de Generación de Documentos: La introducción de dos flujos de trabajo capaces de producir masivamente documentos de alta calidad con metadatos espaciales detallados y emparejados, incluyendo documentos sintéticos rellenados a mano con efectos de cámara.
2. Modelo PreciseDoc: Un LMM que logra un rendimiento de Estado del Arte (SOTA) en el anclaje de texto de documentos, capaz de realizar funciones del mundo real como localizar información personal en CVs, superando a los modelos especializados existentes.
3. PreciseDoc-Reasoner y Paradigma de Entrenamiento: El primer flujo de trabajo de entrenamiento completo (SFT a RL) para el razonamiento con anclaje visual en documentos. Introduce un novedoso mecanismo de recompensa de RL utilizando el Algoritmo Húngaro para el emparejamiento de cajas uno a uno y una penalización de longitud para asegurar una localización de evidencia precisa y no redundante.

Resultados Experimentales

Los modelos propuestos fueron evaluados en múltiples evaluaciones de referencia (benchmarks):

• DocLocal4K (Anclaje de Texto): PreciseDoc logró una precisión general del 81.79%, superando bases sólidas como Doubao-Seed-2.0-Pro (54.45%) y DocOwl-1.5 (80.38%). Demostró un rendimiento superior en elementos de pequeña granularidad (palabras, frases, líneas).
• TRIG (Razonamiento con Anclaje a Nivel de Palabra): PreciseDoc-Reasoner logró un IoU promedio del 46.42%, superando significativamente a todos los demás modelos de código abierto y propietarios (por ejemplo, Qwen3.5-27B con 20.03%, Gemini-3-Pro con 30.26%). Mostró una fortaleza particular en la comprensión de gráficos, duplicando el rendimiento del segundo mejor modelo.
• BBox-DocVQA (Razonamiento con Anclaje a Nivel de Elemento): El modelo logró una precisión de anclaje del 51.16% y una precisión de respuesta del 75.97%. Superó a todos los LMMs de código abierto listados (incluyendo el Qwen3VL de 235B parámetros) y ocupó el segundo lugar solo tras Gemini-3-Flash entre los modelos propietarios.
• Benchmarks Tradicionales: En DocVQA, ChartQA y TextVQA, PreciseDoc-Reasoner demostró un rendimiento competitivo, logrando resultados comparables o mejores que modelos más grandes como Qwen3.5-9B, a pesar de no haber sido entrenado en conjuntos de datos masivos de VQA general.

Significado y Reivindicaciones

El artículo afirma que PreciseDoc cierra con éxito la brecha entre la comprensión de documentos y la localización espacial precisa. Al construir datos de entrenamiento desafiantes y de alta fidelidad e introducir un riguroso paradigma de entrenamiento de RL con emparejamiento de cajas uno a uno, los autores demuestran que los LMMs pueden entrenarse eficazmente para proporcionar evidencia visual verificable. El trabajo destaca que el anclaje preciso no es simplemente un paso de preprocesamiento, sino un componente crítico del proceso de razonamiento que evita las alucinaciones y mejora la interpretabilidad. Los autores posicionan su enfoque como un paso fundacional hacia sistemas de análisis de documentos más fiables y basados en evidencia, señalando que los métodos propuestos y los flujos de trabajo de generación de datos ofrecen una solución escalable para futuros avances en la IA de documentos.