Resumen Técnico: Priors de Estructura de Diseño para la Comprensión Robusta de Documentos Visuales Fuera de la Distribución

Enunciado del Problema

Los Modelos Visuales-Lingüísticos (VLM) han simplificado la comprensión de documentos al permitir la conversión de extremo a extremo de imágenes de página a marcado estructurado. Sin embargo, estos modelos fallan frecuentemente en diseños que difieren de su distribución de entrenamiento (Fuera de la Distribución o OOD). Los autores atribuyen este fallo a un "cuello de botella de dos saltos":

1. Salto 1 (Resolución de Entidades): El decodificador debe primero clasificar y localizar la entidad de diseño que la contiene (por ejemplo, identificar los límites de una tabla).
2. Salto 2 (Extracción de Contenido): El decodificador extrae luego el contenido dentro de esos límites.

Cuando el Salto 1 falla, el Salto 2 colapsa, resultando en omisiones, estructuras malformadas o repetición autoregresiva (bucles infinitos). Este problema es particularmente agudo en modelos compactos donde la capacidad del decodificador está restringida, ya que el modelo debe descubrir simultáneamente la estructura espacial y generar texto a partir de píxeles crudos.

Metodología

El artículo propone una pipeline de dos etapas que resuelve previamente el Salto 1 fuera del bucle autoregresivo, desacoplando efectivamente la localización del diseño de la extracción de contenido.

1. La Pipeline de Dos Etapas

• Etapa 1: Precomputación del Diseño (Resolución del Salto 1):
  • Un detector ligero basado en RT-DETR (docling-layout-heron) procesa la imagen de entrada para predecir regiones del documento y sus coordenadas.
  • Estas detecciones se serializan en el vocabulario nativo DocTags del analizador (por ejemplo, <text><loc_100>...</text>), en lugar de texto plano.
  • Este prior de diseño serializado se inyecta directamente en el prompt junto con la imagen completa de la página.
• Etapa 2: Análisis por VLM (Ejecución del Salto 2):
  • El VLM base (granite-docling-258M) recibe tanto la imagen completa de la página como el plano estructural.
  • A diferencia de los enfoques de "analizar-luego-parsar" que recortan la imagen basándose en las cajas del detector, este método mantiene la página completa en la vista. Esto permite que el decodificador utilice la imagen original como respaldo global si el detector es imperfecto.
  • La capacidad del decodificador se libera así para centrarse en la extracción de contenido (Salto 2) en lugar de redescubrir la estructura del diseño.

2. Estrategia de Entrenamiento

El proceso de ajuste fino implica tres fases:

• Fase 1 (Preentrenamiento): Optimización conjunta de la alineación de modalidades y la comprensión de documentos en un corpus híbrido (sintético y etiquetado por humanos), centrándose inicialmente en texto denso y diseños simples.
• Fase 2 (Inyección de Diseño): Transición a una arquitectura guiada donde el modelo se entrena con los priores de diseño serializados. El modelo aprende a condicionar la generación sobre el "plano" proporcionado.
• Fase 3 (Ajuste Fino Guiado): Se emplea una estrategia específica de enmascaramiento de pérdida. Dado que los tokens de ubicación se copian literalmente del prompt, su predicción se excluye de la función de pérdida. La pérdida se aplica solo a los tokens de etiqueta y contenido, asegurando que el modelo se centre en el contexto estructural y la generación de contenido en lugar de aprender a copiar coordenadas.

Contribuciones Clave

1. Marco de Decodificación Guiada: Una pipeline que inyecta priores de diseño estructurados de RT-DETR directamente en el prompt del VLM utilizando el vocabulario nativo DocTags del analizador. Esto aborda el cuello de botella de dos saltos sin requerir cambios arquitectónicos en el VLM base.
2. Evidencia Mecanística: El análisis de atención revela un cambio de fase bimodal. El decodificador atiende principalmente a los tokens de diseño inyectados al emitir sintaxis estructural (Salto 1) y cambia su atención a parches de imagen al emitir contenido textual (Salto 2). Esto confirma que la pipeline descarga con éxito el descubrimiento espacial.
3. Generalización OOD Robusta: El método demuestra mejoras significativas en la generalización estructural a través de cambios severos en diseño, idioma y complejidad, manteniendo el rendimiento dentro de la distribución.

Resultados Experimentales

El método fue evaluado en una referencia de OOD estructural de 10k páginas, un subconjunto chino de OmniDocBench y la referencia ViDoRe V3 de 26k páginas.

• OOD Estructural (NoveltySet): La puntuación F1 de Markdown mejoró de 0.37 a 0.92.
• OOD Lingüístico (OmniDocBench Chino): La extracción de tablas (TEDS) mejoró de 0.01 a 0.36.
• Estabilidad (ViDoRe V3): Los fallos de decodificación por bucle infinito disminuyeron significativamente en los siete dominios industriales probados (caída media del 3.9% al 2.4%).
• Rendimiento Dentro de la Distribución: El método igualó o superó a las líneas base en DocLayNet, confirmando que las ganancias en robustez no vienen a costa de la precisión dentro de la distribución.
• Eficiencia: El enfoque añade solo un 15% de latencia en tiempo real y una mediana de 74 tokens de prompt, sin cambios arquitectónicos en el modelo base.

Significado y Afirmaciones

El artículo afirma que al separar explícitamente la resolución de entidades de la extracción de contenido, los VLM compactos pueden lograr una robustez comparable a la de modelos más grandes sin remodelaciones arquitectónicas. Los autores enfatizan que:

• Preservación del Contexto Global: Mantener la imagen completa de la página en la vista permite que el modelo se recupere de errores del detector, una ventaja clave sobre las pipelines basadas en recortes.
• Alineación de Vocabulario Nativo: Utilizar DocTags (el propio vocabulario del analizador) para los priores, en lugar de texto plano, alinea el prior con el espacio de generación del decodificador, facilitando una mejor integración.
• Practicidad: La solución ofrece un camino práctico hacia el análisis de documentos fiable con modelos compactos, añadiendo una sobrecarga computacional mínima mientras reduce significativamente fallos catastróficos como los bucles infinitos.

Los autores señalan limitaciones, específicamente que la pipeline depende del detector aguas arriba (aunque muestra tolerancia al ruido) y que el mecanismo está respaldado por evidencia empírica y análisis de atención en lugar de explicaciones causales completas.