PaddleOCR-VL-1.5: Towards a Multi-Task 0.9B VLM for Robust In-the-Wild Document Parsing

Resumen Técnico: PaddleOCR-VL-1.5

1. El Problema

A pesar de los avances recientes en la inteligencia artificial para documentos, la mayoría de los modelos existentes están optimizados para documentos "nacidos digitales" o escaneos limpios. Existe una brecha crítica en el manejo de distorsiones físicas extremas en escenarios del mundo real ("in-the-wild"), tales como:

• Inclinaciones agresivas (skew).
• Deformaciones no rígidas de las páginas (warping).
• Patrones de moiré por captura de pantalla.
• Iluminación errática y condiciones de escaneo imperfectas.

Además, los modelos actuales a menudo carecen de capacidades unificadas para tareas especializadas como el reconocimiento de sellos o la localización precisa de texto (text spotting) en entornos no controlados, y muchos modelos de gran escala (VLMs masivos) son ineficientes en términos de parámetros para estas tareas específicas.

2. Metodología

PaddleOCR-VL-1.5 es un modelo de lenguaje visual (VLM) ultra-compacto de 0.9 mil millones de parámetros que adopta un enfoque de dos etapas para el análisis de documentos y un flujo de trabajo unificado para la detección de texto.

A. Arquitectura y Componentes Clave:

1. PP-DocLayoutV3 (Análisis de Diseño):
   • Sustituye a las versiones anteriores de detección rectangular por un marco de segmentación de instancias basado en máscaras (construido sobre RT-DETR).
   • Predice cajas delimitadoras de múltiples puntos (polígonos) para anclar con precisión regiones semánticas en páginas curvas o inclinadas.
   • Predicción de Orden de Lectura Integrada: A diferencia de enfoques desacoplados, integra la predicción del orden lógico directamente en las capas del decodificador Transformer mediante un Mecanismo de Puntero Global. Esto permite predecir la secuencia lógica de lectura en un solo paso de adelante (forward pass), reduciendo errores en cascada.
2. PaddleOCR-VL-1.5-0.9B (Reconocimiento de Elementos):
   • Utiliza un codificador visual de resolución nativa (NaViT-style) y una columna vertebral de lenguaje ligera basada en ERNIE-4.5-0.3B.
   • Soporta seis tareas principales: OCR, reconocimiento de fórmulas, tablas, gráficos, reconocimiento de sellos y text spotting.
   • Para Text Spotting, utiliza una representación de cuadrilátero de 4 puntos (TL, TR, BR, BL) en lugar de cajas rectangulares, permitiendo localizar texto inclinado o irregular con alta precisión.

B. Estrategia de Entrenamiento:

• PP-DocLayoutV3: Entrenamiento end-to-end con una estrategia de optimización conjunta que comparte representaciones de características entre detección, segmentación y ordenamiento. Se utiliza un pipeline de aumento de datos consciente de la distorsión para simular deformaciones físicas reales.
• PaddleOCR-VL-1.5-0.9B:
  • Pre-entrenamiento: Escalado del conjunto de datos a 46 millones de pares imagen-texto, incluyendo datos específicos para sellos y spotting.
  • Post-entrenamiento (Fine-tuning): Uso de una estrategia de muestreo de clústeres consciente de la incertidumbre (UACS) para priorizar ejemplos difíciles (sellos distorsionados, tablas densas).
  • Optimización por Refuerzo: Se aplica GRPO (Group Relative Policy Optimization) para unificar estilos de etiquetas y mejorar la generalización en tareas complejas.

3. Contribuciones Clave

• Nueva Benchmark: Real5-OmniDocBench: Los autores crearon un nuevo conjunto de datos riguroso basado en OmniDocBench v1.5, diseñado específicamente para evaluar la robustez ante cinco escenarios de distorsión física: escaneo, deformación (warping), fotografía de pantalla, iluminación y inclinación (skew).
• Arquitectura Unificada y Eficiente: Lograr un rendimiento SOTA con solo 0.9B de parámetros, superando a modelos masivos (como Qwen3-VL-235B o Gemini-3 Pro) en tareas de documentos, demostrando una eficiencia de parámetros excepcional.
• Expansión de Capacidades: Integración nativa de Reconocimiento de Sellos y Text Spotting (detección y reconocimiento simultáneos con coordenadas), tareas que antes requerían modelos separados o pipelines complejos.
• PP-DocLayoutV3: Una innovación arquitectónica que unifica la detección, segmentación y ordenamiento lógico en un solo modelo de visión, eliminando la necesidad de post-procesamiento redundante.

4. Resultados

El modelo fue evaluado en múltiples benchmarks, demostrando un rendimiento superior:

• OmniDocBench v1.5: Alcanzó una precisión SOTA del 94.5%, superando a su predecesor (92.86%) y a modelos mucho más grandes. Destacó en la puntuación de fórmulas (CDM: 94.21%) y tablas (TEDS: 92.76%).
• Real5-OmniDocBench (Escenarios Reales): Logró una precisión general del 92.05%.
  • En el escenario más difícil (Skew/Inclinación), alcanzó un 91.66%, una mejora absoluta del 14.19% sobre su versión anterior, demostrando una robustez superior ante distorsiones geométricas.
  • Superó consistentemente a VLMs generales masivos (ej. Qwen3-VL-235B, Gemini-3 Pro) en todos los escenarios de distorsión.
• Nuevas Capacidades:
  • Text Spotting: Obtuvo la mayor precisión en 9 de 10 dimensiones de un benchmark interno (0.8621 en promedio), superando a HunyuanOCR y Rex-Omni.
  • Reconocimiento de Sellos: Logró una distancia de edición normalizada (NED) de 0.138, superando significativamente al modelo Qwen3-VL-235B (0.382).
• Rendimiento de Inferencia: Con el backend FastDeploy en una GPU NVIDIA A100, alcanzó 1.43 páginas/segundo y 2016.6 tokens/segundo, superando a su versión anterior en un 16.9% y 18.6% respectivamente.

5. Significado e Impacto

PaddleOCR-VL-1.5 representa un avance significativo en la democratización de la inteligencia de documentos. Al demostrar que un modelo pequeño (0.9B) puede superar a gigantes de cientos de miles de millones de parámetros en tareas de documentos complejos y distorsionados, ofrece:

• Eficiencia Operativa: Reduce drásticamente los costos de computación y almacenamiento, permitiendo despliegues en entornos con recursos limitados.
• Robustez en Producción: Su capacidad para manejar documentos reales (fotos de móviles, escaneos torpes, sellos oficiales) lo hace ideal para aplicaciones industriales y empresariales reales, no solo para datos limpios.
• Fundamento para RAG: Proporciona una base de datos de alta fidelidad para sistemas de Generación Aumentada por Recuperación (RAG) y LLMs, mejorando la fiabilidad de la extracción de conocimiento en entornos no controlados.

En resumen, PaddleOCR-VL-1.5 establece un nuevo estándar de oro (SOTA) para el análisis de documentos en el mundo real, combinando precisión extrema, robustez ante distorsiones físicas y una eficiencia de parámetros sin precedentes.