FireRed-OCR Technical Report

FireRed-OCR es un marco sistemático que transforma modelos VLM generales en expertos de OCR estructural mediante una fábrica de datos "Geometría + Semántica" y una estrategia de entrenamiento progresivo de tres etapas, logrando un rendimiento superior al estado del arte en el análisis de documentos complejos.

Lo esencial

¡Claro que sí! Imagina que los modelos de Inteligencia Artificial actuales son como estudiantes universitarios muy inteligentes y cultos, capaces de escribir ensayos, entender poesía y describir cualquier imagen que vean. Sin embargo, si les pides que copien un documento complejo (como un contrato legal, una factura con tablas raras o un libro de matemáticas), tienden a "alucinar".

¿Qué significa "alucinar" aquí? Significa que el estudiante escribe cosas que no están en el papel, mezcla los párrafos, olvida cerrar una tabla o pone fórmulas matemáticas que no tienen sentido. Es como si un chef genial cocinara un plato delicioso, pero olvidara poner el tenedor al lado o sirviera la sopa en un zapato.

FireRed-OCR es el proyecto de un equipo de expertos (de Xiaohongshu Inc.) que ha creado un sistema de entrenamiento especial para convertir a ese "estudiante culto" en un maestro copista de precisión quirúrgica.

Aquí te explico cómo lo hicieron, usando analogías sencillas:

1. El Problema: "Alucinaciones Estructurales"

Los modelos generales ven la imagen y dicen: "¡Oh, parece una tabla!". Pero al escribirla, se equivocan en los bordes, las columnas no coinciden o las fórmulas se rompen. Para la industria, esto es inútil porque necesitas que el documento sea perfecto, no solo "parecido".

2. La Solución: La "Fábrica de Datos" (Geometry + Semantics)

Para entrenar al modelo, no basta con darle millones de documentos al azar (como tirar arroz al suelo y esperar que un pájaro encuentre el grano perfecto).

• La Analogía: Imagina que quieres entrenar a un jugador de ajedrez. No le das millones de juegos al azar; le das juegos específicos: algunos de finales de partida, otros de aperturas raras, y otros contra oponentes muy difíciles.
• Lo que hicieron: Crearon una "Fábrica de Datos" que usa dos filtros:
  1. Geometría: Mira la forma del documento (¿es una tabla? ¿es un periódico con muchas columnas?). Agrupa los documentos por su "forma física".
  2. Semántica: Mira el contenido (¿es una factura? ¿es un contrato?).
  • El resultado: El modelo recibe un "menú equilibrado". No come solo "hamburguesas" (documentos simples), sino que también come "sushi raro" (documentos complejos) y "postres difíciles" (fórmulas matemáticas), asegurándose de que no se quede sin practicar los casos difíciles.

3. El Entrenamiento: Los "Tres Escalones"

No pueden saltar directamente a ser expertos. Usaron una estrategia de tres etapas, como subir una montaña:

• Escalón 1: Los Ojos (Pre-alineación Multitarea)

  • La analogía: Antes de escribir un libro, el estudiante debe aprender a señalar con el dedo exactamente dónde está cada letra.
  • Qué hacen: Le enseñan al modelo a detectar cajas (dónde empieza y termina un texto) y a leer trozos pequeños de la imagen. Esto le da "buenos ojos" para no perderse.

• Escalón 2: La Caligrafía (Ajuste Especializado)

  • La analogía: Ahora que sabe leer, le enseñan a escribir siguiendo reglas estrictas. Si es una tabla, debe tener bordes perfectos. Si es una fórmula, debe usar el lenguaje correcto (LaTeX).
  • Qué hacen: Le dan miles de ejemplos perfectos para que aprenda a imitar el formato exacto (Markdown) sin inventar nada.

• Escalón 3: El Juez Estricto (Refuerzo con Reglas)

  • La analogía: Imagina un examen final donde un profesor muy estricto revisa cada respuesta. Si el estudiante olvida cerrar un paréntesis o mezcla una fila de la tabla, el profesor le quita puntos inmediatamente.
  • Qué hacen: Usan una técnica llamada GRPO. El modelo genera varias respuestas, y un "juez" (un programa de reglas) castiga las que tienen errores de sintaxis (tablas rotas, fórmulas inválidas) y premia las perfectas. El modelo aprende por ensayo y error a no cometer esos errores tontos.

4. Los Resultados: El Pequeño Gigante

Lo más impresionante es que lograron esto con un modelo de 2 mil millones de parámetros (que es pequeño en el mundo de la IA actual), mientras que sus competidores usan modelos gigantes de cientos de miles de millones.

• La analogía: Es como si un ciclista profesional en una bicicleta de 10 kg ganara la carrera contra un camión de 10 toneladas.
• El logro: En pruebas reales (como OmniDocBench), FireRed-OCR obtuvo un 92.94% de precisión, superando a los gigantes y a los sistemas tradicionales que usan muchas herramientas separadas. Entiende mejor el orden de lectura, las tablas complejas y las fórmulas matemáticas.

En Resumen

FireRed-OCR no es un nuevo "cerebro" gigante. Es un sistema de entrenamiento inteligente que toma un cerebro generalista, le da un "plan de estudios" personalizado con los casos más difíciles, le entrena los ojos para ver detalles y le pone un "juez estricto" para que nunca olvide las reglas de la gramática y la estructura.

El resultado es una herramienta que puede transformar cualquier foto de un documento (desde una factura arrugada hasta un libro de texto) en un archivo digital perfecto, listo para usar, sin que la IA tenga que "inventar" nada.

Resumen técnico

Resumen Técnico: FireRed-OCR

Autores: Super Intelligence Team, Xiaohongshu Inc.
Base del Modelo: Qwen3-VL
Objetivo: Transformar Modelos de Lenguaje y Visión (VLM) de propósito general en expertos de alto rendimiento para el análisis estructural de documentos.

1. El Problema: Alucinación Estructural

Aunque los Modelos de Lenguaje y Visión (VLM) de gran escala (como GPT-4V o Qwen-VL) han demostrado capacidades impresionantes en la comprensión general de imágenes, sufren de un fallo crítico al procesar documentos complejos: la alucinación estructural.

• Manifestación: Los modelos generan salidas desordenadas, como filas de tablas en Markdown mal alineadas, sintaxis de fórmulas matemáticas inexistentes o la omisión de la lógica jerárquica.
• Consecuencia: Estas errores hacen que las salidas sean inutilizables para aplicaciones industriales que requieren precisión pixel-perfect y formato estricto.
• Limitación de enfoques actuales:
  • Los sistemas OCR tradicionales (pipelines) son precisos a nivel de píxel pero carecen de comprensión semántica para reconstruir el orden de lectura o estructuras lógicas.
  • Los enfoques de extremo a extremo (End-to-End) y VLMs genéricos capturan bien la semántica pero fallan en el anclaje espacial fino y no respetan las reglas de sintaxis estrictas.

2. Metodología: FireRed-OCR

El equipo propone un marco sistemático basado en dos pilares fundamentales: un motor de datos de alta precisión y una estrategia de entrenamiento progresiva de tres etapas.

A. Fábrica de Datos "Geometría + Semántica"

Para abordar la escasez de datos estructurados de alta calidad, se desarrolló una tubería automatizada que supera el muestreo aleatorio tradicional:

1. Extracción de Características Geométricas y Doble Indexación: Se utiliza un codificador de imágenes ligero para extraer vectores de características visuales (ignorando el texto) y agrupar documentos por topología de diseño (clustering). Esto permite identificar y preservar diseños de "cola larga" (tablas anidadas, formularios irregulares) que suelen ser ignorados.
2. Sistema de Etiquetado Multidimensional: Se añaden etiquetas semánticas (idioma, tipo de diseño, fuente, género) para equilibrar la distribución de los datos.
3. Muestreo Estratificado y Re-annotación: Se realiza un muestreo balanceado que prioriza diseños complejos. Todas las anotaciones se estandarizan a un formato Markdown unificado utilizando PaddleOCR-VL como base, eliminando inconsistencias de sintaxis.
4. Generación de Datos Sintéticos: Se crean plantillas HTML/CSS para generar imágenes de alta resolución con estructuras complejas (tablas de varias páginas, fórmulas anidadas) y sus correspondientes "Ground Truth" perfectas.
5. Control de Calidad y Minería de Negativos Difíciles: Un sistema de dos niveles (heurísticas automáticas y auditoría con LLM) filtra datos basura pero retiene los "casos difíciles" para su refinamiento.
6. Refinamiento de Nivel Experto: Los casos difíciles se envían a modelos propietarios avanzados (como Gemini 3 Pro) para corregir errores estructurales, destilando su capacidad de razonamiento en el conjunto de datos de entrenamiento.

B. Estrategia de Entrenamiento Progresivo de Tres Etapas

El modelo evoluciona de la percepción de píxeles a la generación de estructura lógica:

1. Etapa 1: Pre-alineación Multitarea:

   • Entrenamiento conjunto en detección (cajas delimitadoras), OCR de regiones y conversión básica de diseño a Markdown.
   • Objetivo: Aterrizar la percepción visual del modelo en representaciones textuales precisas antes de intentar la generación completa.

2. Etapa 2: Ajuste Fino Supervisado Especializado (SFT):

   • Entrenamiento en un conjunto de datos de alta calidad (400k pares) para estandarizar la salida en Markdown.
   • Enfoque: Consistencia estructural, estabilidad en la expresión jerárquica (encabezados, listas) y robustez ante diseños complejos y multilingües.

3. Etapa 3: GRPO con Restricciones de Formato:

   • Aplicación de Optimización de Política Relativa de Grupo (GRPO) con recompensas basadas en reglas estrictas.
   • Funciones de Recompensa:
     • Sintaxis de Fórmulas: Verificación de compilación LaTeX.
     • Cierre Jerárquico: Penalización por etiquetas no cerradas.
     • Integridad de Tablas: Verificación de columnas consistentes.
     • Precisión Textual: Distancia de Levenshtein contra el texto real.
   • Mecanismo Iterativo: Se introduce un ciclo de refinamiento que alterna entre SFT y GRPO para evitar el "hackeo de recompensas" y asegurar que el modelo aprenda tanto la fidelidad semántica como la rigidez estructural.

3. Contribuciones Clave

• Identificación del Cuello de Botella: Definición de la "Alucinación Estructural" como el principal obstáculo para el uso de VLMs en documentos y propuesta de un cambio de paradigma de "generación de texto" a "ingeniería estructural".
• Fábrica de Datos Innovadora: Creación de un pipeline "Geometría + Semántica" que garantiza datos de supervisión interpretables, balanceados y de alta calidad.
• Estrategia de Entrenamiento Híbrida: Introducción de una estrategia de tres etapas que integra GRPO con restricciones de formato, mejorando significativamente la robustez en la reconstrucción de diseños complejos.
• Eficiencia de Parámetros: Demostración de que un modelo pequeño (2B parámetros) puede superar a modelos masivos (cientos de miles de millones de parámetros) en tareas específicas de OCR mediante un entrenamiento especializado.

4. Resultados

El modelo FireRed-OCR-2B fue evaluado en el benchmark OmniDocBench v1.5, logrando un rendimiento de vanguardia (SOTA):

• Puntuación General: 92.94%, superando a modelos especializados como DeepSeek-OCR 2 (91.09%) y OCRVerse (88.41%).
• Comparación con VLMs Genéricos: Supera significativamente a modelos mucho más grandes como Qwen3-VL-235B (89.15%) y Gemini-3.0 Pro (90.33%), demostrando que la optimización específica del dominio es más eficiente que el simple escalado de parámetros.
• Métricas Específicas:
  • Estructura de Tablas (TableTEDS): 90.31 (superando a Qwen3-VL-235B en +20.54 puntos respecto a su versión base).
  • Orden de Lectura: Mejor puntuación en la tabla (0.041 de distancia de edición).
  • Reconocimiento de Texto: Distancia de edición de 0.032, superando incluso a sistemas de pipeline tradicionales como PaddleOCR-VL-1.5.
• FireRedBench: En un benchmark interno diseñado para layouts complejos y no estándar, el modelo alcanzó 74.62, superando a sistemas de pipeline complejos y demostrando una mayor robustez interna.

5. Significado e Impacto

FireRed-OCR representa un avance significativo en la inteligencia de documentos al cerrar la brecha entre la comprensión semántica general y la precisión estructural industrial.

• Paradigma Reproducible: Establece un camino claro para convertir VLMs de propósito general en expertos estructurales mediante una combinación de ingeniería de datos rigurosa y aprendizaje por refuerzo con restricciones.
• Eficiencia: Demuestra que no es necesario utilizar modelos masivos para tareas de OCR de alta precisión; un modelo de 2B parámetros, bien entrenado, puede superar a arquitecturas mucho más grandes y costosas.
• Aplicabilidad Industrial: Al resolver el problema de la alucinación estructural, habilita el uso confiable de VLMs en sectores críticos como finanzas (informes), académicos (papeles científicos) y legales, donde la integridad del formato es tan importante como el contenido.

El código, los pesos del modelo y las demostraciones han sido abiertos al público para fomentar la adopción de este nuevo paradigma.