Judge a Book by its Cover: Investigating Multi-Modal LLMs for Multi-Page Handwritten Document Transcription

Resumen Técnico: Judge a Book by Its Cover

1. El Problema

La Transcripción de Texto Manuscrito (HTR, por sus siglas en inglés) sigue siendo una tarea desafiante, especialmente en documentos reales del mundo que suelen ser multipágina.

• Limitaciones actuales: Los enfoques de vanguardia (SOTA) requieren ajuste fino (fine-tuning) con datos etiquetados, lo cual es costoso y poco práctico. Las herramientas de OCR ceroshot (sin entrenamiento) existentes a menudo producen resultados ruidosos.
• Pérdida de contexto: La mayoría de los modelos y herramientas de OCR procesan los documentos página por página. Esto ignora el contexto compartido entre páginas, como el estilo de escritura consistente, el contenido semántico, los artefactos visuales y el formato, que son cruciales para corregir errores.
• Desafío de los MLLM: Aunque los Modelos de Lenguaje Multimodales (MLLM) comerciales (como GPT-4O) muestran un gran potencial para la transcripción de extremo a extremo, su uso directo presenta dos problemas:
  1. Alucinaciones: Tienen mayor riesgo de inventar texto "razonable" pero incorrecto en comparación con el ruido del OCR.
  2. Costo y Complejidad: Procesar todas las imágenes de un documento multipágina consume una gran cantidad de tokens (especialmente las imágenes), encareciendo la tarea y aumentando la complejidad del prompt.

2. Metodología Propuesta

El artículo investiga estrategias de prompting que combinan la salida de un motor OCR con MLLMs para realizar transcripciones de documentos multipágina en modo ceroshot (sin entrenamiento previo).

Nuevas Estrategias de Prompting:
Los autores proponen dos métodos principales, OCR+PAGE1 y OCR+PAGEN, que se basan en la hipótesis de que una sola página puede proporcionar suficiente contexto para corregir el texto OCR de todo el documento.

• Entrada del Modelo: Se proporciona al MLLM:
  1. La transcripción completa (ruidosa) generada por un motor OCR para todas las páginas del documento.
  2. La imagen de una sola página (no todas).
• OCR+PAGE1: Utiliza siempre la imagen de la primera página del documento. Es la estrategia más simple.
• OCR+PAGEN: Utiliza un LLM "barato" (anterior) para analizar el texto OCR y seleccionar la página más "informativa" (la que tiene menos errores o más contexto relevante) para enviarla al MLLM principal junto con el texto completo.
• Mecanismo de Funcionamiento: El MLLM utiliza la imagen única como referencia "in-context" para aprender el estilo de escritura, los errores recurrentes del OCR y el formato, extrapolando esta información para corregir el texto de las páginas "no vistas". Esto actúa como una forma de few-shot prompting donde la imagen y el texto OCR correspondiente sirven como ejemplo de corrección.

Comparación con otros métodos evaluados:
Los autores compararon sus métodos contra:

• IMAGES (PBP/AAO): Solo imágenes (página por página o todas a la vez).
• OCR (PBP): Solo texto OCR.
• OCR+IMAGES (PBP): Imagen y texto OCR de cada página individualmente.
• IMAGES-ALL-AT-ONCE: Todas las imágenes del documento a la vez (alto costo).

3. Contribuciones Clave

1. Evaluación Empírica: Se realiza la primera evaluación exhaustiva de estrategias de prompting para transcripción de documentos manuscritos multipágina en modo ceroshot, comparando OCR, MLLMs y sus combinaciones.
2. Nuevo Dataset (Malvern-Hills): Se introduce un nuevo conjunto de datos de documentos manuscritos multipágina derivados de archivos históricos de una organización benéfica (Malvern Hills Trust), que incluye minutas, correspondencia y documentos legales con lenguaje arcaico y múltiples manos de escritura.
3. Benchmark Diverso: Se crea un benchmark de cuatro tareas utilizando Malvern-Hills, IAM (adaptado a multipágina), Bentham y CASIA-5 (chino), cubriendo diferentes estilos, idiomas y niveles de dificultad.
4. Métodos Eficientes: Demostración de que OCR+PAGE1 y OCR+PAGEN logran un equilibrio óptimo entre precisión, costo y complejidad, superando a menudo a métodos que tienen acceso a todas las imágenes.

4. Resultados Experimentales

Los experimentos se realizaron en los datasets IAM, Malvern-Hills, Bentham y CASIA-5, utilizando modelos como GPT-4O, Gemini-2.5-Pro y Gemma-3-27B.

• Rendimiento Superior: En todos los datasets, los métodos OCR+PAGE1 y OCR+PAGEN fueron los mejores o estuvieron entre los mejores, superando a menudo a la transcripción de extremo a extremo con imágenes completas (IMAGES-ALL-AT-ONCE) y a la corrección solo con texto OCR.
• Eficiencia de Costos: Aunque los métodos que usan todas las imágenes a veces tienen una precisión ligeramente superior o comparable, los métodos de "página única" reducen drásticamente el costo de tokens y el tiempo de inferencia, ya que evitan enviar múltiples imágenes al modelo.
• Precisión Semántica: Al evaluar errores semánticos (no solo distancia de edición de caracteres), los métodos propuestos mostraron más del 20% menos de errores graves (alucinaciones, nombres propios incorrectos) en comparación con el siguiente mejor método.
• Escalabilidad: Los métodos funcionaron bien incluso en documentos largos (de 10 a 13 páginas) y en documentos con escritura inconsistente (diferentes autores), aunque el beneficio es mayor cuando hay coherencia en el estilo de escritura y el contenido.
• Generalización: Los resultados se mantuvieron consistentes en el dataset chino (CASIA-5), demostrando que una sola página bien elegida captura la mayoría de los beneficios del conjunto completo de imágenes.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Cambio de Paradigma: Demuestra que para la transcripción de documentos multipágina, no es necesario procesar todas las imágenes para obtener un alto rendimiento. Una sola imagen, combinada con el texto OCR completo, es suficiente para que el MLLM "aprenda" el contexto y corrija errores.
• Viabilidad Económica: Ofrece una solución práctica y económica para la digitalización de archivos históricos y documentos legales, donde el costo de procesamiento de imágenes puede ser prohibitivo.
• Reducción de Alucinaciones: Al usar el OCR como base y solo una imagen para guiar la corrección, se mitiga el riesgo de que el MLLM alucine texto nuevo, aprovechando la precisión estructural del OCR y la capacidad de razonamiento del MLLM.
• Herramienta para la Comunidad: La introducción del dataset Malvern-Hills y el código abierto proporcionado sirven como recursos valiosos para futuras investigaciones en HTR y procesamiento de documentos.

En conclusión, el artículo establece que una estrategia híbrida inteligente (OCR + Imagen Única + MLLM) es superior a las aproximaciones puras (solo OCR o solo imágenes) en términos de equilibrio entre costo, complejidad y precisión para la transcripción de documentos manuscritos multipágina.