Structure-Aware Text Recognition for Ancient Greek Critical Editions

Este artículo presenta un corpus sintético y un conjunto de datos reales para evaluar modelos de lenguaje visual en la transcripción de ediciones críticas del griego antiguo, demostrando que, aunque los enfoques *zero-shot* tienen limitaciones, el modelo Qwen3VL-8B fine-tuneado alcanza un rendimiento de vanguardia con una tasa de error de caracteres del 1,0%.

Lo esencial

Imagina que tienes una biblioteca antigua llena de libros de texto griegos muy antiguos. Estos no son libros normales como los que compramos hoy en día. Son como obras maestras de arquitectura en papel: tienen el texto principal, pero también están llenos de notas al margen, números de referencia, títulos pequeños y símbolos extraños que los eruditos usan para encontrar su camino. Es como si el texto fuera el "suelo" de una casa, pero las paredes, las puertas y las ventanas (las notas y referencias) fueran tan importantes como el suelo mismo.

El problema es que intentar leer estos libros con una máquina moderna es como intentar que un robot de cocina prepare un banquete medieval complejo: el robot sabe cortar zanahorias (leer letras simples), pero se pierde cuando ve un plato con 50 ingredientes mezclados y notas escritas en los bordes del plato.

Aquí es donde entra este paper, que podemos resumir como una misión de rescate digital para estos libros antiguos.

1. El Problema: La "Torre de Babel" de las Máquinas

Los investigadores dicen: "Las máquinas actuales (llamadas Modelos de Visión-Lenguaje o VLMs) son muy inteligentes, pero cuando ven estos libros griegos antiguos, se confunden".

• La analogía: Imagina que le pides a un traductor que lea un mapa antiguo lleno de símbolos mágicos. Si el traductor solo sabe leer el texto, ignorará las montañas y los ríos dibujados en el mapa. En estos libros, los "dibujos" (la estructura) son tan importantes como las palabras. Si la máquina ignora la estructura, el libro pierde su sentido.

2. La Solución: Creando un "Simulador de Entrenamiento"

Para enseñar a las máquinas, los autores hicieron dos cosas geniales:

• El "Videojuego" (Datos Sintéticos): En lugar de esperar a encontrar miles de libros reales escaneados (que son difíciles de conseguir), crearon un generador de libros falsos. Imagina una fábrica de libros donde toman el texto real y le ponen "disfraces" diferentes: cambian la fuente, el tamaño, el color del papel y la disposición de las notas. Crearon 185,000 páginas de esta manera.

  • Metáfora: Es como si entrenaras a un piloto de avión en un simulador de vuelo con miles de tormentas y paisajes diferentes antes de dejarlo volar en la vida real.

• El "Examen Final" (Datos Reales): Luego, tomaron 450 páginas reales de libros antiguos escaneados (algunos de hace 150 años) para ver si las máquinas realmente aprendieron o si solo memorizaron el simulador.

3. La Competencia: ¿Quién gana?

Pusieron a prueba a tres "estudiantes" (modelos de Inteligencia Artificial) muy famosos:

1. El viejo confiable (Tesseract/Kraken): Son máquinas OCR tradicionales. Son como motos antiguas: funcionan bien en carretera recta, pero si hay baches (notas al margen, texto roto), se caen.
2. Los nuevos genios (Qwen, DeepSeek, LightOn): Son modelos de IA modernos que "ven" y "leen" a la vez. Son como coches de Fórmula 1: muy rápidos y potentes, pero a veces se vuelven locos si no saben cómo manejar el terreno.

Los Resultados:

• Al principio, los "coches de F1" (los modelos grandes) se estrellaron. Leían el texto pero ignoraban las notas o inventaban cosas que no estaban ahí (alucinaciones).
• Pero, ¡había un ganador! El modelo Qwen3-VL-8B, después de entrenarse primero en el "simulador" (los 185k libros falsos) y luego hacer un pequeño repaso con los libros reales, logró un resultado casi perfecto.
  • La magia: Logró leer el texto con un error de solo 1% (casi perfecto) y, lo más importante, entendió la estructura. Sabía dónde estaban las notas, los títulos y las referencias.

4. ¿Qué aprendimos? (La Lección Moral)

El paper nos dice dos cosas importantes:

1. La estructura es el rey: No basta con leer las letras. Para digitalizar estos libros científicos, la máquina debe entender la "arquitectura" del documento. Si no entiende que una nota al margen es una nota y no parte del texto principal, el libro queda roto.
2. Más grande no siempre es mejor (pero ayuda): Los modelos gigantes son muy flexibles y pueden aprender a entender estos libros complejos si se les da el entrenamiento correcto (primero simulación, luego realidad). Sin embargo, son costosos y a veces "alucinan" (inventan texto). Las máquinas antiguas siguen siendo útiles y más baratas, pero les falta la inteligencia para entender el contexto.

En resumen

Los autores crearon un gimnasio virtual para entrenar a robots en la lectura de libros griegos antiguos. Descubrieron que, aunque los robots modernos a veces se confunden, con el entrenamiento adecuado (simulación + realidad), pueden convertirse en los mejores bibliotecarios digitales, capaces de leer no solo las palabras, sino también el "alma" y la estructura de estos tesoros históricos.

Es como si hubieran enseñado a un robot a no solo leer un mapa, sino a entender que las flechas, las leyendas y los símbolos son tan importantes como las ciudades escritas en él.

Resumen técnico

Resumen Técnico: Reconocimiento de Texto Consciente de la Estructura para Ediciones Críticas del Griego Antiguo

1. El Problema

El reconocimiento óptico de caracteres (OCR) para ediciones impresas del griego antiguo sigue siendo un desafío subexplorado y complejo. A diferencia de los documentos modernos, las ediciones críticas académicas presentan:

• Escrituras polítonas: Uso extensivo de acentos, aspiraciones y subíndices de iota.
• Diseño de página denso y heterogéneo: El texto principal se intercala con jerarquías de secciones, numeración de hitos (milestones), referencias marginales y un aparato crítico que documenta variantes textuales.
• Necesidad de recuperación estructural: La digitación fiable no requiere solo transcribir glifos, sino recuperar fielmente la estructura del documento (separar artefactos de diseño de la organización textual real) para permitir la citación académica y la navegación.
• Limitaciones actuales: Los sistemas OCR tradicionales (modulares) son frágiles ante diseños complejos y anotaciones manuscritas. Por otro lado, los modelos de lenguaje visuales (VLM) recientes, aunque potentes, han sido evaluados principalmente en documentos modernos o científicos, mostrando limitaciones en la recuperación de la estructura semántica de textos históricos densos. Además, existe una escasez crítica de corpus abiertos y grandes para el entrenamiento en griego antiguo.

2. Metodología

Los autores proponen un enfoque integral que combina la creación de recursos masivos con la evaluación de modelos de vanguardia.

A. Construcción de Recursos (Datasets)
Se desarrollaron dos recursos complementarios:

1. Corpus Sintético a Gran Escala:
   • Generado a partir de fuentes TEI/XML de ediciones críticas abiertas.
   • Incluye 185,000 imágenes de página sintetizadas mediante renderizado en LaTeX con variaciones tipográficas y de diseño controladas (fuentes, tamaños, colores, columnas).
   • Utiliza un esquema de marcado ligero (pseudo-XML/Markdown) para etiquetar referencias (<ref>), notas marginales (<note>) y encabezados, además de manejar la fragmentación de párrafos entre páginas.
2. Benchmark de Datos Reales:
   • Un conjunto curado de 450 imágenes escaneadas de ediciones reales (desde Hipócrates hasta el siglo XIV).
   • Cubre 30 pares autor-obra de diversas tradiciones editoriales (1844–2017).
   • Anotado manualmente siguiendo las mismas pautas que el corpus sintético, validado bajo el principio de "cuatro ojos".

B. Configuración Experimental

• Modelos Evaluados: Se probaron tres arquitecturas de vanguardia: Qwen3-VL (versiones 2B y 8B), DeepSeek-OCR-2 (3B) y LightOnOCR-2 (1B).
• Regímenes de Entrenamiento:
  1. Zero-shot: Inferencia sin entrenamiento previo.
  2. Fine-tuning en Sintético: Entrenamiento solo en datos generados.
  3. Fine-tuning en Real: Entrenamiento directo en datos escaneados.
  4. Secuencial (Synth→Real): Entrenamiento inicial en sintético seguido de ajuste fino en datos reales.
• Línea Base: Se compararon contra sistemas tradicionales como Tesseract y Kraken (basados en CRNN), entrenados y evaluados en la misma configuración.
• Métricas: Tasa de Error de Caracteres (CER), Tasa de Error de Palabras (WER) y métricas específicas de estructura (F1 para referencias, notas y encabezados).

3. Contribuciones Clave

1. Recursos Abiertos: Lanzamiento del primer corpus sintético a gran escala (185k imágenes) y un benchmark anotado de ediciones críticas reales para griego antiguo, junto con el código para reproducir estos datos.
2. Evaluación Estructurada: Demostración de que la precisión del texto plano no garantiza la recuperación de la estructura. Se introduce una evaluación específica para elementos como marcadores de referencia y notas marginales.
3. Análisis de VLMs en Contexto Histórico: Primer estudio exhaustivo que evalúa cómo los modelos VLM modernos manejan la complejidad semántica y visual de las ediciones críticas antiguas, revelando tanto sus fortalezas como sus fallos catastróficos.

4. Resultados Principales

• Rendimiento General:
  • En configuración zero-shot, la mayoría de los VLMs rinden peor que el software OCR tradicional (Tesseract/Kraken).
  • El fine-tuning mejora drásticamente el rendimiento. El modelo Qwen3-VL-8B alcanza el estado del arte (SOTA) con una CER mediana del 1.0% en escaneos reales bajo el régimen synth→real.
• Transferencia Sintética a Real:
  • El entrenamiento solo en datos sintéticos transfiere eficazmente a datos reales (ej. Qwen3-VL-8B baja de 5.2% a 1.7% de CER sin ver datos reales).
  • La estrategia secuencial (synth→real) ofrece el mejor equilibrio, combinando la cobertura amplia de lo sintético con el refinamiento de lo real.
• Reconocimiento de Estructura:
  • Los modelos logran altos F1 en marcadores de referencia (hasta 79.5% con Qwen3-VL-8B).
  • La detección de notas marginales es la tarea más sensible; requiere exposición a datos reales para superar el rendimiento cercano a cero obtenido solo con datos sintéticos (donde las notas están subrepresentadas).
  • La generación de encabezados sigue siendo un punto débil debido a la alta variabilidad estilística entre ediciones.
• Estabilidad y Errores:
  • Se observa una gran divergencia entre la mediana y la media de errores en algunos modelos (ej. DeepSeek), indicando fallos catastróficos a nivel de página (alucinaciones largas y fluidas) a pesar de un buen rendimiento promedio.
  • Los errores en los mejores modelos son principalmente ortográficos (acentos, aspiraciones) y de normalización, mientras que los peores modelos sufren de intrusión de formatos (HTML, LaTeX) y alucinaciones de texto.

5. Significado y Conclusiones

• Viabilidad de los VLMs: Los modelos de lenguaje visuales grandes, cuando se combinan con supervisión sintética consciente de la estructura y adaptación al dominio real, pueden lograr una precisión de OCR casi perfecta en ediciones críticas complejas, superando a los sistemas tradicionales en flexibilidad y transferencia cruzada.
• Costo-Beneficio: A pesar de su potencia, los VLMs presentan inestabilidad (alucinaciones) y un alto costo computacional/ambiental. Los sistemas OCR clásicos (CRNN) siguen siendo competitivos en eficiencia y estabilidad para tareas puras de transcripción, aunque carecen de la capacidad de comprensión estructural profunda de los VLMs.
• Futuro: El reconocimiento de texto en material histórico es un problema de interpretación, no solo de transcripción. Se sugiere explorar enfoques híbridos que combinen la sensibilidad estructural de los VLMs con la eficiencia de las pipelines OCR tradicionales.
• Impacto en Humanidades Digitales: Este trabajo facilita la creación de corpus abiertos y maquinas-legibles para el griego antiguo, superando las limitaciones de licencias restrictivas (como el TLG) y permitiendo un acceso computacional masivo a textos críticos con su estructura preservada.