Towards Khmer Scene Document Layout Detection

Este artículo presenta el primer estudio integral sobre la detección de la disposición de documentos en escenas para el idioma jemer, introduciendo un nuevo marco que incluye un conjunto de datos de entrenamiento, una herramienta de aumento de datos y modelos basados en YOLO con cajas delimitadoras orientadas para abordar los desafíos específicos de la escritura jemer y la falta de datos anotados.

Lo esencial

Imagina que tienes una biblioteca llena de libros, pero no están escritos en español, sino en jemer (el idioma de Camboya). Además, estos libros no están en estantes ordenados; están tirados en el suelo, algunos doblados, otros mojados por la lluvia, y algunos tienen fotos y dibujos pegados de formas extrañas.

El problema es que los "robots lectores" (la inteligencia artificial) que hemos entrenado hasta ahora son como expertos en libros en inglés o español. Si les muestras un libro en jemer, se confunden. Si ven una página doblada o una foto torcida, se vuelven locos y no saben qué es un título, qué es una lista de la compra o qué es una imagen.

Este paper es como un manual de instrucciones para enseñar a un nuevo robot a leer esos libros jemeres desordenados. Aquí te explico cómo lo hicieron, paso a paso, con analogías sencillas:

1. El Problema: Un rompecabezas sin piezas

Los robots actuales son muy buenos leyendo textos latinos (como el nuestro), pero el idioma jemer es como un lego muy complejo. Las letras no se escriben solo en línea; se apilan unas encima de otras, tienen "sombreros" y "pies" que cambian de posición. Además, en Camboya, la gente suele sacar fotos a documentos con el celular en la calle, lo que hace que las fotos salgan torcidas, borrosas o con sombras.

Los robots antiguos intentaban leer estas fotos como si fueran planos perfectos de arquitectura, y por eso fallaban estrepitosamente.

2. La Solución: Tres herramientas mágicas

Los autores crearon tres cosas nuevas para arreglar esto:

• La Gran Biblioteca de Ejemplos (El Dataset):
  Imagina que quieres enseñar a un niño a reconocer frutas. No le basta con ver una foto de una manzana perfecta en un catálogo. Necesitas ver manzanas reales, algunas con golpes, otras verdes, otras rojas.
  Los autores recolectaron miles de documentos reales (libros, facturas, diapositivas) y los etiquetaron a mano. Crearon el primer y más grande "gimnasio de entrenamiento" específico para documentos jemeres. Es como si le dieran al robot miles de fotos de documentos jemeres para que practique hasta que sepa distinguir un título de un párrafo.

• La Máquina de "Deformación" (La Augmentación):
  Como no tenían suficientes fotos de documentos torcidos o bajo la lluvia, inventaron una máquina virtual. Esta máquina toma un documento perfecto y le aplica "magia": lo estira, lo dobla, le pone sombras y lo gira, tal como lo haría una cámara de celular en la vida real.
  Lo genial es que, mientras la máquina dobla la imagen, también dobla las etiquetas (las instrucciones de qué es qué). Así, el robot aprende a reconocer un título incluso si la página está torcida 30 grados.

• El Robot con Gafas de Visión Nocturna (El Modelo YOLO):
  Usaron un tipo de inteligencia artificial llamada YOLO (que significa "You Only Look Once", o "Solo miras una vez"). Pero no usaron la versión normal. Como los documentos en la calle suelen estar torcidos, les dieron al robot gafas especiales que le permiten ver cajas rectangulares que están inclinadas (cajas orientadas).
  En lugar de decir "esto es un texto" y ponerle un cuadro cuadrado, el robot dice "esto es un texto" y pone un cuadro que sigue exactamente la inclinación de la foto.

3. Los Resultados: Un superhéroe local

Cuando probaron a este nuevo robot:

• Antes: Los robots extranjeros (como los que leen inglés) fallaban mucho en jemer, confundiendo listas con títulos o perdiendo textos densos. Era como intentar leer un periódico chino con gafas de sol oscuras.
• Ahora: Su nuevo robot (basado en YOLO12) es un campeón. Entiende el jemer, soporta las fotos torcidas y distingue perfectamente entre una tabla, una imagen y un texto.

¿Por qué es importante esto?

Piensa en Camboya como un país con una historia rica y muchos documentos importantes. Antes, digitalizar esos documentos era como intentar traducir un idioma que nadie conocía bien. Ahora, con esta herramienta:

1. Pueden digitalizar facturas, libros y leyes de Camboya automáticamente.
2. Pueden buscar información en esos documentos fácilmente.
3. Han abierto la puerta para que otros investigadores creen más herramientas para idiomas que no son los "populares" (como el inglés o el chino).

En resumen: Crearon el primer "entrenador personal" especializado para que la inteligencia aprenda a leer documentos jemeres, incluso cuando están doblados, sucios o en la calle. Es un gran paso para que la tecnología no deje atrás a los idiomas menos comunes.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Towards Khmer Scene Document Layout Detection", presentado en español:

Resumen Técnico: Detección de Diseño de Documentos en Escena para el Idioma Khmer

1. Planteamiento del Problema

El análisis de diseño de documentos (DLA) ha avanzado significativamente para scripts latinos gracias a modelos multimodales grandes (LMMs). Sin embargo, para el idioma khmer, el progreso se ha visto limitado por la escasez de datos de entrenamiento anotados. Este problema es crítico en el contexto de documentos en escena (capturados con cámaras de smartphones en entornos naturales), donde las distorsiones de perspectiva y los fondos complejos desafían a los métodos tradicionales.

El script khmer presenta complejidades estructurales únicas:

• Es un sistema de escritura abugida con apilamiento de caracteres en múltiples capas (subíndices, vocales dependientes, diacríticos).
• Carece de límites de palabras explícitos.
• Las regiones de texto denso (como listas o párrafos) tienen formas y densidades variables.

Los modelos existentes basados en scripts latinos fallan al delinear unidades semánticas en khmer, y las herramientas actuales de OCR y DLA multilingües (como Surya-OCR, PaddleOCR) ofrecen un soporte limitado, optimizado principalmente para documentos escaneados sin distorsiones severas.

2. Metodología

Los autores proponen un marco integral que abarca la construcción de datos, la augmentación y el entrenamiento de modelos:

• Construcción del Dataset (Khmer Scene Layout):

  • Se recolectaron documentos PDF públicos de diversas fuentes (gobierno, cultura, tecnología).
  • Se convirtió la información en 8,990 páginas de imagen.
  • Estrategia de anotación: Se utilizó un enfoque de dos etapas. Primero, se usó Surya-OCR para una pre-etiquetado automático de elementos agnósticos al idioma (tablas, imágenes). Luego, anotadores humanos corrigieron errores y añadieron etiquetas específicas del script khmer (encabezados, listas, notas al pie) utilizando la herramienta LabelMe con anotaciones poligonales.
  • El dataset final se dividió en entrenamiento (7,818 páginas) y evaluación (1,178 páginas), cubriendo 13 clases de elementos de diseño (texto, tablas, figuras, listas, encabezados, etc.).

• Herramienta de Augmentación de Diseño (Layout Augmentor):

  • Para simular documentos reales capturados en la "vida real" (con distorsiones), se desarrolló una herramienta de augmentación composicional.
  • Pipeline de transformación: Aplica deformaciones no lineales (elasticidad, distorsión de barril/pincushión, ondas) seguidas de transformaciones afines (rotación, escala, perspectiva).
  • Correspondencia precisa: La clave técnica es que las mismas transformaciones se aplican simultáneamente a los píxeles de la imagen y a las coordenadas de las anotaciones (convirtiendo cajas delimitadoras en polígonos y viceversa), garantizando una correspondencia píxel-perfecta.
  • Se generaron 2,258 imágenes adicionales tras una curación manual para eliminar casos extremos.

• Entrenamiento de Modelos:

  • Se utilizaron arquitecturas basadas en YOLO (versiones 11, 12 y 26) adaptadas para la detección de Cajas Delimitadoras Orientadas (OBB - Oriented Bounding Boxes).
  • El uso de OBB es esencial para manejar la rotación y las deformaciones geométricas típicas de los documentos en escena khmer.
  • Se entrenaron variantes de tamaño pequeño (s), mediano (m), grande (l) y extra-grande (x) con una resolución de entrada de 640x640.

3. Contribuciones Clave

1. Primer Dataset Completo: Se presenta el dataset más grande y diverso hasta la fecha para el análisis de diseño de documentos en escena en khmer, superando significativamente en escala y variedad a conjuntos anteriores como KH-FUNSD.
2. Herramienta de Augmentación Especializada: Desarrollo de un software de código abierto capaz de sintetizar documentos en escena realistas manteniendo la integridad estructural de las anotaciones de diseño, algo que las herramientas de augmentación de texto estándar no logran.
3. Líneas Base de Detección: Entrenamiento y evaluación de los primeros modelos de detección de diseño específicos para documentos en escena en khmer, demostrando la viabilidad de las arquitecturas YOLO-OBB para este idioma.

4. Resultados y Desempeño

• Rendimiento General: El modelo YOLO12x logró el mejor rendimiento global, alcanzando un mAP@0.5:0.95 de 0.9502. Esto indica un equilibrio excelente entre precisión y recuperación.
• Comparativa: Los modelos YOLO12 superaron consistentemente a las versiones YOLO11 y YOLO26, así como a todas las herramientas existentes (Surya-OCR, DocLayout, Docling, PaddleOCR).
  • Ejemplo: Surya-OCR obtuvo un mAP@0.5:0.95 de 0.5156, mientras que YOLO12x alcanzó 0.9502.
• Análisis por Clase: El modelo mostró robustez en la mayoría de las clases (listas, secciones, tablas). Las únicas dificultades notables fueron en la clase "encabezado de página" (debido a errores de anotación en el conjunto de prueba) y "imagen" (confusión ocasional con figuras).
• Evaluación Cualitativa: Las pruebas visuales confirmaron que el modelo detecta correctamente unidades semánticas en documentos PDF, diapositivas con deformaciones y documentos multicoloniales, superando a los modelos multilingües que fallan en regiones de texto denso o con rotaciones.

5. Significado e Impacto

Este trabajo es un hito para la comunidad de Análisis y Reconocimiento de Documentos (DAR) en lenguas de recursos limitados.

• Digitalización: Facilita la digitalización masiva de documentos khmer, que a menudo existen solo en formatos físicos o fotos de smartphones.
• Reproducibilidad: Los autores liberaron los modelos, el código y los datasets en un repositorio, fomentando la investigación futura.
• Limitaciones y Futuro: El estudio identifica la necesidad de incluir más documentos matemáticos/código y desarrollar esquemas de anotación jerárquica (anidados) para estructuras complejas como tablas dentro de tablas. Además, sugiere el desarrollo futuro de modelos específicos optimizados para la sintaxis visual del script khmer.

En conclusión, el artículo demuestra que con datos de alta calidad, augmentación inteligente y arquitecturas adecuadas (OBB), es posible superar las barreras del diseño de documentos en scripts complejos y de baja recursos como el khmer.