DohaScript: A Large-Scale Multi-Writer Dataset for Continuous Handwritten Hindi Text

El artículo presenta DohaScript, un conjunto de datos a gran escala y multi-escritor de texto manuscrito hindi continuo, diseñado para superar las limitaciones de los recursos existentes mediante un corpus paralelo controlado que facilita el análisis de variaciones estilísticas y el avance en tareas de reconocimiento y generación de escritura en Devanagari.

Lo esencial

¡Hola! Imagina que el mundo de la inteligencia artificial es como una gran escuela de cocina. Para que un chef (la IA) aprenda a cocinar platos deliciosos, necesita miles de recetas y ingredientes variados.

Hasta ahora, en la escuela de cocina de la IA, había un problema grave: nadie había enseñado a cocinar el "plato" de la escritura a mano en hindi.

Aquí te explico el papel "DohaScript" como si fuera una historia, usando analogías sencillas:

1. El Problema: La "Cocina" vacía de Hindi

Imagina que tienes un libro de cocina (un conjunto de datos) para aprender a cocinar.

• Para el inglés (escritura latina), tienes miles de libros con recetas perfectas, claras y variadas.
• Para el hindi, solo tenías unas pocas tarjetas con letras sueltas o palabras muy cortas. Además, esas tarjetas no mostraban cómo se escribe un párrafo completo de forma natural.

¿Por qué es difícil?
La escritura hindi (llamada Devanagari) es como un tren de vagones conectados. En inglés, las letras son como casas separadas en una calle. En hindi, todas las letras de una palabra están unidas por una "viga" horizontal en la parte superior (llamada shirorekha). Esto hace que sea muy difícil para una computadora separar una letra de otra si no ha visto suficientes ejemplos reales.

2. La Solución: El Gran Proyecto "DohaScript"

Los autores de este paper decidieron construir el "supermercado de ingredientes" más grande y organizado para la escritura hindi.

¿Qué hicieron?

• El Recetario (Los Textos): En lugar de pedir a la gente que escribiera cualquier cosa (lo cual sería un caos), les dieron a todos la misma receta: 6 poemas tradicionales indios llamados "Dohas".
  • Analogía: Imagina que le pides a 531 cocineros diferentes que cocinen exactamente el mismo plato (un curry de lentejas). Así, puedes comparar sus estilos de cocina sin que la diferencia de ingredientes (el texto) interfiera.
• Los Cocineros (Los Escritores): Reclutaron a 531 personas de toda la India, de diferentes edades, géneros y regiones.
  • Esto es crucial porque la escritura de un niño de 10 años es diferente a la de un abuelo de 70, y la de alguien de la montaña es diferente a la de la ciudad. El dataset captura toda esta diversidad.

3. El Control de Calidad: El "Inspector de Ojos"

No todos los dibujos son buenos. Algunos están borrosos, otros con poca luz, o escritos con plumas que gotean.

• Los investigadores crearon un sistema automático (una IA entrenada) que actúa como un inspector de calidad muy estricto.
• Este inspector mira cada página y le pone una nota: "Excelente", "Buena", "Regular" o "Mala".
• Analogía: Es como si un juez de un concurso de dibujo mirara cada dibujo y dijera: "Este tiene líneas nítidas, pasa. Este está borroso porque el autor movió la mano, queda en la pila de 'desafío'".

4. El Reto Adicional: El "Laberinto de Líneas"

Incluso si el dibujo es nítido, a veces la escritura es un laberinto.

• En hindi, a veces las líneas de texto se tocan, o la línea base (la línea imaginaria donde se apoyan las letras) se va de lado.
• Los autores clasificaron las páginas en tres niveles de dificultad para la computadora:
  1. Fácil: Las líneas están bien separadas.
  2. Medio: Un poco de desorden.
  3. Complejo: ¡Un caos! Las líneas se cruzan y es difícil saber dónde termina una y empieza otra.
• Analogía: Es como intentar leer un mapa. Un mapa "Fácil" tiene calles rectas. Un mapa "Complejo" tiene calles que se cruzan y se doblan de forma extraña. El dataset les da a los investigadores ambos tipos de mapas para entrenar a sus computadoras.

5. ¿Para qué sirve todo esto? (El Menú Final)

Gracias a este dataset, ahora los científicos pueden:

• Crear mejores traductores y lectores: Las computadoras podrán leer documentos escritos a mano en hindi con mucha más precisión (como leer una factura o un formulario médico).
• Identificar a las personas: Pueden saber quién escribió un documento solo por su estilo de letra (como un detective forense).
• Crear nuevos textos: Pueden enseñar a la IA a "escribir" como un humano específico, generando textos nuevos que parezcan escritos por una persona real.

En resumen

DohaScript es como una biblioteca gigante y organizada donde 531 personas escribieron los mismos poemas. Los investigadores la limpiaron, la clasificaron por calidad y por dificultad, y ahora la han abierto al público para que cualquier científico en el mundo pueda usarla para enseñar a las computadoras a entender la hermosa y compleja escritura a mano en hindi.

Es un paso gigante para que la tecnología no solo entienda al mundo occidental, sino también a cientos de millones de personas que escriben en hindi.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "DohaScript: A Large-Scale Multi-Writer Dataset for Continuous Handwritten Hindi Text", traducido y estructurado en español:

Resumen Técnico: DohaScript

1. El Problema

A pesar de que el idioma hindi cuenta con cientos de millones de hablantes, el texto manuscrito en escritura Devanagari permanece severamente subrepresentado en los conjuntos de datos de referencia públicos. Las limitaciones actuales incluyen:

• Escala y Alcance: Los recursos existentes (como IIIT-HW-Words o CHIPS) se centran principalmente en caracteres aislados o palabras cortas, careciendo de documentos manuscritos continuos a nivel de página.
• Complejidad Estructural: La escritura Devanagari presenta características únicas como la shirorekha (una línea horizontal continua que conecta las letras dentro de una palabra) y la formación de ligaduras complejas. Esto hace que los métodos de segmentación y reconocimiento diseñados para scripts latinos (caracteres discretos) fallen al aplicarse a este contexto.
• Falta de Diversidad y Control: Los conjuntos de datos actuales carecen de diversidad de autores controlada y metadatos demográficos, lo que dificulta el análisis de la variación del estilo de escritura y el desarrollo de modelos generativos que requieren contenido léxico repetido entre múltiples escritores.
• Fragmentación: La investigación se ve obstaculizada por la falta de un estándar público, forzando el uso de colecciones privadas que impiden la comparación justa de métodos.

2. Metodología

Los autores presentan DohaScript, un conjunto de datos a gran escala diseñado como un corpus estilístico paralelo.

• Diseño de Recolección:

  • Se recopilaron muestras de 531 escritores únicos de diversas regiones de la India.
  • Contenido Controlado: Todos los participantes transcribieron el mismo conjunto fijo de seis dohas (pareados tradicionales en hindi) de poetas clásicos (Kabir Das, Rahim Das, Tulsidas).
  • Corpus: El texto total consta de 89 palabras y 361 caracteres (excluyendo espacios), cubriendo 55 caracteres distintos, incluyendo consonantes de todas las categorías de articulación, vocales, diacríticos y conjunciones.
  • Formato: Cada muestra es una página A4 escaneada o fotografiada, estandarizada a 2480×3508 píxeles (300 DPI).

• Metadatos y Ética:

  • Se recopilaron datos demográficos no identificables (edad, género, estado/región).
  • El estudio fue aprobado por un comité de ética; no se recopilaron nombres ni firmas para proteger la privacidad.

• Pipeline de Validación y Curación de Calidad:

  • Evaluación de Nitidez: Se utilizó la varianza de Laplace para cuantificar la nitidez de las imágenes (puntuación de desenfoque).
  • Clasificación CNN: Se entrenaron clasificadores de Redes Neuronales Convolucionales (CNN) para evaluar la calidad de las imágenes más allá de la simple nitidez, considerando densidad de tinta, ruido de fondo y continuidad de trazos.
  • Filtrado: Se aplicó un umbral de confianza para crear un subconjunto de alta calidad (288 imágenes) para el entrenamiento de modelos de reconocimiento, mientras que el resto se mantiene como un subconjunto desafiante para evaluar la robustez.

• Anotación de Dificultad de Segmentación:

  • Se desarrolló un protocolo para etiquetar la dificultad de segmentación de líneas a nivel de página (Fácil, Medio, Complejo) basándose en la estabilidad de la línea base, el espaciado interlineal y la continuidad de la shirorekha. Esto se evaluó utilizando heurísticas híbridas sobre las 531 páginas originales.

3. Contribuciones Clave

1. DohaScript: El primer conjunto de datos a gran escala y multi-escritor de texto hindi manuscrito continuo a nivel de página, diseñado específicamente para aislar la variación estilística del contenido lingüístico.
2. Corpus Paralelo Estilístico: Al usar el mismo texto para todos los escritores, permite análisis rigurosos de identificación de escritor, transferencia de estilo y síntesis de escritura.
3. Metadatos Demográficos y de Dificultad: Incluye información sobre la población (edad, género, región) y anotaciones de dificultad de layout (segmentación), facilitando la evaluación estratificada.
4. Pipeline de Curación Automatizado: Un sistema robusto basado en CNN para la clasificación de calidad de imágenes, superando las limitaciones de los umbrales fijos manuales.
5. Reproducibilidad: El código completo (preprocesamiento, evaluación de calidad, segmentación) y los datos están disponibles públicamente en GitHub y Google Drive.

4. Resultados

• Clasificación de Calidad: El clasificador binario (Bajo/Medio vs. Alta calidad) alcanzó una precisión del 96.26% en el conjunto de prueba. El modelo de cuatro clases logró un 85.98% de precisión.
• Filtrado Efectivo: El proceso de filtrado retuvo 288 imágenes de alta calidad (54.2% del total), con una puntuación media de nitidez superior a 5000 (un aumento del 53% respecto a la media original), proporcionando un conjunto de referencia sólido.
• Dificultad de Segmentación:
  • Solo el 20.7% de las páginas se clasificaron como "Fáciles" para la segmentación de líneas.
  • La mayoría (52.7%) se clasificó como "Compleja", debido a características intrínsecas de la escritura (superposición de trazos, líneas base irregulares, continuidad de shirorekha entre líneas), incluso en imágenes visualmente claras.
  • Esto demuestra que la variabilidad estructural es un desafío significativo que persiste independientemente de la calidad de adquisición de la imagen.

5. Significado e Impacto

DohaScript llena un vacío crítico en la investigación de scripts de baja recursos (low-resource scripts). Su importancia radica en:

• Avance en OCR/HTR: Permite entrenar y evaluar modelos de reconocimiento de texto manuscrito (HTR) en escenarios realistas de texto continuo, superando las limitaciones de los enfoques basados en caracteres aislados.
• Biometría y Estilo: Facilita estudios controlados de identificación de escritores y análisis de biometría conductual, algo difícil de lograr con datos desordenados.
• Modelos Generativos: La estructura de contenido repetido entre muchos autores es ideal para el entrenamiento de modelos generativos de escritura y transferencia de estilo.
• Estándar de Referencia: Establece un benchmark estandarizado y reproducible para la comunidad, permitiendo comparaciones justas entre diferentes algoritmos y fomentando la investigación en scripts Devanagari y otros scripts indios.

En conclusión, DohaScript no solo proporciona datos, sino que introduce un marco metodológico para abordar la complejidad estructural y estilística de la escritura manuscrita en hindi, impulsando el desarrollo de sistemas de IA más robustos y generalizables.