Restoration-Guided Kuzushiji Character Recognition Framework under Seal Interference

Este trabajo propone un marco de reconocimiento de caracteres Kuzushiji guiado por restauración (RG-KCR) que aborda el desafío de la interferencia de sellos mediante un proceso de tres etapas, logrando mejoras significativas en la precisión de detección y clasificación en comparación con los métodos existentes.

Lo esencial

Imagina que tienes un antiguo libro de cuentos japonés, escrito hace siglos. Es hermoso, pero tiene dos problemas grandes:

1. La letra es un "desastre" artístico: Los personajes escribían de forma muy rápida y cursiva (como si estuvieran bailando con la pluma), haciendo que las letras se parezcan a garabatos difíciles de entender incluso para un japonés moderno.
2. El "sello rojo" mágico: En esa época, la gente usaba sellos de tinta roja (como firmas o timbres) para autenticar documentos. El problema es que a menudo estampaban estos sellos encima de las letras, tapándolas o mezclándose con ellas.

Hasta ahora, los ordenadores (la Inteligencia Artificial) eran muy buenos leyendo el texto limpio, pero cuando veían esos sellos rojos encima de las letras, se ponían "ciegos" y fallaban estrepitosamente. Era como intentar leer una carta donde alguien ha puesto un chicle rojo sobre las palabras.

La Solución: El Equipo de Restauración RG-KCR

Los autores de este paper (Rui-Yang Ju y su equipo de la Universidad de Kyoto) crearon un sistema de tres pasos, como una línea de montaje de detectives, para arreglar este problema. Llamaron a su sistema RG-KCR.

Aquí te explico cómo funciona, paso a paso, con analogías sencillas:

Paso 1: El Detective con Lupa (Detección)

Primero, el sistema necesita saber dónde están las letras.

• La analogía: Imagina un detective con una lupa muy potente (llamado YOLOv12). Su trabajo es recorrer la página y decir: "¡Aquí hay una letra!", "¡Y aquí otra!".
• El truco: A diferencia de otros sistemas que intentan leer líneas enteras, este detective busca cada letra individualmente, incluso si un sello rojo la está tapando parcialmente. Es como si el detective pudiera ver a través de la mancha para decirte exactamente dónde empieza y termina la letra.

Paso 2: El Mago de la Limpieza (Restauración)

Este es el paso más importante y novedoso. Una vez que saben dónde están las letras, necesitan limpiar el "chicle rojo" (el sello) que las tapa.

• La analogía: Imagina que tienes una foto vieja con una mancha de tinta roja encima. En lugar de usar un pincel para pintar de nuevo (lo cual requiere mucho tiempo y un artista experto), usan un truco de magia matemática.
• Cómo funciona: Saben que los sellos son rojos. El sistema busca píxeles que sean "demasiado rojos" y los marca. Luego, usa una técnica llamada "inpainting" (como un relleno automático). Imagina que el sistema mira los bordes de la mancha roja, ve cómo es el papel y la tinta negra de alrededor, y reconstruye la parte que falta rellenando el hueco con lo que "debería" estar ahí.
• Lo genial: No necesitan entrenar a una IA con miles de ejemplos para esto; es un algoritmo rápido y eficiente que funciona casi al instante, como un filtro de Instagram pero para documentos históricos.

Paso 3: El Traductor Experto (Clasificación)

Ahora que tienen las letras limpias (o al menos, con el sello rojo eliminado), es el momento de leerlas.

• La analogía: Tienen un traductor experto llamado Metom (basado en una tecnología llamada Transformer, la misma que usan los chatbots modernos).
• El proceso: Le muestran la letra limpia al traductor. Como ya no hay mancha roja encima, el traductor puede ver claramente si es un "A", un "B" o un carácter japonés antiguo. El sistema le dice: "Esto es la letra 'S' en japonés antiguo".

El Resultado Final

Al final, el sistema toma el documento original, borra digitalmente los sellos rojos que estorbaban, identifica cada letra y superpone el texto moderno japonés justo encima de la letra antigua, como si fuera un subtítulo de una película.

• Antes: Un japonés moderno veía un garabato con un sello rojo y no entendía nada.
• Ahora: Ve el garabato, pero justo encima, en letra clara y moderna, aparece lo que dice.

¿Por qué es importante?

Este sistema es como una máquina del tiempo para la lectura. Permite que cualquier persona pueda leer cartas, poemas y documentos históricos japoneses que antes solo podían entender unos pocos especialistas. Además, al eliminar los sellos rojos automáticamente, resuelve un problema que a los ordenadores les costaba mucho: la interferencia visual.

En resumen: Detectan las letras, borran mágicamente los sellos rojos que las tapaban, y luego leen el texto limpio para mostrártelo en una versión moderna. ¡Una forma brillante de salvar la historia!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Marco de Reconocimiento de Caracteres Kuzushiji Guiado por Restauración bajo Interferencia de Sellos

1. Problema

El Kuzushiji es un estilo de escritura cursiva tradicional utilizado ampliamente en documentos japoneses premodernos (antes de la Restauración Meiji). Aunque es fundamental para el acceso a la historia y la literatura japonesa, su interpretación es extremadamente difícil para los lectores modernos debido a sus formas fluidas y sus numerosas variantes glíficas.

Aunque existen sistemas de reconocimiento óptico de caracteres (OCR) modernos basados en aprendizaje profundo (como Metom, Fuminoha o NDLkotenOCR), estos enfrentan un desafío crítico: la interferencia de sellos. Los documentos históricos japoneses frecuentemente contienen sellos (típicamente en tinta roja) estampados por los propietarios o coleccionistas. Cuando estos sellos se superponen a los caracteres Kuzushiji, degradan severamente la precisión del reconocimiento, ya que los sistemas existentes no están diseñados para manejar esta oclusión específica.

2. Metodología

Los autores proponen un marco de trabajo de tres etapas llamado RG-KCR (Restoration-Guided Kuzushiji Character Recognition), diseñado específicamente para mitigar la interferencia de los sellos sin necesidad de reentrenar modelos complejos de restauración.

• Etapa 1: Detección de Caracteres Kuzushiji

  • Se utiliza un modelo de detección de objetos de última generación, YOLOv12-medium, para localizar individualmente cada carácter en el documento.
  • A diferencia de los enfoques anteriores que detectan líneas de texto (lo que genera cajas delimitadoras duplicadas en layouts complejos), este enfoque realiza una detección a nivel de carácter.
  • Se observa que la detección es robusta incluso con sellos superpuestos, por lo que la restauración no se aplica antes de esta etapa.

• Etapa 2: Restauración de Documentos (Sin Entrenamiento)

  • Se introduce un algoritmo de eliminación de sellos libre de entrenamiento y computacionalmente eficiente.
  • Mecanismo: Dado que los sellos son de tinta roja, el algoritmo identifica las regiones de los sellos basándose en la intensidad del canal rojo frente a los canales verde y azul (umbralización de ratios de canales).
  • Una vez generada una máscara binaria de los sellos, se aplica inpainting (reconstrucción de imagen) utilizando métodos de fast marching y ecuaciones de Navier-Stokes para rellenar las áreas ocultas con la textura y estructura circundante, eliminando los artefactos rojos.

• Etapa 3: Clasificación de Caracteres

  • Se extraen parches de los caracteres individuales de la imagen restaurada (Etapa 2) utilizando las coordenadas de las cajas delimitadoras de la Etapa 1.
  • Estos parches se clasifican utilizando Metom, un clasificador basado en Vision Transformer (ViT) capaz de reconocer más de un millón de clases de caracteres.
  • Finalmente, los caracteres modernos reconocidos se superponen sobre la imagen restaurada para facilitar la lectura.

3. Contribuciones Clave

• Marco RG-KCR: Propuesta de un pipeline de tres etapas que mejora significativamente el rendimiento del reconocimiento cuando los sellos ocluyen los caracteres.
• Algoritmo de Restauración Eficiente: Desarrollo de un método de eliminación de sellos rojos que no requiere entrenamiento de redes neuronales profundas, reduciendo costos computacionales y latencia.
• Estudios de Ablación: Demostración cuantitativa de que la etapa de restauración mejora la precisión del clasificador ViT.
• Nuevos Conjuntos de Datos:
  • Un conjunto de datos para detección con 1,000 imágenes de documentos premodernos, donde se han añadido manualmente sellos sintéticos sobre textos reales y se han corregido las anotaciones.
  • Un conjunto de datos de prueba para clasificación con 100 imágenes y 17,982 instancias de caracteres, evaluando específicamente el rendimiento bajo interferencia de sellos.

4. Resultados

Los experimentos se realizaron en un entorno con CPU (Intel i7) y GPU (NVIDIA RTX A6000), utilizando métricas estándar.

• Detección (Etapa 1): El modelo YOLOv12-medium logró un 98.0% de precisión y un 93.9% de recall en el conjunto de datos construido, superando a otros modelos como YOLOv9, YOLOv10 y RT-DETR.
• Restauración (Etapa 2): La configuración óptima de hiperparámetros ($\tau_r = 90$, $\tau_{rg} = \tau_{rb} = 1.3$) alcanzó un PSNR de 34.13 dB y un SSIM de 0.9750 en el conjunto de prueba, indicando una alta fidelidad en la reconstrucción de las áreas ocluidas.
• Clasificación (Etapa 3):
  • Sin restauración (Línea base): El clasificador Metom obtuvo una precisión Top-1 del 93.45%.
  • Con restauración (RG-KCR): La precisión Top-1 aumentó al 95.33%.
  • El tiempo de ejecución adicional por imagen fue de solo 0.51 segundos, lo que se considera aceptable dada la mejora en la precisión.

5. Significado e Impacto

Este trabajo aborda una brecha crítica en la digitalización del patrimonio cultural japonés. Al demostrar que la interferencia de sellos puede mitigarse eficazmente mediante un enfoque de restauración guiada y eficiente, el marco RG-KCR permite:

1. Mayor Accesibilidad: Facilita la lectura de documentos históricos a investigadores y al público general que no son expertos en Kuzushiji.
2. Robustez: Proporciona una solución práctica para documentos reales que a menudo están degradados o marcados con sellos, un escenario donde los sistemas OCR actuales fallan.
3. Eficiencia: Al evitar el uso de modelos de restauración pesados basados en aprendizaje profundo, el sistema es viable para su implementación en entornos con recursos limitados o en tiempo real.

El código y los datos están disponibles públicamente, fomentando la investigación futura en la recuperación de la ordenación de texto y la reconstrucción completa de documentos históricos.