Resumen Técnico: Generación de Texto Manuscrito Ucraniano Basada en Difusión con Transferencia de Estilo entre Dominios

Enunciado del Problema

La generación de texto manuscrito (HTG) condicionada al estilo del escritor ha avanzado significativamente para los sistemas de escritura latinos, particularmente el inglés, pero sigue siendo poco explorada para sistemas de escritura de recursos limitados y no latinos. Existe una brecha crítica en la comprensión de si los modelos de difusión existentes, conscientes del escritor y de pocos ejemplos, pueden generalizarse más allá del dominio latino hacia escrituras como el cirílico ucraniano. Esta transferencia no es trivial debido a las diferencias en los inventarios de caracteres, los patrones de trazo y la falta de conjuntos de datos a gran escala etiquetados por escritor para el ucraniano. Además, no está claro si los modelos actuales capturan regularidades específicas de la escritura o aprenden una representación transferible del estilo de la escritura manuscrita.

Metodología

Construcción del Conjunto de Datos

Para abordar la falta de datos, los autores construyeron un conjunto de datos de palabras manuscritas ucranianas a nivel de palabra que contiene 126.177 imágenes de 308 escritores, derivados del corpus de nivel de línea UkrHandwritten. El pipeline de construcción involucró:

1. Limpieza de Pre-segmentación: Aplicación de una red de restauración NAFNet para eliminar artefactos de subrayado tenues que podrían aprenderse como características de estilo espurias.
2. Segmentación por Componentes Conectados: Un pipeline personalizado que utiliza binarización de Otsu y OpenCV para fusionar componentes dentro de 8 píxeles, seguido de la selección de los $N-1$ huecos intergrupales más anchos como límites de palabras. Esto logró una tasa de coincidencia perfecta de límites del 95,7%, superando significativamente a los métodos de proyección vertical (71,7%).
3. Filtrado de Calidad: Un pipeline de cinco etapas eliminó muestras que contenían caracteres latinos, errores de puntuación, relaciones de aspecto extremas y coincidencias de OCR de baja confianza. Se aplicó un umbral de similitud estratificado por longitud para evitar el rechazo de palabras funcionales cortas.
4. Equilibrio: Los caracteres ucranianos raros (por ejemplo, ф, ґ, Щ, Є, Ц, ї) se sobremuestrearon duplicando los recortes de 2 a 5 veces para garantizar una representación adecuada.

Arquitectura del Modelo

El estudio utilizó DiffusionPen, un modelo de difusión latente de pocos ejemplos, sin modificación arquitectónica.

• Base: Un modelo de difusión latente condicional que opera en el espacio latente 4×8×32 de un VAE congelado de Stable Diffusion v1.5.
• Condicionamiento:
  • Texto: Codificado mediante un codificador de nivel de caracteres CANINE (que admite nativamente los puntos de código Unicode cirílicos) y proyectado a la dimensión del U-Net.
  • Estilo: Una incrustación de estilo continua ($s \in \mathbb{R}^{1280}$) derivada de un codificador de pérdida de tripletas MobileNetV2 congelado, promediado sobre cinco imágenes de referencia.
  • ID del Escritor: Una incrustación de etiqueta aprendida sumada a la incrustación de estilo.
• Entrenamiento: El modelo se entrenó durante 200 épocas en el nuevo conjunto de datos utilizando objetivos estándar de predicción de ruido LDM. Se aplicó la guía libre de clasificadores (CFG) al condicionamiento de texto ($p_{drop}=0.2$), mientras que el condicionamiento de estilo nunca se descartó.

Protocolos de Evaluación

Los autores evaluaron el modelo en tres configuraciones distintas para probar la generalización entre dominios:

1. Transferencia Translingüística: Generación de palabras ucranianas utilizando referencias de estilo de la base de datos de escritura manuscrita en inglés IAM.
2. Transferencia Histórica: Generación de texto utilizando referencias de estilo de un manuscrito ucraniano de principios del siglo XX (tinta, papel y formas de letras diferentes).
3. Imitación de Pocos Ejemplos: Generación de texto para escritores contemporáneos no vistos del conjunto de datos RUKOPYS.

Resultados Clave

Rendimiento Cuantitativo

• Calidad Visual: El modelo logró una Distancia de Inception Fréchet (FID) de 23,09 en 5.000 muestras de 308 escritores. Esto es comparable al rendimiento de DiffusionPen en el conjunto de datos IAM en inglés (~20–25), lo que indica una calidad visual a la par con el estado del arte en scripts latinos.
• Legibilidad: La Tasa de Error de Caracteres (CER) medida por un modelo TrOCR cirílico fue del 16,0% en general.
  • Fuera del Vocabulario (OOV): 15,6% (menor que el Dentro del Vocabulario en 16,5%), lo que confirma que el modelo generaliza a secuencias no vistas en lugar de memorizar el vocabulario.
  • Letras Raras: La brecha de CER entre letras raras y comunes fue de solo 1,4 puntos porcentuales (17,2% vs. 15,8%), validando la efectividad del sobremuestreo dirigido.
  • Dependencia de la Longitud: El rendimiento varió según la longitud de la palabra, con los mejores resultados en el rango de 4–6 caracteres (10,8% de CER) y errores más altos para palabras muy cortas (1–3 caracteres, 42,7% de CER), atribuidos en gran medida a las limitaciones del reconocedor en palabras de un solo carácter.

Estudios de Ablación

• Tamaño del Conjunto de Datos vs. Pureza: Conjuntos de datos más grandes y ruidosos (67K muestras) superaron a conjuntos de datos más pequeños y ultra limpios (12,8K muestras), confirmando que la diversidad domina a la pureza para la HTG basada en difusión.
• Calidad de la Segmentación: Cambiar de la proyección vertical a la segmentación por componentes conectados redujo el MSE de validación de 0,0787 a 0,0658, identificado como el único factor de mejora más grande.
• Arquitectura: Aumentar el número de bloques residuales por nivel de U-Net de 1 a 2 (coincidiendo con las especificaciones de Stable Diffusion v1.5) redujo aún más el MSE y mejoró la nitidez de los glifos.

Transferencia entre Dominios

El modelo transfirió estilos con éxito a través de cambios de dominio significativos:

• Inglés a Ucraniano: Las palabras ucranianas generadas reprodujeron visiblemente el grosor del trazo, el ángulo y el espaciado de los escritores ingleses del conjunto de datos IAM.
• Histórico a Moderno: El modelo adoptó las cualidades caligráficas (trazos más anchos, proporciones formales) de un manuscrito del siglo XX mientras generaba formas de caracteres modernos.
• Escritores No Vistos: El modelo imitó la inclinación y el grosor del trazo de los escritores del conjunto de datos RUKOPYS sin ajuste fino, demostrando una generalización robusta de pocos ejemplos.

Significado y Afirmaciones

El artículo afirma proporcionar la primera evidencia empírica de que los modelos de difusión latente de pocos ejemplos pueden generalizarse más allá del dominio de scripts latinos hacia el cirílico ucraniano. Las contribuciones clave incluyen:

1. Un Nuevo Estándar de Referencia: La publicación de un conjunto de datos de nivel de palabra ucraniano etiquetado por escritor de 126K muestras, abordando una brecha crítica de recursos.
2. Transferibilidad Probada: Demostrar que un modelo entrenado en scripts latinos puede adaptarse al cirílico sin cambios arquitectónicos, manteniendo capacidades significativas de transferencia de estilo a través de idiomas, períodos históricos y escritores no vistos.
3. Perspectivas Metodológicas: Establecer que la diversidad del conjunto de datos y la calidad de la segmentación son más críticas para la calidad de la generación que la pureza estricta de los datos, y que igualar la cuenta de bloques residuales del U-Net con el modelo de difusión base mejora los resultados.

Los autores concluyen que, aunque persisten limitaciones con respecto a los caracteres raros y el apóstrofo ucraniano, el trabajo proporciona una base viable para extender la HTG estilizada a otros sistemas de escritura subrepresentados.