Resumo Técnico: Geração de Texto Manuscrito Ucraniano Baseada em Difusão com Transferência de Estilo Cross-Domain

Declaração do Problema

A geração de texto manuscrito (HTG) condicionada ao estilo do escritor avançou significativamente para scripts latinos, particularmente o inglês, mas permanece pouco explorada para sistemas de escrita de baixa recursos e não latinos. Existe uma lacuna crítica na compreensão de se os modelos de difusão existentes, com poucos exemplos e conscientes do escritor, podem generalizar além do domínio latino para scripts como o cirílico ucraniano. Essa transferência é não trivial devido às diferenças nos inventários de caracteres, padrões de traço e à falta de conjuntos de dados em grande escala e rotulados por escritor para o ucraniano. Além disso, não está claro se os modelos atuais capturam regularidades específicas do script ou aprendem uma representação transferível do estilo de escrita manuscrita.

Metodologia

Construção do Conjunto de Dados

Para abordar a falta de dados, os autores construíram um conjunto de dados de palavras manuscritas ucranianas contendo 126.177 imagens de 308 escritores, derivados do corpus UkrHandwritten em nível de linha. O pipeline de construção envolveu:

1. Limpeza de Pré-segmentação: Aplicação de uma rede de restauração NAFNet para remover artefatos de sublinhado fraco que poderiam ser aprendidos como características de estilo espúrias.
2. Segmentação por Componentes Conectados: Um pipeline personalizado usando binarização Otsu e OpenCV para mesclar componentes dentro de 8 pixels, seguido pela seleção das $N-1$ lacunas intergrupais mais largas como limites de palavras. Isso alcançou uma taxa de correspondência perfeita de limites de 95,7%, superando significativamente os métodos de projeção vertical (71,7%).
3. Filtragem de Qualidade: Um pipeline de cinco etapas removeu amostras contendo caracteres latinos, erros de pontuação, proporções de aspecto extremas e correspondências de OCR de baixa confiança. Um limiar de similaridade estratificado por comprimento foi aplicado para evitar a rejeição de palavras funcionais curtas.
4. Balanceamento: Caracteres ucranianos raros (por exemplo, ф, ґ, Щ, Є, Ц, ї) foram superamostrados duplicando os recortes 2–5 vezes para garantir representação adequada.

Arquitetura do Modelo

O estudo utilizou o DiffusionPen, um modelo de difusão latente com poucos exemplos, sem modificação arquitetural.

• Base: Um modelo de difusão latente condicional operando no espaço latente 4×8×32 de um VAE congelado do Stable Diffusion v1.5.
• Condicionamento:
  • Texto: Codificado via um codificador de nível de caractere CANINE (que suporta nativamente pontos de código Unicode cirílicos) e projetado para a dimensão do U-Net.
  • Estilo: Um embedding de estilo contínuo ($s \in \mathbb{R}^{1280}$) derivado de um codificador congelado MobileNetV2 com perda de triplet, média agrupada sobre cinco imagens de referência.
  • ID do Escritor: Um embedding de rótulo aprendido somado ao embedding de estilo.
• Treinamento: O modelo foi treinado por 200 épocas no novo conjunto de dados usando objetivos padrão de predição de ruído LDM. A orientação livre de classificador (CFG) foi aplicada ao condicionamento de texto ($p_{drop}=0.2$), enquanto o condicionamento de estilo nunca foi descartado.

Protocolos de Avaliação

Os autores avaliaram o modelo em três configurações distintas para testar a generalização cross-domain:

1. Transferência Cross-lingual: Geração de palavras ucranianas usando referências de estilo do banco de dados de escrita manuscrita inglesa IAM.
2. Transferência Histórica: Geração de texto usando referências de estilo de um manuscrito ucraniano do início do século XX (tinta, papel e formas de letras diferentes).
3. Imitação com Poucos Exemplos: Geração de texto para escritores contemporâneos não vistos do conjunto de dados RUKOPYS.

Principais Resultados

Desempenho Quantitativo

• Qualidade Visual: O modelo alcançou uma Distância Fréchet Inception (FID) de 23,09 em 5.000 amostras entre 308 escritores. Isso é comparável ao desempenho do DiffusionPen no conjunto de dados inglês IAM (~20–25), indicando qualidade visual à altura do estado da arte em scripts latinos.
• Legibilidade: A Taxa de Erro de Caractere (CER) medida por um modelo TrOCR cirílico foi de 16,0% no geral.
  • Fora do Vocabulário (OOV): 15,6% (menor que Dentro do Vocabulário em 16,5%), confirmando que o modelo generaliza para sequências não vistas em vez de memorizar vocabulário.
  • Letras Raras: A lacuna de CER entre letras raras e comuns foi de apenas 1,4 pontos percentuais (17,2% vs. 15,8%), validando a eficácia da superamostragem direcionada.
  • Dependência de Comprimento: O desempenho variou conforme o comprimento da palavra, com os melhores resultados na faixa de 4–6 caracteres (10,8% CER) e erros mais altos para palavras muito curtas (1–3 caracteres, 42,7% CER), atribuídos em grande parte às limitações do reconhecedor em palavras de caractere único.

Estudos de Ablação

• Tamanho do Conjunto de Dados vs. Pureza: Conjuntos de dados maiores e mais ruidosos (67K amostras) superaram conjuntos de dados menores e ultra-limpas (12,8K amostras), confirmando que a diversidade domina a pureza para HTG baseada em difusão.
• Qualidade da Segmentação: A troca da projeção vertical para segmentação por componentes conectados reduziu o MSE de validação de 0,0787 para 0,0658, identificado como o único fator de maior melhoria.
• Arquitetura: O aumento do número de blocos residuais por nível do U-Net de 1 para 2 (correspondendo às especificações do Stable Diffusion v1.5) reduziu ainda mais o MSE e melhorou a nitidez dos glifos.

Transferência Cross-Domain

O modelo transferiu com sucesso estilos através de deslocamentos de domínio significativos:

• Inglês para Ucraniano: Palavras ucranianas geradas reproduziram visivelmente o peso do traço, o ângulo e o espaçamento de escritores ingleses do conjunto de dados IAM.
• Histórico para Moderno: O modelo adotou as qualidades caligráficas (traços mais largos, proporções formais) de um manuscrito do século XX enquanto gerava formas de caracteres modernos.
• Escritores Não Vistos: O modelo imitou a inclinação e o peso do traço de escritores do conjunto de dados RUKOPYS sem ajuste fino, demonstrando generalização robusta com poucos exemplos.

Significado e Alegações

O artigo alega fornecer a primeira evidência empírica de que modelos de difusão latente com poucos exemplos podem generalizar além do domínio de scripts latinos para o cirílico ucraniano. As contribuições principais incluem:

1. Um Novo Benchmark: A liberação de um conjunto de dados de palavras ucranianas em nível de palavra, rotulado por escritor e com 126K amostras, abordando uma lacuna crítica de recursos.
2. Transferibilidade Comprovada: Demonstrar que um modelo treinado em scripts latinos pode ser adaptado para cirílico sem alterações arquitetônicas, mantendo capacidades significativas de transferência de estilo através de idiomas, períodos históricos e escritores não vistos.
3. Insights Metodológicos: Estabelecer que a diversidade do conjunto de dados e a qualidade da segmentação são mais críticas para a qualidade da geração do que a pureza estrita dos dados, e que corresponder a contagem de blocos residuais do U-Net ao modelo de difusão base melhora os resultados.

Os autores concluem que, embora permaneçam limitações relacionadas a caracteres raros e ao apóstrofo ucraniano, o trabalho fornece uma base viável para estender a HTG estilizada para outros sistemas de escrita sub-representados.