Resumo Técnico: InkDiffuser

Declaração do Problema

Os métodos atuais para geração de caligrafia chinesa, particularmente em cenários de poucos exemplos (few-shot) e de um único exemplo (one-shot), sofrem limitações significativas em fidelidade visual e autenticidade artística. Embora as abordagens existentes (tanto baseadas em GAN quanto em difusão) possam sintetizar glifos estruturalmente plausíveis, elas frequentemente falham em reproduzir a complexa morfologia da tinta característica da escrita real com pincel. Especificamente, esses métodos tendem a produzir resultados que parecem excessivamente digitais, planos ou borrados, carecendo da intrincada difusão da tinta, das variações nas bordas dos traços e da interação natural entre tinta e papel encontradas na caligrafia genuína. Além disso, os codificadores de conteúdo padrão em modelos de difusão frequentemente priorizam características de baixa frequência, levando à perda de detalhes estruturais de alta frequência, como cantos nítidos e bordas de traços, o que é particularmente prejudicial para caracteres chineses complexos.

Metodologia

Os autores propõem o InkDiffuser, um framework de imagem-para-imagem baseado em difusão projetado para síntese de caligrafia chinesa em um único exemplo. O framework é construído sobre o Modelo Probabilístico de Difusão com Remoção de Ruído (DDPM) e introduz dois mecanismos principais para abordar as limitações mencionadas:

1. Módulo de Fusão Adaptativa Espacial-Temporal (STAF)

Para contrabalançar a perda de detalhes estruturais de alta frequência, o InkDiffuser emprega uma arquitetura de codificador duplo para o fluxo de conteúdo:

• Codificação Dupla: Um codificador principal ($E_c$) processa a imagem de conteúdo padrão, enquanto um codificador dedicado de alta frequência ($E_{hf}$) processa uma versão da imagem de conteúdo filtrada por alta frequência (borda de Sobel).
• Fusão Residual: O módulo STAF funde essas características por meio de um framework residual. Ele aprende a adicionar um incremento de detalhe hierarquicamente modulado ao backbone de conteúdo.
• Controle Adaptativo: A fusão é governada por um mecanismo de controle tridimensional:
  • Espacial: Um mapa de atenção pixel a pixel garante que detalhes de alta frequência sejam injetados apenas em regiões salientes (por exemplo, bordas de traços), enquanto suprime ruído em áreas suaves.
  • Por Camada: Pesos são atribuídos para favorecer camadas rasas e de alta resolução para injeção de detalhes de alta granularidade, preservando a integridade semântica em camadas mais profundas.
  • Temporal: A intensidade da fusão é modulada pelo passo de tempo da difusão, fornecendo forte orientação estrutural durante os estágios iniciais, de alto ruído, e diminuindo à medida que a imagem se clarifica para evitar artefatos.

2. Perda de Estrutura de Tinta Diferenciável (DIS)

Para regular explicitamente a morfologia da tinta e permitir a otimização de ponta a ponta de características semelhantes a pincel, os autores propõem a perda DIS. Esta perda decompõe o problema de geração de tinta em três objetivos usando operações morfológicas suaves e diferenciáveis:

• Morfologia Diferenciável: Operações morfológicas tradicionais (erosão/dilatação) dependem de funções min/max não diferenciáveis. O InkDiffuser aproxima essas operações usando funções sigmoide escaladas por um parâmetro de temperatura $\tau$, permitindo que gradientes fluam através da análise morfológica.
• Perda de Três Componentes:
  1. Consistência Estrutural Central ($L_c$): Usa erosão suave para isolar os núcleos dos traços, garantindo que a estrutura esquelética permaneça precisa mesmo sob efeitos de difusão.
  2. Consistência de Fronteira de Difusão ($L_b$): Usa a diferença entre dilatação e erosão suaves para criar uma máscara de fronteira, focando a supervisão nas regiões de espalhamento da tinta para controlar a extensão da difusão.
  3. Suavidade de Difusão ($L_{lap}$): Emprega um operador Laplaciano para minimizar a diferença nas respostas de borda entre as imagens geradas e as de destino, incentivando transições suaves e arredondadas típicas da tinta real.
• Elementos Estruturantes Circulares: Para preservar a suavidade natural das curvas caligráficas, kernels circulares são usados em vez dos tradicionais quadrados.

O objetivo de treinamento total combina a perda MSE padrão de difusão, uma perda perceptual (baseada em VGG) e a perda DIS ponderada.

Contribuições Principais

1. Framework InkDiffuser: Um framework de geração em um único exemplo inovador que equilibra efetivamente a preservação da integridade estrutural intrincada com a renderização de dinâmicas realistas de difusão de tinta.
2. Fusão Adaptativa Espacial-Temporal (STAF): Um módulo que extrai e funde componentes de alta frequência de imagens de conteúdo para fortalecer a representação de traços, melhorando significativamente a síntese de caracteres complexos.
3. Perda de Estrutura de Tinta Diferenciável (DIS): Uma função de perda personalizada que incorpora operadores morfológicos suaves para fornecer supervisão explícita na decomposição de traços de tinta (núcleo vs. fronteira), permitindo que o modelo aprenda a propagação realista da tinta e o controle de fronteira de maneira de ponta a ponta.

Resultados Experimentais

Os autores avaliaram o InkDiffuser em um conjunto de dados de 293 fontes chinesas, dividido em conjuntos vistos e não vistos, utilizando duas benchmarks de avaliação: UFUC (Fontes Não Vistas, Caracteres Não Vistos) e UFSC (Fontes Não Vistas, Caracteres Vistos).

• Desempenho Quantitativo: O InkDiffuser alcançou desempenho de última geração em todas as cinco métricas (LPIPS, SSIM, L1, RMSE, PSNR) em ambas as benchmarks. Notavelmente, no desafiador cenário UFUC, ele melhorou o SSIM em 0,0242 e reduziu o erro L1 em 0,0072 em comparação com a base mais forte (FontDiffuser).
• Desempenho Qualitativo: Comparações visuais demonstraram que o InkDiffuser gera caracteres com consistência estrutural superior e renderização de traços mais clara em comparação com métodos baseados em GAN (por exemplo, CF-Font, IF-Font) e outros métodos baseados em difusão (por exemplo, FontDiffuser, MXFont++). As saídas geradas exibiram difusão de tinta mais autêntica e menos artefatos, como traços ausentes ou borrões.
• Estudos de Ablação:
  • O módulo STAF mostrou-se capaz de melhorar significativamente as métricas estruturais (SSIM, L1) ao restaurar detalhes topológicos ausentes.
  • A perda DIS foi crítica para melhorar a qualidade perceptual (LPIPS) e a autenticidade visual, especificamente na síntese de vazamento realista de tinta.
  • A combinação de ambos os módulos produziu os melhores resultados, com o STAF fornecendo nitidez estrutural e o DIS suavizando essas bordas para corresponder ao fluxo natural da tinta.
• Sensibilidade a Hiperparâmetros: Experimentos indicaram que um peso de perda DIS ($\lambda_{dis}$) de 0,02 forneceu o compromisso ótimo entre fidelidade estrutural e realismo da tinta. Pesos mais altos fizeram com que o modelo priorizasse o estilo sobre o conteúdo, levando à degradação estrutural.

Significado e Alegações

O artigo alega que o InkDiffuser representa um avanço significativo na síntese de caligrafia chinesa ao abordar diretamente a lacuna entre a geração digital e a realidade física da escrita com pincel. Ao modelar explicitamente pistas estruturais de alta frequência e morfologia de tinta diferenciável, o método supera a aparência "plana" ou "digital" de trabalhos anteriores. Os autores afirmam que sua abordagem alcança desempenho de última geração tanto em precisão estrutural quanto em realismo visual da tinta, particularmente para caracteres complexos onde as interações de traços são densas. O trabalho estabelece que incorporar priores morfológicos explícitos em modelos de difusão é uma estratégia viável e eficaz para gerar estilos artísticos de alta fidelidade que exigem controle de alta granularidade sobre textura e dinâmicas de fronteira.