DRG-Font: Dynamic Reference-Guided Few-shot Font Generation via Contrastive Style-Content Disentanglement

1. Problema Abordado

O artigo foca no problema da Geração de Fontes com Poucas Amostras (Few-shot Font Generation - FFG). O objetivo é gerar glifos (caracteres) de um caractere alvo que adotem o estilo de uma fonte específica, utilizando apenas um pequeno número de imagens de referência (exemplares) dessa fonte.

Os desafios principais identificados pelos autores são:

• Captura de Estilos Complexos: Métodos existentes frequentemente falham em capturar nuances complexas de estilo a partir de poucas amostras.
• Perda de Características Locais: As abordagens atuais tendem a perder características locais discerníveis ou introduzem deformações estruturais nos glifos gerados.
• Limitações de Decomposição: Métodos baseados em decomposição de traços (strokes) são limitados a scripts com regras de decomposição bem definidas e não generalizam bem para diferentes scripts (ex: Latim vs. Chinês).
• Custo Computacional: Métodos baseados em difusão, embora de alta qualidade, possuem sobrecarga computacional que limita sua aplicação prática.

2. Metodologia Proposta: DRG-Font

A proposta central é o DRG-Font, uma estratégia de geração de fontes guiada dinamicamente por referências, que utiliza aprendizado contrastivo para separar (desentrelaçar) os espaços de estilo e conteúdo.

Arquitetura Principal

O pipeline consiste em três componentes principais:

1. Módulo de Seleção de Referência (RS Module):

   • Em vez de usar uma referência de estilo aleatória, este módulo seleciona dinamicamente a melhor referência de estilo ($x_s$) a partir de um conjunto de candidatos.
   • A seleção é baseada em uma métrica de similaridade estrutural calculada pelo Comparador de Correspondência de Traços (SMC). O SMC compara a topologia e geometria intrínsecas dos traços do caractere de conteúdo alvo com os candidatos, escolhendo aquele estruturalmente mais próximo.

2. Rede Geradora (Encoder-Decoder):

   • Encoder ($E_{sc}$): Decompõe as imagens de entrada (referência de estilo e referência de conteúdo) em espaços de embeddings separados: estilo e conteúdo.
     • Utiliza blocos de Downsampling com convoluções deformáveis para invariância geométrica.
     • Emprega dois cabeçalhos multiescala: MSHB (Multi-scale Style Head Block) e MCHB (Multi-scale Content Head Block). Cada um possui três cabeçalhos que processam diferentes escalas de características latentes.
     • O MSHB projeta estatísticas (média e variância) para capturar o estilo, enquanto o MCHB usa convoluções e pooling para capturar a estrutura do glifo.
   • Decoder ($D_{sc}$): Realiza a fusão cruzada (cross-fusion) dos embeddings.
     • Utiliza um bloco de Upsampling Multi-Fusão (MFUB).
     • Aplica mecanismos de adaptação de estilo (como AdaIN) e um mecanismo de gating condicionado ao estilo para fundir progressivamente o estilo da referência com a estrutura do conteúdo alvo, gerando o glifo final.

3. Rede Discriminadora (D):

   • Baseada na arquitetura PatchGAN, atua como um discriminador multi-tarefa.
   • Fornece supervisão adversária para realismo e cabeçalhos auxiliares para classificação de estilo e conteúdo.

Função de Perda (Objetivo de Treinamento)

O modelo é otimizado usando uma função de perda híbrida composta por seis componentes:

• Reconstrução ($L_{recon}$): Distância L1 pixel a pixel.
• Perceptual ($L_{perc}$): Baseada em VGG19 para consistência visual.
• Adversária ($L_{adv}$): Para garantir realismo.
• Classificação Auxiliar ($L_{cls}$): Para garantir que o gerador produza o estilo e conteúdo corretos.
• Desentrelaçamento Contrastivo ($L_{dist}$): Utiliza Circle Loss para forçar clusters compactos para pares positivos e grandes margens para pares negativos nos espaços de estilo e conteúdo, garantindo a separação eficaz dos atributos.
• Latente ($L_{latent}$): Utiliza um codificador VAE do Stable Diffusion v2 (congelado) para alinhar a imagem gerada com a imagem real no espaço latente, melhorando a consistência estrutural e perceptual além do nível de pixels.

3. Principais Contribuições

1. Seleção Dinâmica de Referência: Introdução do módulo RS que melhora significativamente a retenção das características do glifo ao selecionar a referência de estilo estruturalmente mais adequada.
2. Estratégia Contrastiva de Desentrelaçamento: Proposta de uma nova estratégia para decompor os espaços de embedding de estilo e conteúdo, seguida de fusão cruzada, otimizada por uma função de perda híbrida (contrastiva, reconstrução e adversária).
3. Generalização Multisscript: O método generaliza bem para diferentes scripts (Latim e Chinês), superando técnicas que dependem de decomposição fixa de traços.
4. Desempenho Superior: Resultados que superam o estado da arte (SOTA) em avaliações visuais e analíticas.

4. Resultados Experimentais

Os experimentos foram realizados em conjuntos de dados de fontes em Inglês (Latim) e Chinês, divididos em conjuntos "Vistos" (Seen) e "Não Vistos" (Unseen).

• Métricas Quantitativas: O DRG-Font superou métodos SOTA como FANNET, MA-Font, PatchFont, FASTER e DA-Font em métricas de erro (L1, RMSE, LPIPS) e similaridade (SSIM).
  • Exemplo: No conjunto "Unseen English", obteve L1 de 0.072 e LPIPS de 0.108, superando o segundo melhor (DA-Font).
• Estudo de Usuário (MOS): Em um estudo subjetivo com 76 participantes, o DRG-Font foi preferido em 53,42% dos casos para fontes em inglês e 55,66% para fontes em chinês, demonstrando uma clara preferência visual sobre as técnicas concorrentes.
• Análise de Ablação:
  • A remoção do módulo RS resultou em bordas mais borradas e inconsistências estruturais.
  • A inclusão das perdas $L_{cls}$ e $L_{latent}$ foi crucial para a melhoria final da qualidade.
  • A dimensão de embedding ideal foi identificada como 256 por cabeçalho.

5. Significado e Conclusão

O DRG-Font representa um avanço significativo na geração de fontes com poucas amostras ao abordar a limitação fundamental de como a similaridade estrutural é utilizada na seleção de referências. Ao combinar a seleção dinâmica de referências com um desentrelaçamento robusto de estilo e conteúdo via aprendizado contrastivo e supervisão latente (Stable Diffusion), o método consegue gerar glifos de alta fidelidade que preservam tanto a estrutura do caractere quanto a complexidade do estilo da fonte, sem depender de regras de decomposição de traços específicas para cada script. Isso torna a técnica altamente versátil e aplicável a uma ampla gama de cenários de design tipográfico e geração de conteúdo.