Synthetic Craquelure Generation for Unsupervised Painting Restoration

Título: Geração Sintética de Craquelura para Restauração de Pinturas Não Supervisionada

1. O Problema

A preservação do patrimônio cultural exige cada vez mais métodos digitais não invasivos para restaurar pinturas antigas. No entanto, a identificação e restauração de craquelura (padrões de fissuras finas e irregulares causadas pelo envelhecimento) apresentam desafios significativos:

• Escassez de Dados: A falta de anotações em nível de pixel (máscaras de verdade absoluta) para treinar modelos de aprendizado profundo.
• Complexidade Visual: A craquelura é extremamente fina, de baixo contraste e irregular, dificultando sua distinção de pinceladas texturizadas e camadas de verniz envelhecido.
• Limitações dos Métodos Atuais: Detectores clássicos exigem ajuste manual extenso de parâmetros e falham em superfícies texturizadas. Modelos baseados em transformers (como SegFormer) tendem a suavizar estruturas finas, perdendo detalhes da craquelura, e sofrem com o desequilíbrio extremo de classes (poucos pixels de fissura vs. muitos pixels de fundo).

2. Metodologia Proposta

Os autores propõem um framework totalmente livre de anotações (unsupervised) que combina detecção clássica, aprendizado de máquina e restauração baseada em física. O pipeline segue quatro etapas principais:

A. Detecção Inicial (Filtragem Morfológica)

• Utiliza a Transformada Top-Hat (especificamente a versão "black top-hat") para realçar elementos escuros contra um fundo mais claro, modelando as fissuras como mínimos de intensidade local.
• Aplica-se um filtragem baseada em tamanho para remover componentes conectados menores que 5 pixels (ruído), gerando uma máscara de fissuras "candidatas" que é, no entanto, excessivamente inclusiva (inclui falsos positivos de pinceladas).

B. Refinamento Baseado em Aprendizado (SegFormer + LoRA)

• Para separar a craquelura real das pinceladas, um modelo de segmentação SegFormer (backbone MiT-B0) é utilizado.
• Adaptação Eficiente de Parâmetros (LoRA): Em vez de fine-tuning completo, utiliza-se Low-Rank Adaptation (LoRA) para ajustar apenas subconjuntos de baixa dimensão das matrizes de atenção, permitindo treinamento estável com dados sintéticos limitados.
• Estratégia Guiada pelo Detector: O modelo recebe uma entrada de 4 canais (RGB + máscara de detecção inicial). A máscara atua como um prior espacial, guiando a atenção do modelo para áreas suspeitas.
• Função de Perda Híbrida e Ajuste de Logits:
  • Masked Hybrid Loss: Combina perda de entropia cruzada ponderada (focando nas regiões onde o detector ativou) e perda Dice (para consistência estrutural global).
  • Logit Adjustment: Um viés suave é injetado nos logits do modelo baseado na máscara inicial, incentivando a previsão de fissuras nessas regiões, mas permitindo correção via supervisão sintética.

C. Geração de Dados Sintéticos

• Como não há dados reais anotados, cria-se um dataset sintético usando trajetórias de Curvas de Bézier para simular fissuras ramificadas e com geometria afunilada (mais finas nas pontas, mais grossas no meio).
• As fissuras são renderizadas sobre imagens limpas (WikiArt) para criar tripletos: (Imagem Limpa, Máscara de Fissura, Imagem Danificada).

D. Restauração (Inpainting)

• Uma vez isolada a máscara refinada de fissuras, o conteúdo faltante é reconstruído usando dois métodos aplicados apenas nos pixels de fissura:
  1. Filtro de Média Recortada Modificada (MTM): Preenchimento iterativo de fora para dentro baseado em estatísticas de vizinhança.
  2. Difusão Anisotrópica (AD): Um método baseado em equações diferenciais parciais que difunde a intensidade ao longo de direções homogêneas, preservando bordas e gradientes. O AD demonstrou ser superior para fissuras mais largas e texturizadas.

3. Principais Contribuições

1. Primeiro Framework Não Supervisionado: Um sistema completo para detecção e restauração de fissuras em pinturas sem qualquer anotação manual.
2. Dataset Sintético Específico de Domínio: Geração de máscaras de craquelura realistas com geometria afunilada e ramificada, permitindo a generalização de modelos treinados apenas em dados sintéticos para obras reais.
3. Arquitetura Híbrida Integrada: Combinação de detectores clássicos interpretáveis com refinamento via deep learning (condicionado pelo detector) e inpainting consciente das fissuras.
4. Estratégia de Treinamento Inovadora: Uso de LoRA, logit adjustment guiado e perda mascarada para lidar com o desequilíbrio de classes e a falta de dados reais.

4. Resultados Experimentais

• Desempenho Quantitativo: O método proposto superou significativamente modelos de restauração fotográfica de última geração (SOTA) como Wan et al. e Pik-Fix em configurações zero-shot.
  • Obteve um SSIM (Índice de Similaridade Estrutural) de 64.87, comparado a 55.71 do Pik-Fix.
  • Melhorou a precisão de detecção (Acc) e o F1-score em comparação com o algoritmo clássico Grassfire.
• Qualidade Visual: As restaurações preservam a textura original da tinta e as pinceladas, evitando o "borramento" comum em métodos puramente baseados em transformers.
• Ablação: O estudo demonstrou que a combinação de LoRA, ajuste de logits e perda mascarada é crucial para o desempenho, com a perda mascarada sendo fundamental para reduzir falsos positivos.
• Eficiência: A Difusão Anisotrópica (AD) mostrou-se mais rápida e eficaz que o MTM para a maioria dos casos de teste, especialmente com kernels em disco.

5. Significado e Impacto

Este trabalho oferece uma ferramenta robusta e não invasiva para a conservação digital de arte. Ao eliminar a dependência de anotações manuais custosas e difíceis de obter, o método permite a recuperação fiel de obras de arte frágeis, preservando a integridade visual das pinceladas originais enquanto remove o ruído visual causado pelo envelhecimento. A abordagem híbrida (clássica + aprendizado de máquina) estabelece um novo paradigma para tarefas de restauração onde os dados anotados são inexistentes.