Resumo Técnico: Inpainting de Vestimentas em Pinturas Antigas via Orientação de Estrutura de Vestimenta e Flow Matching com Reponderação de Região de Vestimenta

Definição do Problema

As vestimentas em pinturas antigas são registros visuais críticos para a compreensão do vestuário, rituais e estética históricos. No entanto, processos de envelhecimento, como o descascamento de pigmentos, abrasão de tinta e deterioração do suporte, frequentemente interrompem as linhas esbeltas, curvas e espacialmente contínuas que definem os contornos e as dobras das vestimentas. Modelos de inpainting de uso geral, otimizados para imagens naturais, frequentemente carecem de priors estruturais específicos para vestimentas. Consequentemente, eles têm dificuldade em restaurar defeitos pequenos, estreitos e alongados sem borrar bordas ou gerar drapeados estruturalmente inconsistentes. Além disso, a restauração digital em patrimônio cultural exige adesão aos princípios de intervenção mínima, rastreabilidade de processo e identificação explícita do conteúdo gerado, o que os modelos generativos padrão muitas vezes não conseguem fornecer.

Metodologia

Os autores propõem um framework de dois estágios que combina inicialização estrutural com supervisão focada em regiões, construído sobre a arquitetia FLUX.1-Fill.

1. Preparação de Dados

• Domínio de Origem: Imagens de vestimentas modernas são processadas para criar desenhos de linha que enfatizam contornos e dobras, acompanhados de descrições textuais estruturais. Estes são usados para o treinamento.
• Domínio de Destino: Dados de pinturas antigas (dinastias Tang, Song, Yuan, Ming, Qing) são localizados usando Florence-2 para extrair recortes semânticos de uma única pessoa e patches de detalhes de 512×512. Crucialmente, dados de pinturas antigas são excluídos do treinamento do modelo e reservados exclusivamente para avaliação de domínio de destino e validação em casos genuinamente danificados.

2. Estágio Um: Fashion LoRA (Orientação Estrutural)

Para abordar a falta de dados pareados de pinturas antigas, o modelo é primeiro adaptado às estruturas de vestimentas usando desenhos de linha modernos.

• Técnica: Um módulo de Adaptação de Baixo Rank (LoRA), denominado Fashion LoRA, é treinado em desenhos de linha de vestimentas modernas e texto estrutural (token de gatilho: "glineprior").
• Objetivo: Este estágio inicializa o modelo com vieses estruturais em relação aos contornos, barras, punhos e dobras das vestimentas, permitindo que ele aprenda as regularidades estatísticas da geometria das vestimentas antes de tentar a restauração de cores.

3. Estágio Dois: GR-FM (Flow Matching com Reponderação de Região de Vestimenta)

O segundo estágio realiza o inpainting de cor em vestimentas modernas para adaptar o modelo à tarefa específica de reparar regiões danificadas.

• Desafio: As perdas de Flow Matching (FM) padrão agregam erros uniformemente por todos os tokens latentes. Em casos de dobras estreitas ou quebras de contorno finas, os tokens danificados constituem uma fração pequena do total, fazendo com que seus gradientes sejam diluídos pelos erros das grandes regiões intactas.
• Solução: Os autores introduzem o Garment Region-Reweighted Flow Matching (GR-FM).
  • Uma máscara binária de dano é mapeada para a grade de tokens latentes.
  • Tokens latentes que cobrem pixels danificados recebem um peso de $1 + \lambda_m$, enquanto tokens intactos retêm um peso de 1.
  • A função de perda é normalizada pela soma dos pesos dos tokens para evitar deslocamentos de escala.
  • Esta reponderação fortalece a supervisão local para defeitos pequenos e alongados sem adicionar módulos de tempo de inferência.

4. Inferência e Composição

• Inferência: O adaptador LoRA treinado é aplicado a patches de pinturas antigas. O modelo gera um candidato de restauração baseado na entrada danificada, máscara e texto.
• Composição de Máscara Rígida (Hard-Mask): Para garantir a rastreabilidade e a intervenção mínima, o output final é gerado composto pelos pixels previstos apenas dentro da região de dano anotada manualmente ($M$), mantendo os pixels originais de entrada fora desta região:
  $$I_{final} = I_{pred} \cdot M + I_{input} \cdot (1 - M)$$

Principais Contribuições

1. Framework de Dois Estágios: Um pipeline inovador que combina Fashion LoRA para inicialização estrutural (usando line art moderna) e GR-FM para adaptação de cor específica para a tarefa.
2. Função de Perda GR-FM: Uma perda de flow matching reponderada que normaliza e repondera erros de campo de velocidade para tokens latentes em regiões danificadas, abordando especificamente o problema de diluição de supervisão para defeitos estreitos.
3. Design Experimental Rigoroso: Um experimento controlado completo de quatro configurações (variando a inicialização do Fashion LoRA e o uso do GR-FM) através de três sementes aleatórias, utilizando testes estatísticos pareados para isolar os efeitos da orientação estrutural e da supervisão focada em região.
4. Restauração Rastreável: A implementação da composição de máscara rígida garante que todas as modificações sejam confinadas a regiões anotadas, fornecendo limites espaciais explícitos para revisão.

Resultados

O estudo avalia o método no domínio de destino de pinturas antigas (50 amostras com referências, 20 amostras genuinamente danificadas) e o compara com baselines incluindo LaMa, SDXL Inpainting, BrushNet-SDXL e FLUX-Fill Base.

• Desempenho Quantitativo: A configuração completa Fashion LoRA + GR-FM alcançou os melhores resultados médios em Masked PSNR (22.779 dB), Masked SSIM (0.535), Masked LPIPS (0.379) e Boundary F1 (0.549) no conjunto de avaliação de pinturas antigas.
• Insights de Ablação:
  • Fashion LoRA: Melhorou principalmente a qualidade das bordas (BF1-2, BER) no domínio de origem de vestimentas modernas. No domínio de destino de pinturas antigas, seus benefícios foram dependentes de métricas e não universalmente positivos, sugerindo que os vieses estruturais do domínio de origem nem sempre se traduzem diretamente para estilos históricos.
  • GR-FM: Demonstrou uma adaptabilidade de tarefa mais estável. Melhorou significamente as métricas de pixel, estruturais e perceptuais em ambos os domínios, particularmente quando combinado com o Fashion LoRA.
  • Interação: Testes estatísticos revelaram interações significativas entre os dois componentes para métricas específicas, indicando que eles não são meramente aditivos, mas funcionalmente interdependentes.
• Análise de Sensibilidade: O coeficiente de reponderação ($\lambda_m$) foi testado de 0 a 50. A restauração de bordas (BF1-2) saturou em torno de $\lambda_m = 10$, enquanto as métricas de pixel e perceptuais continuaram a melhorar gradualmente. Um valor de $\lambda_m = 20$ foi selecionado como uma configuração moderada equilibrando restauração estrutural e qualidade perceptual.

Significância e Alegações

O artigo afirma fornecer um framework técnico prático, controlável e extensível para a restauração generativa em patrimônio cultural.

• Estrutura vs. Conteúdo: O estudo distingue entre inicialização estrutural (Fashion LoRA) e redistribuição de supervisão (GR-FM), mostrando que, embora os priors estruturais de dados modernos ajudem, o mecanismo de reponderação é o núcleo mais estável para o desempenho no domínio de destino.
• Auditabilidade: Ao utilizar composição de máscara rígida e tratar os outputs como "candidatos de restauração digital" em vez de reconstruções históricas definitivas, o método alinha-se aos princípios de conservação de intervenção mínima e rastreabilidade de processo.
• Limitações: Os autores reconhecem que a extração automática de bordas pode introduzir artefatos e que desenhos de linha modernos não podem capturar totalmente as complexas convenções de drapeado histórico (ex: mangas volumosas). Eles observam que o trabalho atual simula danos lineares e localizados, em vez de padrões de deterioração complexos como danos por insetos.

O método proposto oferece um caminho para gerar candidatos de restauração restritos por estrutura e auditáveis que apoiam, em vez de substituir, o julgamento de especialistas em conservação.