Multi-Conditioned Diffusion Synthesis of Sand Boils for Low-Resource Earthen-Levee Inspection

Resumo Técnico: Síntese de Difusão Multicondicionada de Surgimentos de Areia para Inspeção de Taludes de Terra com Baixo Recurso

Definição do Problema
Taludes de terra são infraestruturas críticas, mas sua condição é difícil de monitorar em escala. Um defeito primário de segurança crítica é o "surgimento de areia" (sand boil), um estágio visível inicial de erosão interna (piping), onde a água pressurizada carre# transporta areia para a superfície. A detecção e segmentação desses defeitos a partir de imagens de campo é dificultada por uma severa escassez de dados anotados. Os defeitos aparecem apenas durante eventos de nível de água elevado, estão distribuídos por vastas redes lineares e exigem conhecimento hidrológico para uma anotação precisa ao nível do pixel. Aumentos de dados convencionais (rotações, inversões, oscilação de cor) falham em sintetizar novas distribuições de cena (ex: diferentes tipos de solo, regimes hidráulicos ou iluminação) que não estão já presentes nos pequenos conjuntos de referência curados.

Metodologia
O artigo propõe um pipeline de síntese baseado em difusão projetado para gerar imagens sintéticas de surgimentos de areia, preservando a geometria do defeito e garantindo a proveniência do rótulo. O pipeline consiste em três estágios acoplados:

1. Backbone e Adaptação:

   • O sistema utiliza o Stable Diffusion XL (SDXL) como backbone. Os autores escolheram deliberadamente o SDXL em vez de modelos de fluxo retificado mais recentes (ex: SD 3.5) devido à maturidade de seus checkpoints de ControlNet e IP-Adapter publicamente disponíveis e à sua menor tendência de memorizar quadros de treinamento individuais no rank de adaptador e orçamento de dados utilizados.
   • DreamBooth com Low-Rank Adaptation (LoRA) é usado para ajustar o modelo em um pequeno conjunto de referência curado (39 imagens). Um token de gatilho raro (sbx) ancora o adaptador, permitindo que o modelo renderize os surgimentos de areia sem modificar os pesos base congelados.

2. Geração Multicondicionada:

   • Para restringir a cena gerada a uma referência de campo real enquanto permite variedade textural, o pipeline emprega uma pilha de quatro ramos de ControlNet: arestas Canny (contorno), profundidade monocular (layout 3D), normais de superfície (relevo de cúpula-borda) e arestas suaves de Detecção de Arestas Holisticamente Aninhadas (HED) (textura da borda).
   • Inpainting de Máscara Suave Preservadora de Defeitos: Em vez de image-to-image padrão ou clonagem contínua de Poisson (que causa costuras rígidas e sangramento de cor), o pipeline utiliza um protocolo de mistura de latente de máscara suave. A máscara de verdade fundamental é invertida, erodida e suavizada por um desfoque Gaussiano para criar um gradiente suave. Durante o loop de difusão, o denoiser prevê apenas dentro da região do gradiente, permitindo que a fronteira negocie uma transição coerente com o fundo renderizado enquanto preserva o núcleo do defeito pixel a pixel.
   • Geometria Adaptativa: O raio de erosão e a largura do kernel de desfoque são derivados adaptativamente do tamanho da caixa delimitadora do defeito, garantindo que a margem de preservação escale com a extensão do defeito.

3. Curadoria de Prompts e Controle de Qualidade:

   • Atlas de Prompts: Um sistema orientado por taxonomia substitui listas de prompts escritas à mão. Uma especificação única em JSON define o conceito do domínio, o token de gatilho e os eixos (ex: tipo de solo, clima, iluminação). Um construtor expande isso em um banco de prompts estratificados, filtrados por comprimento, desduplicados via TF-IDF, rastreados quanto a conceitos negativos e validados contra o conjunto de referência usando similaridade imagem-texto CLIP.
   • Anotador de Casca Convexa (CHA): Um pipeline totalmente automatizado e consciente da forma converte mapas de probabilidade em máscaras binárias e anotações de polígono. Ele roteia componentes com base no fator de forma (compacto, alongado ou fino) para aplicar a limpeza apropriada (casca convexa, fechamento morfológico ou esqueleto). Isso garante uma política de produção de máscara única e reproduzível em todos os outputs sintéticos.
   • Filtro de Admissibilidade CLIP: Um filtro de admissibilidade CLIP usa estatísticas de "deixar um fora" (leave-one-out) do conjunto de referência para definir uma banda de aceitação. Ele rejeita automaticamente o desvio fora da distribuição (OOD) e amostras memorizadas (duplicatas próximas de quadros de treinamento) sem revisão humana.

Contribuições Principais
O artigo introduz um pipeline de geração com as seguintes contribuições técnicas específicas:

• Mistura de Latente de Máscara Suave Preservadora de Defeitos: Uma regra de composição por passo que fixa a aparência do defeito literalmente enquanto permite que o denoiser negocie uma transição coerente com o fundo, eliminando costuras rígidas e variações de cor associadas ao inpainting binário e clonagem de Poisson.
• Geometria de Máscara Suave Adaptativa ao Tamanho do Defeito: Uma regra automatizada que escala os parâmetros de erosão e desfoque da máscara suave com base na extensão espacial do defeito, removendo a necessidade de ajuste manual por imagem.
• Anotador de Casca Convexa (CHA): Um pipeline de classe agnóstica e consciente da forma que produz rótulos de treinamento uniformes e serve como um portão de controle de desvio para a geração condicionada por máscara.
• Geração Condicionada por Máscara (MaskCN): Um caminho complementar onde uma máscara binária é a entrada de condicionamento, tornando a máscara o rótulo de verdade fundamental por construção. Isso atua como um motor de diversidade de zero-anotação, gerando variados formatos e posicionamentos de defeitos independentemente das geometrias reais de origem.
• Atlas de Prompts Orientado por Taxonomia: Um sistema de curadoria de prompts reprodutível, baseado em JSON, que expande uma única especificação de domínio em um banco de prompts validado, portátil para novos conceitos de defeito sem mudanças de código.
• Filtragem de Similaridade de Conjunto de Referência Automatizada: Um filtro pós-geração que remove o desvio OOD e a memorização usando limiares auto-ajustados derivados das estatísticas leave-one-out do CLIP do conjunto de referência.

Resultos
O pipeline foi avaliado em um conjunto de dados de 199 imagens de treinamento reais e um conjunto de referência curado de 39 imagens.

• Geração de Dataset: O pipeline produziu 1.020 candidatos sintéticos; 815 passaram pelo filtro de admissibilidade CLIP para formar o dataset aumentado.
• Qualidade da Imagem: A avaliação utilizou Fréchet Inception Distance (FID), Kernel Inception Distance (KID), similaridade imagem-texto CLIP e diversidade LPIPS.
  • Nenpre único preset dominou todas as métricas. O preset V4 (inpainting de máscara suave com HED, normais de superfície e IP-Adapter) foi selecionado como o padrão para o dataset aumentado. Embora tivesse um FID maior que outras alternativas (indicando que se aventurou mais longe do manifold real), ofereceu superior confiabilidade de rótulo e diversidade de cena.
  • MaskCN alcançou a maior similaridade CLIP e diversidade dentro do conjunto, mas falhou no portão de verificação de rótulo (desvio de IoU mediana de 0.15), significando que seus rótulos "exatos" ainda não podiam ser certificados pelo checkpoint do segmentador disponível.
  • Baseline de Poisson: Um baseline de clonagem contínua de Poisson alcançou pontuações FID menores, mas falhou em fornecer diversidade de cena genuína ou fronteiras sem costuras, confirmando que o baixo FID sozinho é insuficiente para a qualidade de treinamento de dados.
• Fidelidade vs. Diversidade: Uma decomposição de precisão/recall revelou que, embora alguns presets (como o V1) tivessem alta fidelidade (proximidade com o manifold real), o preset V4 selecionado trocou fidelidade por maior diversidade e, crucialmente, por uma proveniência de rótulo de política única.
• Auditoria de Memorização: Uma auditoria de vizinho mais próximo confirmou que nenhum sample sintético era um duplicata no espaço CLIP do conjunto de treinamento (similaridade máxima de 0.925 vs identidade 1.0).

Significância e Alegações
O artigo delimita modestamente suas alegações à qualidade da imagem, proveniência do rótulo e diversidade. Afirma explicitamente que o desempenho de segmentação downstream é deixado para trabalhos futuros.

• A principal contribuição é uma metodologia para gerar dados sintéticos rotulados de alta qualidade em um cenário de baixo recurso onde exemplos anotados são escassos.
• O pipeline demonstra que modelos de difusão podem ser adaptados para classes científicas de nicho (defeitos de taludes de terra) sem retreinamento total, desde que o condicionamento estrutural (ControlNet) e protocolos preservadores de defeito (inpainting de máscara suave) sejam empregados.
• Os autores enfatem a reprodutibilidade do sistema, liberando o pipeline completo, os adaptadores treinados, os atlas de prompts e as cascadas de sementes (seed cascades).
• O trabalho estabelece um framework para "rótulo por construção" (via MaskCN) e "rótulo por reconstrução" (via soft-mask + CHA), oferecendo um caminho para motores de diversidade de zero-anotação, embora a verificação desses rótulos em escala permaneça um gargalo.

O artigo conclui que, embora nenhum preset único seja ideal para todas as métricas, uma mistura curada de presets complementares (equilibrando cobertura de manifold, diversidade e confiabilidade de rótulo) constitui a estratégia natural de aumento para treinar segmentadores downstream.