Resumo Técnico: StippleDiffusion

Declaração do Problema

A geração de conjuntos de pontos 2D de alta qualidade com propriedades espaciais prescritas, especificamente para estipulação de imagens, é um desafio fundamental em computação gráfica. Abordagens tradicionais dependem de otimização iterativa (por exemplo, Estipulação de Voronoi Ponderada, Ruído Azul através de Transporte Ótimo) ou estratégias de amostragem especializadas para produzir distribuições estruturadas como ruído azul. Embora eficazes, esses métodos são computacionalmente caros, não diferenciáveis e exigem uma nova execução de otimização para cada nova densidade-alvo ou orçamento de pontos. Essa falta de generalização impede o uso interativo e a geração em grande escala.

Alternativas aprendidas recentes, utilizando modelos probabilísticos de difusão de remoção de ruído (DDPMs), demonstraram promessa na aprendizagem de distribuições geométricas complexas. No entanto, aplicar difusão a conjuntos de pontos dispersos é desafiador devido à sua estrutura convolucional inerente, projetada para grades. Além disso, os métodos de difusão existentes abordaram majoritariamente a geração de pontos incondicional. Eles lutam para satisfazer a estipulação condicionada à imagem e com restrição de capacidade—a exigência de gerar conjuntos de pontos que simultaneamente adiram a um prior aprendido de distribuição local de pontos (por exemplo, ruído azul) e a um mapa de densidade contínuo definido pela imagem. Arquiteturas de condicionamento padrão frequentemente levam a instabilidade, colapso geométrico ou densidade desigual ao impor conjuntamente alocação global a partir de ruído e restrições locais de alta frequência.

Metodologia

Os autores propõem o StippleDiffusion, o primeiro amostrador baseado em difusão capaz de satisfazer um prior aprendido de distribuição local de pontos e uma restrição de capacidade contínua definida pela imagem simultaneamente durante a inferência, sem otimização por densidade.

Arquitetura Central

O método baseia-se em uma linha de base de difusão de conjunto de pontos em grade de Transporte Ótimo (OT) (Doignies et al., 2023).

• Representação OT: Conjuntos de pontos são mapeados para uma grade regular $N \times N$ via transporte ótimo. Cada célula da grade armazena o deslocamento 2D entre o centro do estrato e sua amostra atribuída. Isso transforma o conjunto de pontos em uma imagem de dois canais, permitindo que convoluções 2D padrão atuem como operadores aproximados de vizinho mais próximo.
• Ramo ControlNet: Para permitir condicionamento espacial sem re-treinar o modelo base, um ramo ControlNet treinável é adicionado em paralelo ao U-Net congelado.
• Convoluções Zero com Portão: Em vez de Convoluções Zero padrão, os autores empregam uma projeção $1 \times 1$ com portão sigmoidal. Esse mecanismo modula dinamicamente as características injetadas, prevenindo a perda precoce de regularidade geométrica e preservando a estrutura de ruído azul aprendida pelo modelo base sob sinais de densidade rígidos.
• Extração de Características: A entrada de condicionamento agrega características estáticas da grade e características de imagem amostradas dinamicamente. Usando uma abordagem inspirada no GECCO, uma CNN leve extrai características contínuas da imagem de entrada de alta resolução, que são então interpoladas bilinearmente nas coordenadas de ponto flutuante exatas do conjunto de pontos ruidosos atual. Estas são concatenadas com deslocamentos OT estáticos e o mapa de densidade alvo para formar um vetor de condição unificado.

Estratégia de Inferência

O processo de inferência é projetado como um refinamento guiado em vez de geração a partir de ruído puro:

1. Inicialização Estruturada: Em vez de começar com ruído Gaussiano puro, o processo inicia com um prior estrutural gerado via amostragem por rejeição ponderada por densidade. Isso fornece uma distribuição inicial de pontos informada espacialmente.
2. Difusão Truncada (SDEdit): O modelo opera em um cronograma de difusão truncado, focando no regime de remoção de ruído de estágio tardio (os últimos 30% dos passos de tempo). A rede aprende a refinar um prior estrutural parcialmente ruidoso em vez de gerar uma distribuição do zero.
3. Fluxo de Reamostragem: Para impor restrições estritas de capacidade e desagrupar a distribuição, o método emprega um fluxo de reamostragem forward-backward estilo RePaint. Durante o passo reverso, a amostra é difundida de volta para um passo de tempo anterior antes de prever o próximo, fornecendo múltiplas oportunidades para refinar a distribuição dentro de uma janela local.

Contribuições Principais

1. Primeiro Amostrador com Restrição de Capacidade Baseado em Difusão: O artigo apresenta o primeiro framework para estipulação que aceita densidades-alvo arbitrárias durante a inferência usando um único modelo treinado, contrastando com métodos baseados em otimização que exigem reexecução para cada densidade.
2. Formulação OT-Grid para Aprendizagem com Restrições: Ao reinterpretar a geração de pontos estruturados através de uma formulação de transporte ótimo, o método permite a aprendizagem de distribuições semelhantes a ruído azul sob restrições. O custo de inferência é quase independente da contagem de pontos de saída, e gradientes estão disponíveis de ponta a ponta.
3. Técnicas Arquiteturais e de Amostragem Novas:
   • Convoluções Zero com Portão: Um mecanismo para injetar com segurança condições espaciais de alta frequência sem destruir as capacidades de repulsão de pontos do modelo base.
   • Cronograma SDEdit Truncado: Restringir o treinamento e a inferência à remoção de ruído de estágio tardio, inicializado a partir de uma amostra de rejeição ponderada por densidade, estabiliza a geração sob restrições estritas.
4. Avaliação Abrangente: Os autores introduzem um protocolo de avaliação quantitativa e qualitativa adaptado da literatura de ruído azul e amostragem com restrição de capacidade para comparar seu método com amostradores incondicionais anteriores e linhas de base baseadas em otimização.

Resultados

O método foi avaliado no benchmark Icons-50 e em vários testes de densidade sintética.

• Paridade de Desempenho: No conjunto de testes Icons-50, o amostrador aprendido atinge paridade com linhas de base otimizadas por densidade (WVS, BNOT, GBN) em todas as métricas relatadas: Energia CVT, Cumprimento da Restrição de Capacidade, Distância do Transportador de Terra (EMD), Distância Sinkhorn e Medida Espacial ($\rho$).
• Generalização: O único checkpoint treinado (treinado em 1024 pontos) generaliza com sucesso para orçamentos de pontos não vistos durante o treinamento (por exemplo, 256, 576, 2304 pontos) e lida com densidades analíticas fora da distribuição de treinamento, incluindo testes de estresse altamente não lineares.
• Qualidade Visual: Comparações qualitativas mostram que o método produz distribuições de ruído azul de alta qualidade que rastreiam densidades-alvo globais enquanto mantêm a repulsão local de pontos, evitando o agrupamento e a densidade desigual frequentemente vistos em difusão condicionada padrão.
• Tempo de Execução: Embora o processo iterativo de remoção de ruído resulte em um custo fixo mais alto comparado a amostradores determinísticos como WVS, o tempo de execução permanece quase constante em diferentes contagens de pontos, ao contrário de métodos baseados em otimização onde o tempo escala significativamente com a contagem de pontos.

Significado e Alegações

O artigo afirma preencher a lacuna entre amostragem geométrica baseada em exemplos e geração condicionada à imagem. Seu significado principal reside em demonstrar que modelos de difusão podem ser adaptados para estipulação com restrição de capacidade sem a sobrecarga computacional de otimização iterativa para cada novo alvo.

Os autores observam modestamente que, embora sua abordagem estabilize a geração de pontos baseada em difusão sob restrições estruturadas, não é um substituto para amostradores determinísticos de baixa discrepância em aplicações críticas de tempo devido à sua natureza iterativa. Além disso, a escalabilidade do método para dimensões mais altas é limitada pelo custo de armazenamento $O(k^d)$ da representação OT-Grid, uma limitação herdada da linha de base subjacente. No entanto, para estipulação 2D, o método oferece uma alternativa diferenciável, generalizável e de alta qualidade às técnicas de otimização tradicionais.