Texture Regenerating and Grafting Using Genome-Driven Neural Cellular Automata

Resumo Técnico: Regeneração e Enxertia de Texturas Usando Autômatos Celulares Neurais Impulsionados por Genoma

Declaração do Problema
A síntese de texturas é uma tarefa computacionalmente exigente em computação gráfica, tradicionalmente abordada por métodos como campos aleatórios de Markov, decomposições wavelet e modelos modernos de aprendizado profundo como CNNs, GANs e Transformers. Embora esses modelos generativos alcancem alta fidelidade visual, eles frequentemente incorrem em custos computacionais significativos e exigem arquiteturas distintas para tarefas específicas. Além disso, domínios especializados como regeneração de texturas (inpainting de regiões danificadas) e enxertia de texturas (combinação perfeita de texturas distintas) permanecem pouco explorados. Abordagens existentes de Autômatos Celulares Neurais (ACNs), embora eficientes, tipicamente exigem o treinamento de um autômato separado para cada textura, o que impede a interpolação perfeita e complica operações de enxertia que frequentemente dependem de costura explícita.

Metodologia
Os autores propõem uma extensão aos ACNs impulsionados por genoma, construindo sobre o framework introduzido em [13]. A arquitetura central define um ACN em uma grade 2D onde cada célula é um vetor de $n$ dimensões. Os primeiros três canais representam a cor RGB, enquanto os canais restantes incluem canais de "genoma" e canais ocultos. Os canais de genoma codificam uma representação binária do índice da textura alvo, permitindo que um único ACN gere múltiplas texturas distintas ($2^{n_g}$ texturas para $n_g$ canais de genoma).

A metodologia introduz duas inovações primárias:

1. Treinamento Adaptado à Regeneração: Para permitir a regeneração autônoma robusta de texturas danificadas em um cenário de múltiplas texturas, os autores modificam a estratégia de treinamento de pooling padrão. No Algoritmo 1 proposto, o pool de treinamento é inicializado com sementes para todas as texturas alvo. Durante cada época, o algoritmo substitui o estado de maior pontuação (menor perda) de um genoma específico por seu estado de semente para prevenir degradação. Crucialmente, para ensinar o ACN a reparar danos, os dois estados de menor pontuação no lote são "danificados" randomizando os estados das células dentro de uma região circular (raio de 15–25 pixels). O ACN então evolui para reconstruir a textura original a partir desse estado corrompido. Esse processo é repetido por múltiplos passos de evolução antes de calcular a perda via um discriminador VGG pré-treinado e Perda de Wasserstein Fatia (SWL).

2. Enxertia Baseada em Genoma: O artigo introduz uma técnica de enxertia que opera durante a fase de inferência sem retreinamento. Ao inicializar uma única grade de ACN com diferentes valores de genoma atribuídos a regiões espaciais específicas (por exemplo, metades esquerda vs. direita, ou círculos concêntricos), múltiplas texturas são forçadas a coexistir e interagir. Para garantir transições suaves nas fronteiras, os canais de genoma das células na interface são inicializados com valores intermediários (interpolando entre os códigos de genoma binários). O ACN então evolui iterativamente, permitindo que as texturas cresçam juntas e formem uma superfície unificada e coerente.

Principais Contribuições

• Regeneração Robusta de Múltiplas Texturas: O estudo demonstra que um único ACN, treinado com a estratégia de pooling adaptada, pode regenerar com sucesso regiões danificadas para qualquer textura em seu conjunto de treinamento. Isso estende as propriedades de auto-organização dos ACNs além da síntese simples para autorreparo dinâmico.
• Enxertia Perfeita sem Retreinamento: Os autores apresentam uma técnica de enxertia versátil que combina texturas distintas em um padrão novel durante a inferência. Isso é alcançado manipulando os canais de genoma iniciais das células do ACN, eliminando a necessidade de retreinamento especializado ou algoritmos de costura complexos.
• Paradigma Eficiente: A abordagem aproveita a geração de padrões locais inerente e a auto-organização dos ACNs, oferecendo uma alternativa computacionalmente mais leve a modelos generativos de grande escala, mantendo a capacidade de lidar com composições de texturas complexas.

Resultados

• Desempenho Quantitativo: A avaliação usando Similaridade Estrutural (SSIM), Similaridade Perceptual Aprendida de Patch de Imagem (LPIPS) e Distância de Matriz de Gram (GMD) mostra que o ACN adaptado à regeneração performa competitivamente com o ACN de base de [13], indicando que a adaptação para regeneração não degrada a qualidade generativa.
• Capacidades de Regeneração: O modelo reconstrói com sucesso texturas com raios de dano de até 25 pixels. Enquanto padrões globais são restaurados, os autores observam que detalhes finos podem convergir para configurações locais alternativas para danos maiores (35+ pixels), levando a pontuações métricas locais mais baixas apesar da perfeição perceptual.
• Resultados de Enxertia: Experimentos demonstram a combinação bem-sucedida de 2 e 3 texturas distintas. O ACN gera transições de fronteira consistentes, variando de gradientes suaves a barreiras definidas. No entanto, os resultados também destacam "competição genômica", onde, ao longo de longos tempos de evolução, texturas mais estáveis podem invadir texturas menos estáveis, causando deriva de fronteira. Essa instabilidade é mitigada aumentando a dimensão da textura.

Significado e Alegações
O artigo alega que este trabalho avança significativamente a síntese de múltiplas texturas ao introduzir uma metodologia de treinamento que permite regeneração autônoma robusta e uma técnica de enxertia que permite combinação perfeita de texturas sem retreinamento. Os autores posicionam isso como um paradigma poderoso e eficiente para composição dinâmica de texturas e autorreparo em sistemas autônomos.

O significado é enquadrado não apenas em computação gráfica, mas também em campos mais amplos que exploram sistemas de auto-organização (física, robótica, biologia). O trabalho destaca as propriedades fundamentais dos ACNs, demonstrando que uma única arquitetura leve pode lidar com texturas diversas, reparar danos e realizar operações complexas de enxertia. Os autores modestamente reconhecem limitações, observando que o modelo captura a essência estilística em vez de reprodução perfeita de pixels e que a competição genômica pode levar à instabilidade em simulações de longo prazo. Eles sugerem que trabalhos futuros devem investigar arquiteturas hierárquicas para melhorar a fidelidade e análise teórica da dinâmica de fronteira para entender melhor a estabilidade de sistemas de auto-organização de múltiplas classes.