Resumo Técnico: Compressão de Textura Neural usando Hiperredes

Declaração do Problema

A Renderização Baseada em Física (PBR) depende de múltiplos mapas de textura (por exemplo, difusa, normal, rugosidade) para simular interações realistas de materiais. Esses mapas consomem armazenamento e largura de banda significativos, particularmente em aplicações de tempo real, como videogames. Embora métodos recentes de compressão de textura neural (NTC) tenham demonstrado a capacidade de aprender representações compactas por material usando Perceptrons de Camadas Múltiplas (MLPs) e texturas latentes, eles sofrem de um gargalo crítico: o tempo de otimização. As abordagens existentes exigem um processo separado e computacionalmente caro de otimização por descida de gradiente para cada material individual para encontrar os recursos latentes e os pesos do MLP ideais. Essa otimização por material é lenta e dificulta a escalabilidade.

Metodologia

O artigo propõe uma abordagem inovadora que substitui a otimização por material por uma hiperrede (hypernetwork) treinada. Em vez de otimizar parâmetros para cada conjunto de texturas individualmente, a hiperrede aprende a mapear qualquer conjunto de texturas de entrada diretamente para sua representação comprimida.

Arquitetura Central

O sistema consiste em uma hiperrede monolítica que recebe um conjunto de texturas normalizado $T$ como entrada e produz dois componentes:

1. Recursos Latentes ($l_0, ..., l_N$): Um conjunto de texturas com compressão de bloco (especificamente usando a variante BCF1, que utiliza compressão BC1).
2. Pesos do Decodificador ($wb$): Os pesos e vieses para um pequeno decodificador MLP.

A reconstrução é realizada pela fórmula:
$$\text{mlp}([l(i,j)_0, ..., l(i,j)_N]; wb) \simeq T_{i,j}$$

Design da Rede

Os autores utilizam uma arquitetura de Transformer de Difusão (DiT) com mecanismos de atenção cruzada (cross-attention), estruturada em três blocos:

• t-Encoder: Um módulo misto de convolução e atenção que reduz a escala do conjunto de texturas de entrada e extrai um conjunto de tokens globais ($t$). Esses tokens representam as características globais do material.
• Blocos DiT: A unidade de processamento central aplica atenção cruzada entre tokens de imagem (derivados de blocos de texels de $4\times4$ da entrada) e os tokens latentes ($t$). Isso permite que a rede correlacione detalhes locais de textura com propriedades globais do material.
• Módulo de Conversão BC1: O estágio final decodifica os tokens nos resultados específicos:
  • Uma camada linear converte os tokens latentes nos pesos do MLP ($wb$).
  • Um módulo especializado converte os tokens de imagem em texturas latentes BC1 ($l_i$). Isso envolve o remodelamento de tokens, aplicação de convoluções para gerar 22 canais (representando endpoints RGB e parâmetros de mistura) e aplicação de funções sigmoide com deslocamentos para evitar o colapso de endpoints durante a quantização.

Estratégia de Treinamento

A hiperrede é treinada em um conjunto de dados de diversos conjuntos de texturas (do Polyhaven e Sketchfab) usando uma mistura de norma $L_1$ e DISTS (uma métrica de perda perceptual). O objetivo de treinamento minimiza a diferença entre o conjunto de texturas original e o conjunto reconstruído pelo MLP usando os pesos e latentes previstos pela hiperrede. O modelo é treinado para generalizar entre diferentes materiais sem exigir descida de gradiente por material.

Principais Contribuições

1. Hiperrede para NTC: A introdução de uma única hiperrede que gera tanto os recursos latentes quanto os pesos do decodificador para qualquer dado material, eliminando a necessidade de otimização por material.
2. Qualidade e Eficiência: O método alcança uma qualidade de compressão comparável aos atuais compressores de textura neurais de referência (que dependem de descida de gradimento) mas reduz significativamente o tempo necessário para gerar representações de texturas comprimidas.
3. Versatilidade e Reuso: O artigo demonstra que a hiperrede treinada pode ser adaptada para tarefas além da compressão padrão:
   • MLPs Compartilhados: A rede pode ser ajustada para produzir um único MLP compartilhado para todos os conjuntos de texturas, variando apenas as texturas latentes. Isso simplifica a execução em tempo de execução ao remover a necessidade de classificação baseada em tiles para homogeneizar os grupos de trabalho (workgroups).
   • Super-resolução: Ao treinar a rede com entradas de baixa resolução ($T^l$) e alvos de alta resolução ($T^h$), a hiperrede aprende a inferir detalhes de alta frequência, realizando efetivamente a super-resolução para SVBRDFs mesmo quando a verdade fundamental de alta resolução não está disponível durante a inferência.

Resultados

• Qualitativo: Comparações visuais mostram que as saídas descomprimidas preservam detalhes de alta frequência (como arranhões e veios de madeira) e são visualmente indistinguíveis da entrada em vários cenários, incluindo materiais vistos durante o treinamento, materiais no conjunto de teste e materiais inteiramente fora do conjunto de treinamento. Isso confirma as fortes capacidades de generalização do modelo.
• Quantitativo/Desempenho: Os autores relatam que os pesos não quantizados do seu modelo ocupam 294MB em disco. A abordagem comprime com sucesso conjuntos de texturas de $4096 \times 4096$ em uma representação neural (formato BCF1) que pode ser decodificada em tempo real.
• Generalização: O sistema produz resultados de alta qualidade para conjuntos de texturas não presentes nos dados de treinamento, validando que a hiperrede aprende um mapeamento generalizável em vez de sofrer overfitting a ativos específicos.

Significância

O artigo afirma que esta abordagem representa um passo significativo para tornar a compressão de textura neural prática para aplicações de tempo real. Ao deslocar o fardo computacional de uma fase de otimização por material (que é lenta e não escalável) para o treinamento único de uma hiperrede, o método permite a geração rápida de materiais neurais comprimidos. Além disso, a capacidade de reaproveitar a mesma arquitetura para super-resolução e cenários de decodificador compartilhado destaca a flexibilidade da abordagem de hiperrede para abordar diversos desafios em representação de materiais e renderização.