Resumen Técnico: Compresión de Texturas Neurales mediante Hiperredes

Declaración del Problema

El Renderizado Basado en la Física (PBR) depende de múltiples mapas de textura (por ejemplo, difusa, normal, rugosidad) para simular interacciones materiales realistas. Estos mapas consumen un almacenamiento y un ancho de banda significativos, particularmente en aplicaciones en tiempo real como los videojuegos. Aunque los métodos recientes de compresión de texturas neurales (NTC) han demostrado la capacidad de aprender representaciones compactas por cada material utilizando Perceptrones Multicapa (MLP) y texturas latentes, sufren de un cuello de botella crítico: el tiempo de optimización. Los enfoques existentes requieren un proceso de optimización de descenso de gradiente separado y computacionalmente costoso para cada conjunto de texturas individual con el fin de encontrar las características latentes y los pesos del MLP óptimos. Esta optimización por material es lenta y dificulta la escalabilidad.

Metodología

El artículo propone un enfoque novedoso que reemplaza la optimización por material con una única hiperred entrenada. En lugar de optimizar los parámetros para cada conjunto de texturas de forma individual, la hiperred aprende a mapear cualquier conjunto de texturas de entrada directamente a su representación comprimida.

Arquitectura Central

El sistema consiste en una hiperred monolítica que toma un conjunto de texturas normalizado $T$ como entrada y genera dos componentes:

1. Características Latentes ($l_0, ..., l_N$): Un conjunto de texturas con compresión por bloques (específicamente utilizando la variante BCF1, que utiliza la compresión BC1).
2. Pesos del Decodificador ($wb$): Los pesos y sesgos para un pequeño decodificador MLP.

La reconstrucción se realiza mediante la fórmula:
$$\text{mlp}([l(i,j)_0, ..., l(i,j)_N]; wb) \simeq T_{i,j}$$

Diseño de la Red

Los autores utilizan una arquitectura de Transformador de Difusión (DiT) con mecanismos de atención cruzada, estructurada en tres bloques principales:

• t-Encoder: Un módulo mixto de convolución y atención que reduce la escala del conjunto de texturas de entrada y extrae un conjunto de tokens globales ($t$). Estos tokens representan las características globales del material.
• Bloques DiT: La unidad de procesamiento central aplica atención cruzada entre los tokens de imagen (derivados de bloques de texels de $4\times4$ de la entrada) y los tokens latentes ($t$). Esto permite que la red correlacione los detalles locales de la textura con las propiedades globales del material.
• Módulo de Conversión BC1: La etapa final decodifica los tokens en los resultados específicos:
  • Una capa lineal convierte los tokens latentes en los pesos del MLP ($wb$).
  • Un módulo especializado convierte los tokens de imagen en texturas latentes BC1 ($l_i$). Esto implica remodelar los tokens, aplicar convoluciones para generar 22 canales (que representan los puntos finales RGB y los parámetros de mezcla) y aplicar funciones sigmoides con desplazamientos para evitar el colapso de los puntos finales durante la cuantización.

Estrategia de Entrenamiento

La hiperred se entrena en un conjunto de datos de diversos conjuntos de texturas (de Polyhaven y Sketchfab) utilizando una mezcla de norma $L_1$ y una métrica de pérdida perceptual DISTS. El objetivo de entrenamiento minimiza la diferencia entre el conjunto de texturas original y el conjunto reconstruido por el MLP utilizando los pesos y latentes predichos por la hiperred. El modelo se entrena para generalizar a través de diferentes materiales sin requerir el descenso de gradiente por material.

Contribuciones Clave

1. Hiperred para NTC: La introducción de una única hiperred que genera tanto las características latentes como los pesos del decodificador para cualquier material dado, eliminando la necesidad de optimización por material.
2. Calidad y Eficiencia: El método logra una calidad de compresión comparable a los compresores de texturas neurales de referencia actuales (que dependen del descenso de gradiente), pero reduce significativamente el tiempo requerido para generar las representaciones comprimidas.
3. Versatilidad y Reutilización: El artículo demuestra que la hiperred entrenada puede adaptarse para tareas más allá de la compresión estándar:
   • MLPs Compartidos: La red puede ajustarse para producir un único MLP compartido para todos los conjuntos de texturas, de modo que solo varíen las texturas latentes. Esto simplifica la ejecución en tiempo de ejecución al eliminar la necesidad de clasificación basada en teselas para homogeneizar los grupos de trabajo (workgroups).
   • Super-Resolución: Al entrenar la red con entradas de escala reducida ($T^l$) y objetivos de resolución completa ($T^h$), la hiperred aprende a inferir detalles de alta frecuencia, realizando efectivamente la super-resolución para SVBRDFs incluso cuando no hay una verdad de campo de alta resolución disponible durante la inferencia.

Resultados

• Cualitativos: Las comparaciones visuales muestran que los resultados descomprimidos preservan los detalles de alta frecuencia (como arañazos y vetas de madera) y son visualmente indistinguibles de la entrada en diversos escenarios, incluyendo materiales vistos durante el entrenamiento, materiales en el conjunto de prueba y materiales completamente ajenos al conjunto de entrenamiento. Esto confirma las fuertes capacidades de generalización del modelo.
• Cuantitativos/Rendimiento: Los autores informan que sus pesos de modelo no cuantizados ocupan 294 MB en disco. El enfoque comprime con éxito conjuntos de texturas de $4096 \times 4096$ en una representación neural (formato BCF1) que puede ser decodificada en tiempo real.
• Generalización: El sistema produce resultados de alta calidad para conjuntos de texturas no presentes en los datos de entrenamiento, validando que la hiperred aprende un mapeo generalizable en lugar de sobreajustarse a activos específicos.

Significado

El artículo afirma que este enfoque representa un paso significativo para hacer práctica la compresión de texturas neurales en aplicaciones de tiempo real. Al desplazar la carga computacional de una fase de optimización por material (que es lenta y no escalable) hacia el entrenamiento único de una hiperred, el método permite la generación rápida de materiales neurales comprimidos. Además, la capacidad de reutilizar la misma arquitectura para la super-resolución y escenarios de decodificador compartido resalta la flexibilidad del enfoque de la hiperred para abordar diversos desafíos en la representación y el renderizado de materiales.