Resumen Técnico: Aprendizaje de la Asignación Adaptativa de Gaussianas para la Superresolución de Imágenes de Escala Arbitraria

1. Definición del Problema

Los métodos tradicionales de Superresolución (SR) suelen estar diseñados para factores de escala enteros fijos (p. ej., $\times 2, \times 4$). Sin embargo, las aplicaciones del mundo real como el compositing de VFX, el renderizado de resolución personalizada y la VR foveada requieren un escalado a escalas arbitrarias y no enteras. Los enfoques actuales de SR de Escala Arbitraria (ASR) enfrentan dos limitaciones principales:

1. Ineficiencia de la Representación Continua: Las Representaciones Neuronales Implícitas (INR) decodifican coordenadas continuas mediante MLPs, pero la consulta exhaustiva píxel por píxel crea cuellos de botella computacionales severos en resoluciones altas.
2. Asignación Uniforme de Recursos: Las adaptaciones recientes de Gaussian Splatting 2D para ASR (p. ej., GaussianSR, GSASR) aplican una estrategia de densificación uniforme. Asignan el mismo presupuesto de Gaussianas tanto a fondos planos como a texturas intrincadas. Esto ignora la adaptabilidad inherente de las Gaussianas, lo que conduce a una sobrecarga computacional y un uso de memoria innecesarios, fallando al no concentrar los recursos donde la complejidad estructural lo demanda.

Además, la transición de GS hacia un modelo de ASR de alimentación directa (feed-forward) no es trivial. La optimización estándar de GS depende de gradientes de alta resolución de la verdad fundamental (ground-truth) para impulsar el crecimiento de las primitivas. En un entorno de ASR de alimentación directa, esta alta resolución no está disponible durante la inferencia; la red debe predecir autónomamente la densificación de Gaussianas necesaria directamente desde la entrada de baja resolución (LR).

2. Metodología: QuADA-GS

Los autores proponen QuADA-GS (Quadtree Adaptive Gaussian Splatting), un marco que asigna dinámicamente las primitivas Gaussianas basándose en la complejidad local de la imagen y la escala objetivo. La arquitectura consta de cuatro etapas principales:

2.1 Extracción de Características y Refinamiento Condicionado por Escala

La imagen LR de entrada es procesada por un backbone agnóstico al codificador para extraer características. Para manejar escalas arbitrarias, la red emplea segmentación basada en ventanas (window-based tiling) con incrustaciones (embeddings) de Gaussianas invariantes a la resolución. Estas incrustaciones se refinan mediante un mecanismo de atención de doble etapa:

• Atención Cruzada Condicionada por Escala: Modula las incrustaciones utilizando una incrustación de escala aprendida ($e_s$) derivada de la escala inversa objetivo ($1/s$) y recopila el contexto local de la imagen mediante Atención Cruzada de Ventana (Window Cross-Attention).
• Auto-Atención de Gaussianas: Asegura la coherencia espacial y evita artefactos de superposición mediante comunicación interna vía Auto-Atención de Ventana con partición de ventana desplazada (shifted-window partitioning).

2.2 Arquitectura de Enrutamiento Neuronal (Asignación Dinámica de Presupuesto)

En lugar de un upsampling uniforme, una Arquitectura de Enrutamiento Neuronal Diferenciable analiza las características latentes refinadas para determinar el factor de expansión óptimo para cada píxel.

• Enrutamiento Discreto: El enrutador predice una distribución de probabilidad sobre tres niveles de upsampling ($L_0, L_1, L_2$), que corresponden a dividir una característica en 4, 16 o 64 hijos (Gaussianas).
• Diferenciabilidad: Se utiliza el truco de Gumbel-Softmax y el Estimador de Paso Directo (Straight-Through Estimator, STE) para muestrear decisiones de enrutamiento discretas manteniendo el flujo de gradientes.
• Restricciones de Presupuesto: Para evitar la sobre-asignación (predecir la densidad máxima en todas partes) o la sub-asignación, el modelo utiliza un Tensor de Estructura computado desde la verdad fundamental durante el entrenamiento. Esto genera un "mapa de estructura" que representa la complejidad local (bordes vs. texturas). Una pérdida de emparejamiento de presupuesto ($L_{budget}$) obliga al costo total predicho por el enrutador a alinearse con la complejidad estructural global de la imagen objetivo, otorgando al enrutador autonomía espacial para distribuir el presupuesto donde minimice el error de renderizado.

2.3 Convolución de Puntero Jerárquico (HPC)

El enrutamiento dinámico crea una topología de densidad variable y no basada en rejilla (que se asemeja a un quadtree), lo que rompe las convoluciones de rejilla estándar. Para permitir una comunicación espacial eficiente a través de estas densidades variables sin la sobrecarga de memoria de las operaciones densas o la complejidad de las tablas hash dispersas, los autores introducen la Convolución de Puntero Jerárquico (HPC).

• Rejilla de Punteros: Una rejilla de índice densa y ligera almacena identificadores escalares para las características en su nivel jerárquico actual.
• Búsqueda O(1): La HPC recupera los vecinos topológicos muestreando la Rejilla de Punteros en los límites de la huella de una característica utilizando desplazamientos adaptativos. Esto permite al sistema recopilar vecinos independientemente de su nivel de resolución en tiempo constante.
• Actualización Dispersa: Las características se actualizan residualmente mediante la fusión de los vecinos recopilados, permitiendo una coordinación fluida entre las características de fondo gruesas y los detalles finos.

2.4 Predicción de Gaussianas y Rasterización

Las características coordinadas se decodifican en primitivas Gaussianas 2D (posición, covarianza, opacidad, color).

• Modulación Consciente del Nivel: Un MLP compartido predice los parámetros de las Gaussianas, pero los límites físicos (desviaciones estándar) se desacoplan de la salida del MLP mediante factores de modulación conscientes del nivel ($m_{l_i}$) para estabilizar el entrenamiento a través de diferentes niveles de expansión.
• Rasterización Continua: Las primitivas se rasterizan directamente en un espacio normalizado continuo, lo que permite el renderizado independiente de la escala de resoluciones de salida arbitrarias.
• Funciones de Pérdida: La pérdida total combina el error de renderizado, la pérdida de emparejamiento de presupuesto y una Pérdida de Calidad de Enrutamiento ($L_{rout}$). $L_{rout}$ penaliza al enrutador por asignar niveles gruesos a regiones con alto error de reconstrucción espacial, asegurando que los detalles finos se asignen donde son necesarios.

3. Contribuciones Clave

1. Arquitectura de Enrutamiento Neuronal: Un módulo que define dinámicamente un presupuesto de Gaussianas 2D y lo asigna espacialmente basado en la complejidad de la entrada, reemplazando la densificación uniforme rígida con una topología inspirada en quadtrees.
2. Convolución de Puntero Jerárquico (HPC): Un operador novedoso que logra una complejidad de $O(1)$ para la búsqueda de vecinos topológicos. Facilita la coordinación de características eficiente en topologías de densidad variable, evitando los cuellos de botella de memoria de los operadores densos o tradicionales dispersos.
3. Rendimiento de SOTA en ASR: QuADA-GS alcanza una calidad de textura y fidelidad perceptiva superiores, manteniendo una huella de memoria ligera en comparación con competidores densos. Permite escalar a conteos masivos de Gaussianas que causarían fallos de falta de memoria (out-of-memory) en modelos de rejilla uniforme.

4. Resultados Experimentales

El modelo fue entrenado en el conjunto de datos DIV2K y evaluado en benchmarks estándar (Urban100, Set5, Set14, etc.) en escalas desde $\times 2$ hasta $\times 30$.

• Calidad de Reconstrucción: QuADA-GS establece un nuevo estado del arte en las métricas PSNR, SSIM, LPIPS y DISTS, particularmente en el conjunto de datos rico en estructuras Urban100. Supera a los métodos implícitos (LIIF, Meta-SR) y otros enfoques basados en GS (GaussianSR, GSASR).
• Escalas Extremas: Incluso en factores de upsampling extremos ($\times 16, \times 24, \times 30$), donde las señales de entrada están severamente degradadas, QuADA-GS sigue siendo el método basado en GS más competitivo, extrayendo información estructural superior comparado con los baselines implícitos.
• Eficiencia:
  • Velocidad: Al emplear un paradigma de "índice denso, cómputo disperso", QuADA-GS logra aproximadamente un 61% más de velocidad de inferencia y una reducción de memoria del 35% en comparación con los baselines de upsampling denso.
  • Comparación: Aunque inherentemente requiere más VRAM que el modelo de rejilla rígida GSASR (debido a un mayor conteo total de Gaussianas para una mejor fidelidad), es significativamente más rápido que los métodos implícitos que escalan pobremente con la resolución de destino.
• Estudios de Ablación:
  • Enrutamiento: El enrutamiento neuronal aprendido supera a los mapas de estructura heurísticos.
  • HPC: La eliminación de los bloques HPC degrada severamente la calidad al impedir la coordinación espacial.
  • Modulación: La modulación consciente del nivel es crítica para un entrenamiento estable a través de diferentes escalas de expansión.
  • Backbone: Se demuestra que RDN es más efectivo que EDSR para extraer las características de alta frecuencia necesarias.

5. Significación y Afirmaciones

El artículo afirma que QuADA-GS logra cerrar la brecha entre la capacidad de representación continua de Gaussian Splatting y los requisitos de eficiencia de la superresolución de escala arbitraria. Al alejarse del procesamiento uniforme, el modelo imita la atención visual humana, concentrando los recursos computacionales estrictamente donde la complejidad estructural lo demanda.

Los autores enfatizan que su enfoque rompe la rigidez de los métodos de ASR de rejilla fija. La introducción de la Convolución de Puntero Jerárquico se destaca como un habilitador crítico, permitiendo una comunicación espacial eficiente en topologías de densidad variable sin costos de memoria prohibitivos. Si bien el método mejora significamente la velocidad y el uso de memoria respecto a los baselines densos, los autores señalan modestamente que mitigar la sobrecarga absoluta de memoria sigue siendo un foco para el trabajo futuro, ya que la topología de quadtree aún asigna un número total de Gaussianas mayor que las rejillas uniformes para asegurar una fidelidad superior.