💻 computer science

VENI: Variational Encoder for Natural Illumination

El artículo propone VENI, un autoencoder variacional con equivariancia de rotación que utiliza un novedoso Transformer de Visión de Neurona Vectorial y un campo neuronal condicional para modelar la iluminación natural en una esfera sin proyecciones 2D, logrando así un espacio latente bien comportado con una interpolación más suave en comparación con los métodos existentes.

Autores originales: Paul Walker, James A. D. Gardner, Andreea Ardelean, William A. P. Smith, Bernhard Egger

Publicado 2026-06-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Paul Walker, James A. D. Gardner, Andreea Ardelean, William A. P. Smith, Bernhard Egger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando realizar ingeniería inversa de una fotografía. Tienes la imagen de una escena, pero no sabes cómo era el sol, dónde estaban las nubes o qué hora del día era. Esto se llama "renderizado inverso" (inverse rendering), y es un rompecabezas complicado porque muchas configuraciones de iluminación diferentes podrían crear exactamente la misma imagen.

Para resolver esto, las computadoras suelen necesitar un "libro de reglas" o un prior (un conocimiento previo): un conjunto de expectativas aprendidas sobre cómo se comporta la luz natural. Por ejemplo, sabemos que el sol suele estar arriba, no abajo, y que la luz proviene de un rango limitado de colores.

El artículo presenta una nueva herramienta llamada VENI (Variational Encoder for Natural Illumination). Así es como funciona, explicado mediante analogías sencjas:

El problema con la forma antigua (RENI++)

Antes de VENI, la mejor herramienta para este trabajo era una llamada RENI++. Piensa en RENI++ como un escultor ciego que intenta recrear una estatua basándose en una foto.

El problema: Cada vez que el escultor comienza una nueva estatua (una nueva imagen), toma un trozo de arcilla al azar (un "código latente" aleatorio) y comienza a cincelar.
El fallo: Debido a que siempre comienza con un trozo de arcilla diferente, dos fotos muy similares podrían terminar con trozos de arcilla completamente distintos. Peor aún, el escultor podría hacer accidentalmente que la misma estatua parezca dos trozos de arcilla totalmente diferentes. Esto hace que la "biblioteca de arcilla" sea desordenada y confusa. Si intentas mezclar dos trozos de arcilla para hacer una nueva estatua, el resultado podría ser un desastre extraño y roto.

La solución de VENI: Una biblioteca inteligente y organizada

VENI cambia las reglas del juego al actuar como un bibliotecario inteligente en lugar de un escultor ciego.

El Codificador (El Bibliotecario): Cuando VENI ve una foto, no adivina. Tiene un sistema especial que observa instantáneamente la imagen y encuentra el "trozo de arcilla" exacto (código latente) de su biblioteca organizada para representar esa iluminación específica.
Bruto
El Decodificador (El Escultor): Una vez que tiene el trozo de arcilla correcto, utiliza una impresora 3D especial (un campo neuronal) para recrear el entorno de iluminación perfectamente.

El ingrediente secreto: Rotación y pensamiento 3D

El artículo destaca dos trucos principales que VENI utiliza para ser mejor que la competencia:

1. La regla del "Peonza" (Equivariancia de rotación)
Imagina un peonza (trompo). Si lo haces girar, el peonza se ve diferente desde el lateral, pero sigue siendo el mismo peonza. La iluminación natural funciona de la misma manera. Si rotas una habitación 90 grados, la iluminación cambia, pero las reglas de cómo se comporta la luz siguen siendo las mismas.

Los modelos antiguos a menudo tenían que tomar una esfera de luz 3D y aplastarla sobre un papel 2D (como un mapa), y luego intentar aprender de ella. Este aplastamiento crea distorsiones (como cuando Groenlandia parece enorme en un mapa plano).
VENI trabaja directamente en el espacio 3D. Trata la luz como un peonza. Utiliza un cerebro de "Neurona Vectorial" especial que entiende que si rotas la entrada, la salida simplemente debe rotar también, sin confundirse ni distorsionarse. Es como aprender a bailar girando realmente, en lugar de intentar aprender pasos de baile a partir de un dibujo plano.

2. La "Brújula Mágica" (Equivariancia SO(2))
Los autores se dieron cuenta de que, si bien la luz puede girar alrededor del eje vertical (como la aguja de una brújula), no tiene sentido que la luz se voltee boca abajo o se incline hacia los lados en una escena exterior natural.

Construyeron una capa especial en su IA que es lo suficientemente inteligente como para saber: "Está bien, girar hacia la izquierda y la derecha está bien, pero no permitas que los colores o la dirección 'hacia arriba' se vean afectados". Esto hace que el modelo sea mucho más eficiente y preciso.

Por qué VENI es mejor

El artículo demuestra que VENI gana en dos formas principales:

Una biblioteca ordenada (Unicidad): En el método antiguo, dos fotos similares podrían obtener dos "códigos de arcilla" totalmente diferentes. En VENI, dos fotos similares obtienen dos códigos muy similares. Esto significa que la "biblioteca" está organizada. Si buscas un código, sabes exactamente qué iluminación representa.
Mezcla suave (Interpolación): Debido a que la biblioteca está organizada, puedes tomar el código de un "Amanecer" y el código del "Mediodía" y mezclarlos.
- Método antiguo: Mezclarlos podría crear un artefacto extraño, como si un sol apareciera de la nada en medio del cielo.
- VENI: Mezclarlos crea una transición suave y realista donde el sol se mueve naturalmente a través del cielo y los colores cambian suavemente de naranja a azul.

Resumen

VENI es un nuevo sistema de IA que aprende cómo funciona la luz natural tratando la luz como un objeto 3D que puede girar, en lugar de una imagen plana y distorsionada. Organiza su conocimiento para que luces similares tengan "IDs" similares, lo que le permite transicionar suavemente entre diferentes momentos del día sin crear extraños fallos visuales. Es una forma más fiable, organizada y matemáticamente sólida para que las computadoras comprendan la iluminación de nuestro mundo.

Resumen Técnico: VENI: Codificador Variacional para la Iluminación Natural

Planteamiento del Problema

El renderizado inverso es un problema mal planteado, ya que una sola imagen puede ser generada por múltiples combinaciones de forma, material e iluminación. Mientras que los humanos utilizan fuertes prioris aprendidos sobre los espacios de iluminación para resolver esto, los enfoques computacionales existentes a menudo fallan al modelar adecuadamente la iluminación natural. Los métodos actuales de vanguardia enfrentan dos limitaciones principales:

Falta de Equivarianza de Rotación: Muchos modelos descartan la naturaleza esférica y de rotación-equivarianza de los entornos de iluminación. Aunque algunos trabajos recientes (por ejemplo, RENI++) intentan abordar esto, a menudo dependen de proyecciones 2D (mapas equirectangulares o de cubos) que introducen distorsión, o bien no logran mantener la equivariancia en el codificador.
Propiedades Deficientes del Espacio Latente: Los prioris de rotación-equivariantes existentes, como RENI++, utilizan una arquitectura de "autodecodificador". En esta configuración, los códigos latentes se inicializan aleatoriamente para cada imagen y se optimizan conjuntamente con el modelo. Esto conduce a un espacio latente no único donde imágenes similares pueden estar representadas por códigos latentes muy diferentes. Además, este enfoque no escala a grandes conjuntos de datos porque se debe optimizar un nuevo código latente para cada imagen individual.

Metodología

Los autores proponen VENI (Codificador Variacional para la Iluminación Natural), un autoencoder variacional (VAE) de rotación-equivariante diseñado para modelar la iluminación natural en la esfera sin depender de proyecciones 2D. La arquitectura consta de tres componentes principales:

1. Capa Totalmente Conectada SO(2)-Equivariante

Para manejar las simetrías específicas de la iluminación natural al aire libre, los autores extienden el marco de trabajo de las Neuronas Vectoriales (Vector Neurons). Mientras que las Neuronas Vectoriales estándar proporcionan SO(3)-equivarianza, los entornos de iluminación natural poseen una dirección "arriba" canónica, lo que hace que solo las rotaciones alrededor del eje vertical (SO(2)) sean físicamente significativas. Los autores diseñan una nueva capa totalmente conectada SO(2)-equivariante que:

Separa la entrada en componentes equivariantes (dimensiones x, y) y componentes invariantes (dimensión z y color).
Combina operaciones invariantes y equivariantes dentro de una sola neurona.
Asegura que las dimensiones invariantes (color, eje vertical) permanezcan invariantes a las rotaciones del plano xy mientras siguen influyendo en las dimensiones equivariantes.
Se demuestra que esta capa supera a las Neuronas Vectoriales estándar cuando se aplica dentro de un modelo SO(2)-equivariante.

2. Codificador de Transformador de Visión de Neurona Vectorial (VN-ViT)

El núcleo del codificador es un Transformador de Visión adaptado para datos esféricos y rotación-equivarianza:

Representación de Entrada: En lugar de proyecciones 2D, el modelo opera directamente en el dominio 3D. Los parches se muestrean como franjas verticales en la esfera. Para mantener la equivariancia sin codificación posicional (lo cual rompería la misma), los valores de color se concatenan con los vectores de dirección 3D de los píxeles muestreados.
Arquitectura: Todos los componentes estándar de los ViT se reemplazan con sus contrapartes de Neurona Vectorial. Un "token de clase" aprendible se antepone a los embeddings de los parches; este token es aprendible únicamente en las dimensiones invariantes para preservar la equivariancia.
Salida: La salida del transformador se proyecta mediante dos capas totalmente conectadas SO(2)-equivariantes para producir la media ( $\mu$ ) y la varianza ( $\sigma$ ) para el código latente.

3. Muestreo Variacional y Decodificador de Rotación-Equivariante

Muestreo: Para asegurar que el espacio latente sea rotación-equivariante, los autores muestrean de una distribución normal esférica isotrópica 3D definida por un vector de media 3D y una varianza 1D, en lugar de muestrear tres distribuciones 1D independientes.
Decodificador: El modelo adopta el decodificador de RENI++, un campo neuronal condicional de rotación-equivariante. Toma un vector de dirección y el vector latente 3D como entrada para producir el color. El condicionamiento se logra codificando la dirección relativa al código latente y utilizando capas invariantes de Neurona Vectorial.

Estrategia de Entrenamiento

El modelo se entrena en una combinación de conjuntos de datos para manejar el rango dinámico completo de la luz natural:

Dataset RENI++: 1,694 imágenes equirectangulares HDR de alta calidad (escenas exteriores).
Dataset StreetLearn: 43,310 imágenes 360° LDR de Google Street View, convertidas a HDR.
Aprendizaje por Currículo: El modelo es preentrenado primero en el gran dataset StreetLearn y luego ajustado (fine-tuning) en el dataset más pequeño y de mayor calidad, RENI++.
Funciones de Pérdida: El entrenamiento utiliza una pérdida en el espacio logarítmico para coincidir con la percepción visual humana, un Error de Gradiente de Valor Absoluto Medio (MAGE) para capturar detalles de alta frecuencia, una pérdida invariante de escala, una pérdida de similitud de coseno para la precisión del color y un término de divergencia de Kullback-Leibler (KLD) ajustado para distribuciones 3D isotrópicas.

Principales Contribuciones

Nueva Arquitectura de Codificador: Un transformador de visión panorámica de rotación-equivariante (VN-ViT) habilitado por una nueva extensión SO(2)-equivariante de las Neuronas Vectoriales, permitiendo el procesamiento directo de señales esféricas sin la distorsión de la proyección 2D.
Espacio Latente Bien Comportado: Un prior de iluminación natural de rotación-equivariante que produce un espacio latente único, superando los problemas de no unicidad de los enfoques de autodecodificador como RENI++.
Escalabilidad: Al codificar imágenes mediante un paso hacia adelante (forward pass) en lugar de optimizar códigos latentes por imagen, el método escala a grandes conjuntos de datos.
Evaluación Exhaustiva: Evaluación extensa utilizando métricas intuitivas para la unicidad del espacio latente y la consistencia de la reconstrucción.

Resultados

El artículo evalúa VENI frente a RENI++ a través de varios aspectos de dimensiones latentes ( $D=27, 147, 300$ ):

Calidad de Reconstrucción: VENI supera a RENI++, particularmente en configuraciones de baja dimensión ( $D=27$ ), logrando mayores PSNR, SSIM y menores puntuaciones LPIPS tanto en espacios de tono mapeado LDR como en espacios lineales HDR.
Unicidad del Espacio Latente: Los autores demuestran que el espacio latente de VENI es significativamente más único. Cuando se optimizan dos códigos latentes para la misma imagen, la interpolación entre ellos produce resultados consistentes para VENI, mientras que RENI++ muestra una divergencia significativa (MSE de 0.04 vs 1.46 para $D=27$ ).
Interpolación: Los resultados cualitativos muestran que VENI permite interpolaciones suaves y semánticamente significativas (por ejemplo, la transición de un amanecer a el mediodía) sin introducir artefactos como fuentes de luz espurias o ruido, los cuales se observan en las interpolaciones de RENI++.
Escalabilidad: Los experimentos muestran que VENI mantiene el rendimiento cuando se entrena con el gran dataset StreetLearn, mientras que RENI++ (que requiere optimización por imagen) no puede escalar a tales conjuntos de datos de manera efectiva.

Significancia

El artículo afirma que VENI aborda limitaciones críticas en los prioris de iluminación natural actuales al combinar la rotación-equivarianza con un espacio latente estructurado y único. Al alejarse del paradigma del autodecodificador hacia un codificador variacional, el modelo asegura que imágenes similares se mapeen a códigos latentes similares, facilitando la interpolación suave y permitiendo el uso de conjuntos de datos a gran escala. Esto resulta en un prior más robusto para tareas de renderizado inverso, capaz de manejar las complejas regularidades estadísticas de la iluminación natural al aire libre respetando las restricciones físicas de la geometría esférica.