💻 computer science

LumiTokens: 3D Relighting via Token-Space Lighting Transformation

LumiTokens es un novedoso marco de reluminación 3D que evita la descomposición explícita de materiales y las ecuaciones de renderizado al transformar directamente tokens de escena latentes compactos en imágenes reluminadas a través de un editor basado en autoatención, permitiendo ediciones de iluminación unificadas, progresivas y composibles para diversas fuentes de luz.

Autores originales: Yiwen Chen, Matheus Gadelha, Huaizu Jiang

Publicado 2026-08-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yiwen Chen, Matheus Gadelha, Huaizu Jiang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina tomar una fotografía de un personaje en un estudio de cine o de un producto en un laboratorio y querer colocarlo en un mundo completamente diferente. Podrías querer que ese personaje esté bajo el cálido resplandor de un atardecer o que ese producto repose sobre un mostrador de cocina iluminado por una ventana matutina. Durante décadas, los gráficos por computadora han luchado con esta tarea. Para hacer que un objeto 3D parezca real bajo una nueva luz, los métodos tradicionales requerían un proceso laborioso de ingeniería inversa del objeto. Los artistas y los algoritmos tenían que despojar al objeto de sus capas para descubrir su forma, su textura y qué tan brillante o rugosa era su superficie. Solo después de resolver este complejo rompecabezas podían reensamblar la imagen bajo una nueva luz. Este enfoque era lento, a menudo requería cientos de fotos para funcionar correctamente y estaba limitado por la capacidad del ordenador para adivinar las propiedades físicas del material.

Una nueva ola de tecnología ha intentado resolver esto utilizando la inteligencia artificial para simplemente adivinar cómo debería verse la nueva imagen, de forma muy parecida a como un pintor improvisa una escena. Si bien estos métodos pueden crear resultados hermosos, a menudo tienen dificultades para mantener la consistencia del objeto cuando se observa desde diferentes ángulos. Si mueves la cámara alrededor del objeto, la iluminación puede parecer correcta desde un lado pero incorrecta desde otro, rompiendo la ilusión de un mundo 3D sólido. Además, cambiar la luz solía significar empezar todo el proceso de pintura desde cero. No había forma de guardar el estado del objeto y simplemente añadir una nueva lámpara o mover el sol sin regenerarlo todo.

Investigadores de la Universidad Northeastern y Adobe Research han introducido un nuevo enfoque llamado LumiTokens que cambia nuestra forma de pensar sobre este problema. En lugar de intentar averiguar la forma física de un objeto o adivinar la imagen final píxel por píxel, su sistema trata toda la escena 3D como un conjunto compacto de tokens digitales. Piensa en estos tokens como un resumen altamente eficiente y comprimido del objeto que contiene toda su geometría y apariencia, pero sin estar ligado a ninguna descripción física específica como un modelo 3D o una cuadrícula de puntos. Los investigadores descubrieron que podían manipular este resumen directamente. Al alimentar al sistema con la descripción de una nueva fuente de luz, podían transformar estos tokens para que reflejaran las nuevas condiciones de iluminación y luego decodificar el resultado en una imagen nueva y de alta calidad.

El núcleo de este método es una herramienta que llaman Scene Token Editor (Editor de Tokens de Escena). Este componente toma el resumen comprimido de la escena y la descripción de la nueva luz, y los combina utilizando un mecanismo similar a cómo un motor de búsqueda conecta ideas relacionadas. El sistema no necesita conocer las coordenadas 3D exactas del objeto ni la física de cómo la luz rebota en una superficie. En su lugar, aprende a ajustar los tokens para que, cuando se conviertan de nuevo en una imagen, las sombras caigan correctamente, los brillos destellen en los lugares adecuados y los reflejos parezcan naturales. Crucialmente, este proceso funciona para muchos tipos diferentes de luz, ya sea un cielo amplio, una única bombilla puntual o un gran panel brillante. El sistema convierte todas estas diferentes fuentes de luz en un lenguaje común de rayos de luz, lo que le permite manejarlas de manera uniforme.

Una de las capacidades más significativas de este nuevo sistema es que permite la edición progresiva. Debido a que el sistema trabaja sobre el resumen comprimido en lugar de la imagen final, un usuario puede construir una escena de iluminación fuente por fuente. Pueden comenzar con un entorno base, añadir una luz principal y luego añadir una luz de relleno, con cada paso modificando el mismo resumen subyacente. El sistema recuerda los cambios realizados en el paso anterior, por lo que el usuario no tiene que empezar de cero o recalcular toda la escena con cada nueva adición. Esto crea un flujo de trabajo fluido donde la iluminación puede diseñarse de forma incremental, de forma muy parecida a añadir ingredientes a un plato, manteniendo al mismo tiempo un aspecto consistente desde cualquier ángulo.

Los investigadores probaron su sistema en miles de objetos 3D, que iban desde formas simples hasta modelos complejos con superficies brillantes y transparentes. Encontraron que su método producía imágenes tan nítidas y precisas como las mejores técnicas existentes y, en muchos casos, superiores. Cuando compararon sus resultados con otros métodos que dependen de adivinar la imagen final o aquellos que intentan realizar la ingeniería inversa de la física, LumiTokens mostró menos errores en cómo la luz interactuaba con el objeto. Evitó errores comunes como sombras inconsistentes o una iluminación que se veía diferente dependiendo del ángulo de la cámara. El sistema fue capaz de tomar solo un puñado de fotos de un objeto y volver a iluminarlo bajo condiciones que nunca había visto antes, produciendo resultados que parecían físicamente plausibles.

Este trabajo sugiere un nuevo camino a seguir para la creación de activos 3D para películas, videojuegos y realidad virtual. Al alejarse de la necesidad de definir explícitamente los materiales físicos o ejecutar pesadas simulaciones físicas, los investigadores han demostrado que la iluminación puede tratarse como una transformación directa de la esencia digital de una escena. El sistema no pretende comprender la física de la luz de la misma manera que un físico humano, pero ha aprendido a imitar el resultado visual de forma tan efectiva que la diferencia es invisible al ojo. Este enfoque ofrece una forma más rápida y flexible de traer objetos digitales a nuevos mundos, permitiendo a los creadores ajustar el estado de ánimo y la atmósfera de una escena con un nivel de control que antes era difícil de lograr.

Resumen Técnico: LumiTokens: Reluminación 3D mediante la Transformación de Iluminación en el Espacio de Tokens

Planteamiento del Problema

La reluminación 3D —la capacidad de renderizar una escena reconstruida bajo una iluminación objetivo arbitraria— es un paso crítico para el despliegue de activos 3D en aplicaciones prácticas como la producción cinematográfica, los videojuegos y el comercio electrónico. Los enfoques existentes para este problema generalmente se dividen en tres categorías, cada una con compromisos significativos:

Renderizado Inverso (Inverse Rendering): Estos métodos recuperan representaciones 3D explícitas (geometría, normales, albedo, rugosidad) y reevalúan las ecuaciones de renderizado. Aunque son consistentes multi-vista, requieren capturas densas, optimizaciones costosas por cada escena y están limitados por la expresividad de sus modelos BRDF elegidos.
Generación Basada en Difusión: Estos métodos aprovechan los modelos de difusión como prioris de apariencia para sintetizar vistas reluminadas. Aunque producen efectos realistas, típicamente operan en el espacio de vista o de video sin una representación de escena compartida y persistente. En consecuencia, cada cambio de iluminación requiere un pase generativo completo, y las ediciones de iluminación no se acumulan.
Enfoques Híbridos: Combinan la codificación de geometría feed-forward con la síntesis de apariencia generativa. Aunque evitan la optimización por escena, siguen dependiendo de parametrizaciones 3D explícitas (como 3DGS) y ramas generativas que deben ejecutarse nuevamente para cada nueva condición de iluminación.

Una limitación común en todos los paradigmas existentes es que las ediciones de iluminación no se mantienen como actualizaciones incrementales de una representación de escena persistente. Este artículo observa que las representaciones de escenas latentes recientes, que codifican imágenes multi-vista en tokens compactos sin semántica física fija, ofrecen un nuevo espacio de diseño donde la reluminación puede formularse como una transformación directa en el espacio latente.

Metodología

Los autores proponen LumiTokens, un marco basado en transformadores que realiza la reluminación 3D enteramente dentro de un espacio de tokens de escena aprendido, evitando la representación 3D explícita, las ecuaciones de renderizado y la descomposición basada en la física.

Visión General de la Arquitectura

El marco consta de tres componentes principales:

Codificador (Encoder): Un transformador que mapea un conjunto disperso de imágenes multi-vista con pose (y sus incrustaciones de rayos Plücker) en un conjunto compacto y de tamaño fijo de tokens de escena unidimensionales no estructurados ( $z$ ).
Editor de Tokens de Escena (Scene Token Editor): Un módulo de transformador que realiza la operación de reluminación. Toma los tokens de la escena ( $z$ ) y un conjunto de tokens de rayos de luz ( $\ell$ ) como entrada. A través de la auto-atención, el editor procesa conjuntamente los tokens de escena y de luz para producir tokens de escena actualizados ( $z'$ ). Crucialmente, la salida permanece en el mismo espacio latente que la entrada, lo que permite una edición persistente.
Decodificador (Decoder): Un transformador condicionado por rayos que renderiza nuevas vistas a partir de los tokens de la escena. Utiliza una cabeza DPT para reensamblar los tokens de salida en imágenes densas de alta resolución, asegurando texturas nítidas y detalles de alta frecuencia.

Tokenización de la Señal de Luz

Para soportar diversos tipos de iluminación a través de una interfaz unificada, todas las señales de iluminación se parametrizan como tokens de rayos Plücker. La iluminación se discretiza en una colección de rayos de luz muestreados desde la fuente hacia la escena. Cada token de luz se define por su geometría de rayo (coordenadas Plücker), intensidad espectral y potencia radiante. Esta representación unificada acomoda:

Mapas de Entorno (Environment Maps): Modelados como rayos direccionales con momento cero.
Luces Puntuales (Point Lights): Modeladas como rayos que se originan desde una posición 3D específica.
Luces de Área (Area Lights): Modeladas como rayos muestreados a través de una superficie emisora.

Esta tokenización permite la interacción nativa del usuario en 3D (por ejemplo, colocar una luz puntual en una coordenada específica) a pesar de que el espacio latente carece de una estructura espacial explícita.

Reluminación Progresiva

Una característica clave de LumiTokens es la reluminación progresiva. Debido a que la salida del editor ( $z'$ ) permanece en el mismo espacio latente que su entrada ( $z$ ), los usuarios pueden construir la iluminación de forma incremental, una fuente de luz a la vez. El proceso de edición sigue una recurrencia:
$z^{(s)} = T(z^{(s-1)}, \ell^{(s)})$
donde $z^{(s)}$ es el estado de la escena después de $s$ ediciones. Esto permite que las ediciones de iluminación se compongan en el espacio de tokens sin requerir la re-codificación, la reevaluación de las ecuaciones de renderizado o la regeneración de las vistas en cada paso.

Objetivos de Entrenamiento

El modelo se entrena optimizando el codificador y el Editor de Tokens de Escena de forma conjunta, manteniendo congelado un decodificador pre-entrenado. La pérdida de entrenamiento combina:

Pérdida de Renderizado ( $\mathcal{L}_{render}$ ): Una combinación de pérdida $\ell_2$ por píxel y pérdida perceptual LPIPS, que supervisa la salida decodificada contra las imágenes reluminadas de verdad de campo (ground-truth). Para soportar la edición progresiva, el modelo se entrena sobre cadenas aleatorias de señales de iluminación, aplicando la pérdida en cada paso de la secuencia para prevenir el desvío de la distribución (distributional drift).
Pérdida de Invarianza de Iluminación ( $\mathcal{L}_{inv}$ ): Esta pérdida penaliza las diferencias en los tokens codificados cuando la misma escena es capturada bajo diferentes iluminaciones de origen. Esto incentiva al codificador a factorizar los efectos de la iluminación de origen, asegurando que los tokens de la escena capturen la identidad persistente (geometría y materiales) mientras el editor gestiona las variaciones dependientes de la luz.

Principales Contribuciones

Reluminación de Tokens Latentes: El artículo demuestra que la reluminación 3D puede realizarse como una transformación directa en un espacio de tokens de escena aprendido, eliminando la necesidad de representaciones 3D explícitas, ecuaciones de renderizado o descomposición basada en la física.
Editor de Tokens de Escena: La introducción de un módulo de transformador que realiza la reluminación mediante auto-atención entre los tokens de la escena y los tokens de rayos Plücker. Esto soporta una interfaz unificada para mapas de entorno, luces puntuales y luces de área, permitiendo la interacción nativa de usuario en 3D.
Edición Progresiva y Componible: La formulación soporta la reluminación progresiva donde las ediciones de iluminación se componen en el espacio de tokens. Esto permite un diseño de iluminación incremental, una capacidad que los paradigmas existentes solo pueden lograr mediante la recomputación total en cada paso.

Resultados Experimentales

Los autores evalúan LumiTokens en un conjunto de datos sintético a gran escala (20k objetos de Objaverse) y lo comparan con métodos de vanguardia.

Reluminación Multi-vista: LumiTokens logra un rendimiento cuantitativo superior comparado con las líneas base de difusión (Neural Gaffer, DiffusionRenderer, LightSwitch) en términos de PSNR, SSIM y LPIPS. Preserva la apariencia y los efectos de iluminación de manera consistente a través de las vistas, mientras que las líneas base exhiben artefactos como iluminación residual de la fuente e iluminaciones especulares inconsistentes.
Reluminación de Nueva Vista: Al ser evaluado en puntos de vista no vistos, LumiTokens supera a los métodos de renderizado inverso (TensoIR, NVDiffrecMC) y al método de difusión multi-vista (LightSwitch). Notablemente, LumiTokens logra estos resultados utilizando significativamente menos vistas de entrada (8) en comparación con las líneas base de renderizado inverso (50 vistas) y la línea base de difusión LightSwitch (16 vistas).
Desempeño Cualitativo: Las comparaciones visuales muestran que LumiTokens maneja con éxito escenarios de iluminación complejos, incluyendo sombras entre objetos y reflejos, y soporta la adición progresiva de fuentes de luz (por ejemplo, añadir un mapa de entorno, luego una luz puntual, luego una luz de área) con alta fidelidad.

Significado y Reivindicaciones

El artículo afirma que LumiTokens representa un cambio fundamental en los paradigmas de reluminación. Al tratar la reluminación como una transformación sobre los tokens de escena latentes en lugar de un problema de descomposición o generación, el método logra:

Persistencia: Las ediciones de iluminación se acumulan en un estado de escena reutilizable sin necesidad de regeneración.
Eficiencia: Evita el costo computacional de la optimización por escena o de los pases de difusión completos para cada cambio de iluminación.
Flexibilidad: Soporta diversos tipos de iluminación y edición progresiva a través de una interfaz de tokens unificada.

Los autores señalan que, si bien trabajos previos han utilizado tokens latentes para la síntesis de vistas, este es el primer trabajo que demuestra que tales representaciones pueden soportar la reluminación mediante transformaciones directas y componibles en el espacio de tokens. El enfoque aborda el desafío de mantener transformaciones de iluminación coherentes en un espacio donde la geometría y la apariencia están entrelazadas, permitiendo una nueva forma de edición 3D interactiva.