💻 computer science

LumiTokens: 3D Relighting via Token-Space Lighting Transformation

LumiTokens é um novo framework de relighting 3D que evita a decomposição explícita de materiais e equações de renderização ao transformar diretamente tokens de cena latentes compactos em imagens reluzentes através de um editor baseado em autoatenção, permitindo edições de iluminação unificadas, progressivas e composíveis para diversas fontes de luz.

Autores originais: Yiwen Chen, Matheus Gadelha, Huaizu Jiang

Publicado 2026-08-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yiwen Chen, Matheus Gadelha, Huaizu Jiang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine tirar uma fotografia de um personagem em um estúdio de cinema ou de um produto em um laboratório e querer colocá-lo em um mundo completamente diferente. Você pode querer que esse personagem esteja sob o brilho quente de um pôr do sol ou que esse produto esteja sobre um balcão de cozinha iluminado por uma janela matinal. Durante décadas, os gráficos computacionais lutaram com essa tarefa. Para fazer um objeto 3D parecer real sob uma nova luz, os métodos tradicionais exigiam um processo minucioso de engenharia reversa do objeto. Artistas e algoritmos tinham que remover as camadas da imagem para descobrir a forma do objeto, sua textura e o quão brilhante ou áspera era sua superfície. Somente após resolver esse complexo quebra-cabeça é que podiam remontar a imagem sob uma nova luz. Essa abordagem era lenta, muitas vezes exigia centenas de fotos para funcionar corretamente e era limitada pelo quão bem o computador conseguia adivinhar as propriedades físicas do material.

Uma nova onda de tecnologia tentou resolver isso usando inteligência artificial para simplesmente adivinhar como a nova imagem deveria ser, de forma muito semelhante a um pintor improvisando uma cena. Embora esses métodos possam criar resultados belos, eles frequentemente têm dificuldade em manter o objeto com uma aparência consistente quando visto de diferentes ângulos. Se você mover a câmera ao redor do objeto, a iluminação pode parecer correta de um lado, mas errada de outro, quebrando a ilusão de um mundo 3D sólido. Além disso, mudar a luz geralmente significava recomeçar todo o processo de pintura do zero. Não havia como salvar o estado do objeto e simplesmente adicionar uma nova lâmpada ou mover o sol sem regenerar tudo.

Pesquisadores da Northeastern University e da Adobe Research introduziram uma nova abordagem chamada LumiTokens que muda a forma como pensamos sobre este problema. Em vez de tentar descobrir a forma física de um objeto ou adivinhar a imagem final pixel por pixel, o sistema deles trata toda a cena 3D como um conjunto compacto de tokens digitais. Pense nesses tokens como um resumo altamente eficiente e comprimido do objeto, que contém toda a sua geometria e aparência, mas sem estar vinculado a nenhuma descrição física específica, como um modelo 3D ou uma grade de pontos. Os pesquisadores descobriram que podiam manipular esse resumo diretamente. Ao alimentar o sistema com uma descrição de uma nova fonte de luz, eles podiam transformar esses tokens para refletir as novas condições de iluminação e, em seguida, decodificar o resultado em uma imagem nova e de alta qualidade.

O núcleo deste método é uma ferramenta que eles chamam de Editor de Tokens de Cena (Scene Token Editor). Este componente pega o resumo comprimido da cena e a descrição da nova luz e os mistura usando um mecanismo semelhante ao modo como um mecanismo de busca conecta ideias relacionadas. O sistema não precisa saber as coordenadas 3D exatas do objeto ou a física de como a luz rebate em uma superfície. Em vez disso, ele aprende a ajustar os tokens para que, quando transformados de volta em uma imagem, as sombras caiam corretamente, os brilhos reluzam nos lugares certos e os reflexos pareçam naturais. Crucialmente, este processo funciona para muitos tipos diferentes de luz, seja um céu amplo, uma única lâmpada de ponto ou um grande painel luminoso. O sistema converte todas essas diferentes fontes de luz em uma linguagem comum de raios de luz, permitendo que as manipule de forma uniforme.

Uma das capacidades mais significativas deste novo sistema é que ele permite a edição progressiva. Como o sistema trabalha no resumo comprimido e não na imagem final, um usuário pode construir uma cena de iluminação um elemento de cada vez. Eles podem começar com um ambiente base, adicionar uma luz principal e, depois, adicionar uma luz de preenchimento, com cada etapa modificando o mesmo resumo subjacente. O sistema lembra as mudanças feitas na etapa anterior, de modo que o usuário não precisa recomeçar ou recalcular toda a cena para cada nova adição. Isso cria um fluxo de trabalho fluido onde a iluminação pode ser projetada incrementalmente, de forma muito semelhante a adicionar ingredientes a um prato, mantendo uma aparência consistente de todos os ângulos.

Os pesquisadores testaram seu sistema em milhares de objetos 3D, variando de formas simples a modelos complexos com superfícies brilhantes e transparentes. Eles descobriram que seu método produziu imagens tão nítidas e precisas quanto as melhores técnicas existentes e, em muitos casos, superiores. Quando compararam seus resultados com outros métodos que dependem de adivinhar a imagem final ou que tentam fazer a engenharia reversa da física, o LumiTokens mostrou menos erros na forma como a luz interagia com o objeto. Ele evitou erros comuns, como sombras inconsistentes ou iluminação que parecia diferente dependendo do ângulo da câmera. O sistema foi capaz de usar apenas algumas fotos de um objeto para reluminá-lo sob condições que nunca havia visto antes, produzindo resultados que pareciam fisicamente plausíveis.

Este trabalho sugere um novo caminho para a criação de ativos 3D para filmes, videogames e realidade virtual. Ao se afastar da necessidade de definir explicitamente materiais físicos ou executar simulações físicas pesadas, os pesquisadores mostraram que a iluminação pode ser tratada como uma transformação direta da essência digital de uma cena. O sistema não afirma compreender a física da luz da maneira que um físico humano compreende, mas aprendeu a imitar o resultado visual de forma tão eficaz que a diferença é invisível ao olho. Esta abordagem oferece uma maneira mais rápida e flexível de trazer objetos digitais para novos mundos, permitindo que criadores ajustem o clima e a atmosfera de uma cena com um nível de controle que era anteriormente difícil de alcançar.

Resumo Técnico: LumiTokens: Relighting 3D via Transformação de Iluminação no Espaço de Tokens

Declaração do Problema

O relighting 3D — a capacidade de renderizar uma cena reconstruída sob uma iluminação alvo arbitrária — é uma etapa crítica para a implementação de ativos 3D em aplicações práticas, como produção de filmes, jogos de vídeo e e-commerce. As abordagens existentes para este problema geralmente se dividem em três categorias, cada uma com trade-offs significativos:

Renderização Inversa (Inverse Rendering): Estes métodos recuperam representações 3D explícitas (geometria, normais, albedo, rugosidade) e reavaliam equações de renderização. Embora sejam consistentes entre múltiplas vistas, exigem capturas densas, otimização dispendiosa por cena e são limitados pela expressividade de seus modelos BRDF escolhidos.
Geração Baseada em Difusão: Estes métodos utilizam modelos de difusão como priors de aparência para sintetizar vistas relit. Embora produzam efeitos realistas, operam tipicamente em espaço de visão ou espaço de vídeo sem uma representação de cena compartilhada e persistente. Consequentemente, cada mudança de iluminação requer uma passagem generativa completa, e edições de iluminação não se acumulam.
Abordagens Híbridas: Combinam codificação de geometria feed-forward com síntese de aparência generativa. Embora evitem a otimização por cena, ainda dependem de parametrizações 3D explícitas (como 3DGS) e ramos generativos que devem ser executados novamente para cada nova condição de iluminação.

Uma limitação comum em todos os paradigmas existentes é que as edições de iluminação não são mantidas como atualizações incrementais de uma representação de cena persistente. Este artigo observa que representações de cena latentes recentes, que codificam imagens multi-visuais em tokens compactos sem semântica física fixa, oferecem um novo espaço de design onde o relighting pode ser formulado como uma transformação direta no espaço latente.

Metodologia

Os autores propõem o LumiTokens, um framework baseado em transformer que realiza o relighting 3D inteiramente dentro de um espaço de tokens latentes aprendidos, contornando representações 3D explícitas, equações de renderização e decomposição baseada em física.

Visão Geral da Arquitetura

O framework consiste em três componentes principais:

Encoder: Um transformer que mapeia um conjunto esparso de imagens de entrada multi-visuais posicionadas (e suas incrustações de raios de Plücker) em um conjunto compacto e de tamanho fixo de tokens de cena 1D ( $z$ ).
Editor de Tokens de Cena (Scene Token Editor): Um módulo transformer que realiza a operação de relighting. Ele recebe os tokens de cena ( $z$ ) e um conjunto de tokens de raios de luz ( $\ell$ ) como entrada. Através de auto-atenção (self-attention), o editor processa conjuntamente os tokens de cena e de luz para produzir tokens de cena atualizados ( $z'$ ). Crucialmente, a saída permanece no mesmo espaço latente da entrada, permitindo edição persistente.
Decoder: Um transformer condicionado a raios que renderiza novas vistas a partir dos tokens de cena. Ele utiliza um cabeçalho DPT para remontar os tokens de saída em imagens densas de alta resolução, garantindo texturas nítidas e detalhes de alta frequência.

Tokenização de Sinal de Luz

Para suportar diversos tipos de iluminação através de uma interface unificada, todos os sinais de iluminação são parametrizados como tokens de raios de Plücker. A iluminação é discretizada em uma coleção de raios de luz amostrados da fonte em direção à cena. Cada token de luz é definido por sua geometria de raio (coordenadas de Plücker), intensidade espectral e potência radiante. Esta representação unificada acomoda:

Mapas de Ambiente (Environment Maps): Modelados como raios direcionais com momento zero.
Luzes Pontuais (Point Lights): Modeladas como raios originados de uma posição 3D específica.
Luzes de Área (Area Lights): Modeladas como raios amostrados através de uma superfície emissora.

Esta tokenização permite a interação nativa do usuário em 3D (ex: posicionar uma luz pontual em uma coordenada específica), apesar de o espaço latente carecer de estrutura espacial explícita.

Relighting Progressivo

Um recurso fundamental do LumiTokens é o relighting progressivo. Como a saída do editor ( $z'$ ) permanece no mesmo espaço latente que sua entrada ( $z$ ), os usuários podem construir incrementalmente a iluminação uma fonte de luz por vez. O processo de edição segue uma recorrência:
$z^{(s)} = T(z^{(s-1)}, \ell^{(s)})$
onde $z^{(s)}$ é o estado da cena após $s$ edições. Isso permite que as edições de iluminação se componham no espaço de tokens sem exigir re-codificação, re-avaliação de equações de renderização ou regeneração de vistas em cada etapa.

Objetivos de Treinamento

O modelo é treinado otimizando o encoder e o Scene Token Editor conjuntamente, mantendo um decoder pré-treinado congelado. A perda de treinamento combina:

Perda de Renderização ( $\mathcal{L}_{render}$ ): Uma combinação de perda $\ell_2$ pixel a pixel e perda perceptual LPIPS, supervisionando a saída decodificada contra imagens relit de verdade fundamental (ground-truth). Para suportar a edição progressiva, o modelo é treinado em cadeias aleatórias de sinais de iluminação, aplicando a perda em cada etapa da sequência para evitar o desvio distributivo (distributional drift).
Perda de Invariância de Iluminação ( $\mathcal{L}_{inv}$ ): Esta perda penaliza diferenças nos tokens codificados quando a mesma cena é capturada sob diferentes iluminações de origem. Isso incentiva o encoder a isolar os efeitos de iluminação da fonte, garantindo que os tokens de cena capturem a identidade persistente (geometria e materiais) enquanto o editor lida com as variações dependentes da iluminação.

Principais Contribuições

Relighting em Token Latente: O artigo demonstra que o relighting 3D pode ser realizado como uma transformação direta em um espaço de tokens latentes aprendidos, eliminando a necessidade de representações 3D explícitas, equações de renderização ou decomposição baseada em física.
Editor de Tokens de Cena: A introdução de um módulo transformer que realiza o relighting via auto-atenção entre tokens de cena e tokens de raios de Plücker. Isso suporta uma interface unificada para mapas de ambiente, luzes pontuais e luzes de área, permitindo a interação nativa do usuário em 3D.
Edição Progressiva e Componível: A formulação suporta o relighting progressivo onde as edições de iluminação se compõem no espaço de tokens. Isso permite o design de iluminação incremental, uma capacidade que os paradigmas existentes só conseguem alcançar através de recomputação total em cada etapa.

Resultados Experimentais

Os autores avaliam o LumiTokens em um dataset sintético de larga escala (20k objetos do Objaverse) e o comparam com métodos de estado da arte.

Relighting Multi-vista: O LumiTokens alcança desempenho quantitativo superior comparado aos baselines de difusão (Neural Gaffer, DiffusionRenderer, LightSwitch) em termos de PSNR, SSIM e LPIPS. Ele preserva a aparência e os efeitos de iluminação consistentemente entre as vistas, enquanto os baselines exibem artefatos como iluminação residual da fonte e destaques inconsistentes.
Relighting de Nova Vista (Novel-view): Quando avaliado em pontos de vista não vistos, o LumiTokens supera métodos de renderização inversa (TensoIR, NVDiffrecMC) e o método de difusão multi-vista (LightSwitch). Notavelmente, o LumiTokens alcança esses resultados usando significativamente menos vistas de entrada (8) comparado aos baselines de renderização inversa (50 vistas) e ao baseline de difusão LightSwitch (16 vistas).
Desempenho Qualitativo: Comparações visuais mostram que o LumiTokens lida com sucesso com cenários de iluminação complexos, incluindo sombras entre objetos e reflexos, e suporta a adição progressiva de fontes de luz (ex: adicionar um mapa de ambiente, depois uma luz pontual, depois uma luz de área) com alta fidelidade.

Significância e Alegações

O artigo afirma que o LumiTokens representa uma mudança fundamental nos paradigmas de relighting. Ao tratar o relighting como uma transformação sobre tokens de cena latentes, em vez de um problema de decomposição ou geração, o método alcança:

Persistência: As edições de iluminação se acumulam em um estado de cena reutilizável sem regeneração.
Eficiência: Evita o custo computacional de otimização por cena ou passagens completas de difusão para cada mudança de iluminação.
Flexibilidade: Suporta diversos tipos de iluminação e edição progressiva através de uma interface de token unificada.

Os autores observam que, embora trabalhos anteriores tenham usado tokens latentes para síntese de visão, este é o primeiro trabalho a demonstrar que tais representações podem suportar relighting através de transformações diretas e composíveis no espaço de tokens. A abordagem aborda o desafio de manter transformações de iluminação coerentes em um espaço onde geometria e aparência estão emaranhadas, permitindo uma nova forma de edição 3D interativa.