Do Image Editing Models Understand Lighting?

Resumo Técnico: Modelos de Edição de Imagem Compreendem Iluminação?

Declaração do Problema
Avanços recentes em modelos de edição de imagem baseados em instruções alcançaram alta fidelidade visual, mas permanece incerto se esses sistemas possuem uma compreensão intrínseca da física da iluminação do mundo real ou se apenas reproduzem priors de aparência perceptiva. Os benchmarks existentes para avaliar esses modelos dependem tipicamente de avaliações de plausibilidade de alto nível via Modelos de Linguagem e Visão (VLMs) ou julgamento humano, ou utilizam conjuntos de dados gerados sinteticamente. Essas abordagens frequentemente falham em quantificar a correção física ao nível de pixel, particularmente em relação a efeitos intrincados de transporte de luz, como sombras projetadas, realces especulares e interações com materiais complexos. Além disso, as métricas atuais (ex: PSNR, SSIM) são sensíveis a ajustes globais como balanço de branco e exposição, o que pode obscurecer o desempenho real do modelo na simulação de transporte de luz.

Metodologia
Para abordar essas lacunas, os autores introduzem o benchmark 3D-anchored Light Probe (3DLP), projetado para avaliar a consistência do transporte de luz usando dados de alta fidelidade do mundo real.

• Construção do Conjunto de Dados: Os autores capturaram um novo conjunto de dados de 1.000 pares de imagens HDR de alta fidelidade em diversos ambientes internos. Cada par consiste em uma cena com uma sonda de luz esférica (uma lâmpada em uma luminária de chão) ligada ("on") e desligada ("off"). A base da luminária é visível para "ancorar" a fonte de luz no espaço 3D, permitindo que os modelos infiram a posição precisa. O processo de captura envolve imagens RAW de 14 bits com 9 níveis de exposição (brackets), média para reduzir o ruído, e corrigida para distorção de lente e vinheta usando dados EXIF.
• Anotação: O conjunto de dados inclui anotações manuais para fenômenos ópticos desafiadores, incluindo sombras projetadas, realces especulares e interações com superfícies metálicas, espelhadas e transparentes. Aproximadamente 10,92% dos pixels foram rotulados.
• Protocolo de Avaliação: A tarefa é binária: dado uma imagem "off", o modelo deve ligar a luz ("on") (e vice-versa). A entrada é uma imagem sRGB de 8 bits; a saída é linearizada para avaliação.
• Novas Métricas: Para superar as limitações das métricas tradicionais, os autores propõem duas novas pontuações invariantes a ajustes fotográficos globais (exposição, balanço de branco e intensidade/cor da fonte de luz):
  1. Erro de Intensidade Padronizado (SIE - Standardised Intensity Error): Mede a precisão das mudanças de intensidade de luz previstas. Ele mapeia imagens de razão ($E = I_{on}/I_{off}$) para um espaço padronizado usando a Mediana e o Desvio Absoluto da Mediana (MAD) para alcançar invariância a transformações afins ($C \odot E_R + K$).
  2. Erro de Baixa Frequência (LFE - Low-Frequency Error): Avalia o realismo físico do decaimento da luz e das interações de superfície ao avaliar os gradientes espaciais das imagens de razão. Ele filtra arestas de alta frequência (textura/geometria) para focar em transições suaves características do decaimento de lei do inverso do quadrado e sombreamento Lambertiano.

Principais Contribuições

1. Dataset 3DLP: Um conjunto de dados de alta fidelidade de 1 mil pares de imagens capturando diversos ambientes internos do mundo real com uma sonda de luz fisicamente ancorada, incluindo anotações detalhadas para sombras, realces e interações de materiais.
2. Benchmark & Métricas 3DLP: Um framework de avaliação rigoroso apresentando SIE e LFE, que permitem que os modelos ajustem livremente a exposição global e o balanço de branco enquanto penalizam estritamente erros no transporte de luz física.
3. Avaliação Abrangente: Uma avaliação sistemática de seis modelos de edição de imagem de última geração (incluindo variantes comerciais e de código aberto) contra a verdade fundamental (ground truth) do mundo real.

Resultados
A avaliação de seis modelos (Nano Banana Pro, Nano Banana 2, Qwen-Image-Edit, Flux 2 Max, Flux 2 Dev e GPT Image 1.5) revela disparidades significativas de desempenho:

• Melhores Desempenhos: O modelo comercial Nano Banana Pro alcançou o melhor desempenho geral, seguido de perto pelo Nano Banana 2. Entre os modelos de código aberto, o Qwen-Image-Edit superou significativamente o Flux 2 Dev.
• Alinhamento Físico: Os principais modelos demonstram uma consistência notável com a física do mundo real, particularmente ao projetar novas sombras e adicionar reflexos. No entanto, ainda há espaço para melhorias.
• Modos de Falha:
  • Dependência de Intensidade: Os modelos apresentam pior desempenho em regiões da imagem que recebem menos luz da sonda (áreas distantes), onde os erros se acumulam.
  • Complexidade de Material: O desempenho varia entre materiais; os erros são mais pronunciados para espelhos e superfícies transparentes, enquanto os realces especulares mostram uma variância ligeiramente menor.
  • Limitações de VLMs: Quando testados como avaliadores, os VLMs (Gemini 3.1 Pro, GPT-5.5) falharam em correlacionar com as métricas físicas, muitas vezes preferindo artefatos gerados por IA em vez da verdade fundamental real, indicando que não são adequados para análise de transporte de luz ao nível de pixel.
• Comparação de Métricas: Ao contrário do PSNR, SSIM e LPIPS, as métricas propostas SIE e LFE são invariantes a mudanças de balanço de branco e penalizam corretamente modelos que falham em executar a tarefa (ex: modelos "Do Nothing").

Significância
O artigo argumenta que, embora os modelos modernos de edição de imagem estejam rapidamente se tornando ferramentas práticas para mídia visual profissional (ex: inserção de produtos virtuais, relighting de fundos), sua compreensão subjacente de iluminação permanece ambígua. O benchmark 3DLP fornece um padrão necessário e fisicamente fundamentado para distinguir entre modelos que genuinamente simulam o transporte de luz e aqueles que dependem de priors perceptivos. Os autores postulam que essa distinção é vital para aplicações de downstream, como decomposição de imagem intrínseca, predição de profundidade e estimativa de luz, que dependem implicitamente da robustez dos modelos base às leis físicas. Ao lançar o conjunto de dados e o benchmark, os autores visam incentivar pesquisas futuras para melhorar o embasamento físico da edição de imagem generativa.