Resumo Técnico: PhysEditBench

Declaração do Problema

Editores de imagem de propósito geral (por exemplo, Nano-Banana, GPT-Image-2) evoluíram para sistemas versáteis capazes de transformações guiadas por instruções e edições que preservam o layout. No entanto, permanece incerto se esses modelos prontos para uso podem prever mapas físicos densos — como mapas de profundidade, normais de superfície, albedo, rugosidade e metálicos — a partir de uma única imagem RGB de interior sem treinamento específico para a tarefa.

A avaliação dessa capacidade apresenta desafios únicos em comparação com benchmarks padrão de predição densa. Diferentemente de preditores especializados que mapeiam diretamente RGB para um mapa-alvo, editores de imagem exigem prompts específicos, exemplos ou pistas derivadas da imagem para funcionar. Além disso, mapas físicos possuem propriedades distintas: a profundidade é frequentemente ambígua quanto à escala, mapas de normais dependem de convenções específicas codificadas por cores, o albedo requer a separação da cor intrínseca da iluminação e mapas metálicos são campos de material esparsos. As avaliações existentes focam no seguimento de instruções ou na qualidade visual, falhando em medir se editores de propósito geral podem recuperar a verdade fundamental física sob protocolos controlados e específicos do alvo.

Metodologia: PhysEditBench

Os autores introduzem o PhysEditBench, um benchmark condicionado a protocolos projetado para avaliar e padronizar editores de imagem na predição de mapas físicos densos. O benchmark é estruturado em torno de três componentes principais:

1. Construção do Conjunto de Dados e Confiabilidade da Fonte

O benchmark utiliza fontes de dados dependentes do alvo para garantir a confiabilidade da anotação:

• Profundidade, Normal, Albedo e Rugosidade: Avaliados em OpenRooms-FF e InteriorVerse.
• Metálico: Avaliado em uma nova fonte companheira gerada proceduralmente, PBR-Rooms.
  • Racional: Os canais de rugosidade e metálico do InteriorVerse foram excluídos da pontuação oficial devido a preocupações com confiabilidade (por exemplo, emaranhamento com texturas RGB, realces especulares e artefatos de renderização). O OpenRooms-FF carece de supervisão metálica, tornando necessária a fonte companheira.
• Amostragem: O benchmark emprega amostragem em nível de cena para evitar a super-representação de visualizações quase duplicadas. Define uma divisão Main-Axis (iluminação padrão) e uma divisão Stress-Axis (condições desafiadoras como baixa luminosidade, HDR e cenas ricas em realces) com base em estatísticas fotométricas programáticas.

2. Protocolos de Acesso Específicos ao Alvo

Para garantir comparação justa, o PhysEditBench define um protocolo fixo para cada alvo, especificando entradas permitidas, formatos de saída e procedimentos de pontuação. Crucialmente, nenhum protocolo fornece mapas de verdade fundamental, rótulos de benchmark ou evidências multiview durante a inferência.

• Profundidade: Utiliza um prompt fixo especificando uma convenção quase branca (branco=próximo, preto=longe).
• Normal: Utiliza três pares fixos de exemplo RGB-normal para comunicar a convenção de codificação, pois instruções apenas por prompt frequentemente falham em estabilizar a saída.
• Albedo: Utiliza uma análise de iluminação apenas com imagem de consulta (armazenada em cache da mesma imagem RGB) para guiar a remoção de efeitos de iluminação enquanto preserva a estrutura.
• Rugosidade e Metálico: Utilizam prompts controlados RGB-a-map sem priores auxiliares ou exemplos.

3. Métricas de Avaliação e Diagnósticos

• Métricas Primárias: AbsRel invariante a afinidade (AbsRel-AI) para profundidade; Acc@22.5 para normais; MAE para albedo e metálico; RMSE para rugosidade.
• Diagnósticos: Inclui recuperação de limites (Boundary F1), perfis de erro angular e métricas estruturais/perceptivas (SSIM, LPIPS).
• Diagnósticos de Protocolo: Subconjuntos separados são usados para analisar como o desempenho muda com diferentes pistas (por exemplo, remover exemplos, adicionar priores de segmentação ou variar a força do prompt). Estes são distintos dos rankings oficiais.

Resultados Principais

A avaliação compara editores de imagem proprietários (GPT-Image-1.5/2.0, WAN2.7-Image, Doubao Seedream 5.0, Qwen-Image-2.0) contra preditores especializados (Depth Anything 3, Lotus, StableNormal, DNF-Intrinsic, etc.).

• Profundidade, Normal e Albedo: Preditores especializados superam significativamente editores de propósito geral nas métricas primárias.
  • Profundidade: Depth Anything 3 e Lotus dominam as métricas escalares e de limites. Entre os editores, WAN2.7-Image e GPT-Image-2.0 mostram o melhor desempenho relativo, mas permanecem muito atrás dos modelos especializados.
  • Normal: Modelos especializados (StableNormal, Lotus) alcançam alta precisão direcional (Acc@22.5 > 0,86), enquanto editores lutam (Acc@22.5 < 0,21), mesmo com condicionamento por exemplos.
  • Albedo: DNF-Intrinsic lidera em todas as métricas. Editores como GPT-Image-2.0 e Seedream 5.0 mostram distorção escalar competitiva (MAE), mas ficam atrás na fidelidade estrutural.
• Rugosidade e Metálico: A lacuna diminui.
  • Rugosidade: GPT-Image-2.0 alcança o melhor RMSE (0,323), superando baselines especializados como Intrinsic Image Diffusion (0,346) no erro escalar, embora modelos especializados mantenham melhor consistência estrutural (SSIM).
  • Metálico: GPT-Image-Image-2.0 alcança o melhor MAE (0,051) na fonte companheira, superando baselines especializados. No entanto, os autores observam que essas pontuações medem a fidelidade do mapa contínuo sobre regiões esparsas, em vez de detecção metálica explícita.
• Análise de Estresse: As lacunas de desempenho persistem sob iluminação desafiadora (HDR, baixa luminosidade). Para albedo e rugosidade, os rankings específicos de fonte e específicos de métrica mudam sob estresse, destacando que o erro escalar nem sempre correlaciona com a preservação estrutural.
• Sensibilidade ao Protocolo: Variantes diagnósticas revelam que as pistas permitidas alteram materialmente as saídas. Por exemplo, remover exemplos de normais aumenta drasticamente o erro angular, e adicionar priores de segmentação melhora a estrutura da rugosidade, mas altera a avaliação de uma tarefa direta RGB-a-map.

Significado e Alegações

O artigo afirma que o PhysEditBench fornece o primeiro framework padronizado para avaliar editores de imagem de propósito geral na predição de mapas físicos densos. Suas principais contribuições são:

1. Avaliação Condicionada a Protocolos: Estabelece que avaliar editores de imagem requer configurações de acesso e regras de pontuação específicas do alvo, em vez de uma única estratégia de prompt. Uma pontuação reflete o desempenho sob um protocolo específico, não o potencial máximo do modelo em todas as interações possíveis.
2. Realidade Dependente do Alvo: Os resultados demonstram que "plausibilidade visual" não garante "precisão física". Embora editores possam produzir saídas semelhantes a mapas, preditores especializados permanecem superiores para geometria (profundidade, normal) e decomposição intrínseca (albedo).
3. Competitividade Emergente em Propriedades de Material: Para mapas de rugosidade e metálico, editores de imagem mais fortes podem igualar ou exceder baselines especializados em métricas escalares, sugerindo uma mudança na capacidade de estimativa de propriedades de material, embora limitações estruturais e de robustez permaneçam.
4. Valor Diagnóstico: O benchmark destaca que o desempenho é altamente dependente do alvo, métrica, protocolo e condição da imagem, argumentando contra a redução de todos os sistemas a um único ranking geral.

Os autores mantêm uma postura modesta, observando que o benchmark é limitado a fontes sintéticas de interior e uma fonte metálica gerada proceduralmente. Consequentemente, os resultados medem o desempenho controlado do benchmark em vez de generalização real completa ou utilidade downstream. O trabalho serve para identificar onde editores de imagem atuais estão se tornando competitivos e onde preditores dedicados ainda dominam.