MatReplace: A Reference-Free, Conditioning-Aligned Benchmark for Material Replacement in Interior Scenes

Resumo Técnico: MatReplace

Declaração do Problema
Editores de imagem generativos estão sendo cada vez mais integrados em fluxos de trabalho de design de interiores para realizar a substituição de materiais: repintar uma superfície marcada com um novo material enquanto preserva estritamente a geometria do objeto, a cena circundante e a iluminação. Apesar da natureza comercial rotineira desta tarefa, nenhum benchmark público a isola. Os benchmarks existentes de edição por instrução agrupam a substituição de materiais em categorias amplas e dependem de métricas referenciadas por Ground Truth (GT) (comparando saídas com uma única imagem de referência armazenada). Os autores argumentam que essa abordagem é fundamentalmente falha para a substituição de materiais porque:

1. Natureza Um-para-Muitos: Existem muitas saídas válidas para um único prompt (ex: muitos cabeceiros de "camurça azul-marinho" corretos). Penalizar a distância em relação a uma única referência armazenada pune a diversidade válida.
2. Viés do Gerador: Se todas as imagens de referência vierem de um único gerador, as métricas recompensam a imitação do estilo específico desse gerador, enviesando os leaderboards para a fonte dos dados em vez da capacidade geral.
3. Confundimento de Condicionamento: Misturar modelos que recebem diferentes orientações (apenas texto, texto+máscara, texto+máscara+referência) em um único leaderboard confunde a qualidade do modelo com a qualidade do sinal de entrada.

Metodologia
O artigo apresenta o MatReplace, um benchmark e protocolo de avaliação sem referência (reference-free) projetado para isolar a substituição de materiais através de três trilhas distintas de condicionamento.

• Construção do Benchmark:

  • Dataset: 1.421 especificações de tarefas derivadas de 2.017 sessões candidatas geradas por um modelo divulgado (GPT-Image-2).
  • Tupla de Tarefa: $(x, m, r, T, c)$, onde $x$ é a cena, $m$ é uma máscara binária, $r$ é uma imagem de referência do material alvo, $T$ é uma instrução de texto e $c$ é a categoria do material.
  • Curadoria: As tarefas passam por verificações algorítmicas (resolução, binaridade da máscara) e uma auditoria semântica por um agente de visão-linguagem para garantir o alinhamento da máscara, a correção da edição e a preservação da cena.
  • Trilhas: O benchmark define três trilhas para variar os sinais de condicionamento mantendo as famílias de modelos alinhadas:
    • Trilha A: Apenas instrução ($x + T$).
    • Trilha B: Instrução + Máscara de Região ($x + m + T$).
    • Trilha C: Máscara + Imagem de Referência ($x + m + r$), onde o material é especificado apenas por pixels, não por texto.

• Protocolo de Avaliação Sem Referência:
  Em vez de comparar contra uma saída armazenada, o protocolo pontua as edições em quatro dimensões verificáveis de forma independente, baseando-se apenas nas entradas da tarefa:

  1. Correção do Material ($S_{mat}$): Combina a classificação SigLIP2 da região mascarada (ao nível da família do material) com a similaridade de cosseno DINOv2 em relação à imagem de referência $r$.
  2. Preservação do Exterior ($S_{pres}$): Mede a distância LPIPS entre a entrada e a saída restrita à região fora da máscara.
  3. Estrutura Interna ($S_{struct}$): Utiliza estimativa de profundidade monocular para garantir que a geometria dentro da máscara permaneça inalterada, alinhada via escala e deslocamento (scale-and-shift) na região externa.
  4. Harmonia de Iluminação ($S_{harm}$): Correlaciona campos de luminância de baixa frequência dentro da máscara para garantir que a nova superfície respeite a iluminação da cena (mudanças de albedo não devem reestruturar a iluminação).

  A pontuação agregada primária é uma métrica de "portão" ($Overall_G$) que penaliza falhas em preservação, estrutura ou harmonia mais pesadamente do que uma média simples, validada contra rankings humanos.

Principais Contribuições

1. Benchmark MatReplace: O primeiro benchmark que isola a substituição de materiais com uma divisão congelada, rótulos de taxonomia e entradas liberadas através de três trilhas de condicionamento.
2. Protocolo Sem Referência: Um sistema de pontuação que decompõe a tarefa em quatro propriedades verificáveis, evitando os vieses das métricas referenciadas por GT.
3. Leaderboard Alinhado por Condicionamento: Um framework que avalia a mesma família de modelos através de diferentes modalidades de entrada (texto, máscara, referência) para medir o valor específico ou o custo de cada sinal.

Resultos

• Trilha A (Apenas Instrução): Modelos de código fechado robustos (ex: Nano-Banana-2-Lite, GPT-Image-2) alcançam resultados de qualidade exemplar, ultrapassando o "âncora de exemplar" (um teto suave derivado das próprias saídas do gerador de dados). Isso sugere que renderizar um material nomeado é amplamente resolvido para os principais editores fechados sem orientação espacial.
• Trilha B (Instrução + Máscara): Máscaras fornecem benefício apenas para modelos que são fracos em preservação de cena e capazes de "consumir" a máscara (ex: FLUX-Kontext ganha +0,137). Para modelos fechados fortes, as máscaras não adicionam valor ou causam leve fricção.
• Trilha C (Máscara + Referência): A introdução de uma imagem de referência degrada o desempenho em todas as famílias de modelos (quedas variando de -0,031 a -0,508).
  • Modos de Falha: Os modelos falham em fundamentar a especificação baseada em pixels, levando a três modos distintos de falha: (1) Perda de fundamentação de aparência (appearance-grounding loss) (renderização menos precisa), (2) Colapso de identificação de material (incapacidade de traduzir pixels para alvos semânticos) e (3) Falha de vinculação de papel (role-binding failure) (repintar a própria imagem de referência em vez da cena).
  • Conclusão: Embora nomear um material esteja resolvido, fundamentar um material mostrado como pixels permanece um problema aberto.

Significância e Alegações
O artigo afirma que o MatReplace fornece uma avaliação mais rigorosa e justa da edição generativa ao:

• Desacoplar a Qualidade do Modelo dos Sinais de Entrada: Ao alinhar as famílias através das trilhas, revela que as máscaras não são universalmente benéficas e que as imagens de referência atualmente degradam o desempenho.
• Validar a Pontuação Sem Referência: Avaliações humanas de especialistas correlacionam-se fortemente com os agregados propostos ($\tau = 0,68$), superando as linhas de base estabelecidas baseadas em GT e CLIP.
• Identificar a Fronteira Atual: O trabalho estabelece que, embora os editores fechados possam renderizar materiais nomeados efetivamente, a capacidade de interpretar e renderizar um material especificado apenas por uma imagem de referência (sem descrição de texto) é um gargalo significativo nas capacidades atuais de edição generativa.

Os autores mantêm uma postura modesta, observando que o benchmark é atualmente totalmente sintético e de fonte única, e que a transferência para fotografias do mundo real permanece não verificada. A principal contribuição é o isolamento da tarefa e a demonstração de que as abordagens atuais "guiadas por referência" frequentemente falham em superar as abordagens de "apenas instrução" neste domínio específico.