Domain-Grounded Candidate Selection for Agentic Image Editing: A Shadow Removal Case

Resumo Técnico: Seleção de Candidatos Baseada em Domínio para Edição de Imagens Agêntica

Declaração do Problema
O artigo investiga o papel da visão de baixo nível clássica e informada pela física na era dos modelos comerciais de edição generativa e de linguagem-visão. Embora esses modelos de propósito geral, treinados em dados de escala de internet, possuam amplos priors visuais capazes de produzir edições fotorrealistas, eles carecem de uma compreensão explícita de fenômenos físicos. Os autores utilizam a remoção de sombras como um caso de teste para explorar essa lacuna. A remoção de sombras é inerentemente complexa, dependendo da geometria da cena, iluminação, materiais e oclusores, sendo difícil coletar dados de treinamento pareados sem sombras em escala.

O problema central identificado é que, embora os editores comerciais possam produzir imagens limpas e sem sombras, eles sofrem de um modo de falha específico: sem um modelo físico de formação de sombra, eles podem tratar as sombras como propriedades de material ou estruturas de objetos. Isso leva a "alucinações", onde o editor regenera o conteúdo da cena, inventa novos objetos ou interpreta erroneamente a redução de iluminação como geometria, resultando em edições que são visualmente plausíveis, mas fisicamente incorretas.

Metodologia
Os autores propõem um pipeline de seleção de candidatos agêntico que utiliza um editor generativo comercial como um gerador estocástico de candidatos e um avaliador multimodal como um controlador. O processo é fundamentado na física da formação de sombras (sombras como efeitos de iluminação causados por oclusão de luz, não como propriedades de material).

O pipeline opera através das seguintes etapas:

1. Sonda Guiada (Guided Probe): O sistema gera uma edição inicial baseada na imagem de entrada, máscara de sombra e instrução.
2. Avaliação de Falha Maior (Major-Failure Evaluation): Um avaliador multimodal examina a sonda em busca de erros graves, como preservar a sombra como uma estrutura escura do tipo objeto ou alucinar conteúdo semântico.
3. Tentativa de Retorno Condicional e Amostragem (Conditional Retry & Sampling):
   • Se a sonda passar, o sistema amostra dois candidatos adicionais guiados.
   • Se a sonda falhar, o sistema gera três candidatos de "tentativa de retorno" usando o feedback do avaliador.
4. Filtragem de Candidatos: Todos os candidatos são reavaliados pelo avaliador de falha maior.
5. Seleção Final: Um selecionador escolhe o resultado final. Se múltiplos candidatos passarem, ele equilibra a remoção de sombra com a preservação da cena; se um passar, ele é selecionado; se nenhum passar, um fallback seleciona a opção "menos ruim".

Inovação Principal: Fundamentação na Formação de Sombras
Um componente crítico do método é o uso de prompting orientado à física. Os autores comparam duas configurações:

• Genérica: Instruções diretas para remover sombras e preservar a cena.
• Orientada à Física: Instruções que definem explicitamente as sombras como "efeitos de iluminação causados por oclusão de luz", em vez de estruturas de material ou objeto. Essa fundamentação é aplicada tanto ao gerador quanto ao avaliador, direcionando o sistema para remover a iluminação reduzida enquanto preserva o layout da cena, limites e aparência do material.

Resultados
O método foi avaliado no benchmark ShadowRemovalRefine (SRR), que contém 399 imagens do mundo real. A métrica principal utilizada é a Diferença de Distribuição de Cores (CDD), onde valores menores indicam melhor remoção de sombra e consistência de bordas.

• Desempenho Quantitativo: O pipeline orientado à física ("Ours-Physics") alcançou um CDD médio de 0,0075 (reportado como 7,45 na tabela com escala de $10^3$). Isso representa uma redução de pelo menos 47% em comparação ao método anterior mais forte (SRR [5], CDD médio 0,01406).
• Estudos de Ablação:
  • O pipeline de seleção de candidatos (sondagem, tentativa de retorno, filtragem, seleção) melhorou significamente a confiabilidade em relação à geração de disparo único (single-shot).
  • A fundamentação orientada à física proporcionou ganhos consistentes sobre a variante agêntica genérica, melhorando tanto o CDD médio quanto o desvio padrão.
• Resultados Qualitativos: O método remove de forma mais consistente as regiões de sombra dominante e suprime artefatos de borda em comparação com métodos anteriores (SID, ShadowFormer, ShadowDiffusion, etc.), que frequentemente deixam sombras residuais ou superfícies desbotadas.

Limitações
Os autores reconhecem que, embora o pipeline melhore a consistência de bordas, ele não preserva perfeitamente toda a cena não sombreada. A edição generativa pode introduzir mudanças de aparência fora da máscara alvo (ex: mudanças de tom de cor, suavização de superfície) e pode modificar visualmente regiões geométricas escuras que estão visualmente emaranhadas com as sombras.

Significância e Alegações
O artigo conclui que modelos de linguagem-visão comerciais não tornam obsoletos os priors clássicos de visão de baixo nível. Em vez disso, esses modelos mudam o papel da visão de baixo nível: de modelar um fenômeno de ponta a ponta para restringir e direcionar geradores fisicamente subdeterminados.

A significância do trabalho reside em demonstrar que:

1. Editores de propósito geral podem superar modelos de restauração específicos de tarefa na preservação de textura, mas requerem fundamentação física para evitar alucinações.
2. Um pipeline agêntico que integra definições físicas simples (formação de sombra) tanto na geração quanto na avaliação pode alcançar resultados de estado da arte sem treinar um novo modelo específico para a tarefa.
3. A seleção de candidatos baseada em domínio é uma estratégia viável para tornar modelos generativos estocásticos confiáveis para tarefas fisicamente restritas.