💻 computer science

PROVE: A Perceptual RemOVal cohErence Benchmark for Visual Media

Este artigo apresenta o framework PROVE, composto pelas métricas RC-S e RC-T alinhadas à percepção e pelo conjunto de dados PROVE-Bench, para abordar as limitações dos métodos de avaliação existentes ao fornecer uma avaliação mais precisa da coerência na remoção de objetos em mídias visuais, que se alinha melhor ao julgamento humano.

Autores originais: Fuhao Li, Shaofeng You, Jiagao Hu, Yu Liu, Yuxuan Chen, Zepeng Wang, Fei Wang, Daiguo Zhou, Jian Luan

Publicado 2026-05-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Fuhao Li, Shaofeng You, Jiagao Hu, Yu Liu, Yuxuan Chen, Zepeng Wang, Fei Wang, Daiguo Zhou, Jian Luan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um editor de fotos contratado para remover um intruso indesejado de uma foto de grupo. Você faz um ótimo trabalho: a pessoa desaparece e o fundo parece natural. Mas como você sabe se sua edição é realmente boa?

Este é o problema que o artigo PROVE aborda. Os autores argumentam que as ferramentas atuais usadas para avaliar essas edições são como usar uma régua para medir o sabor de uma sopa: estão olhando para as coisas erradas.

Aqui está uma explicação de sua solução usando analogias simples.

1. O Problema: As Armadilhas do "Copiar e Colar" e do "Embaçado"

O artigo explica que as ferramentas de avaliação existentes (métricas) cometem dois erros principais:

A Armadilha do "Copiar e Colar" (Métricas de Referência Completa): Imagine um professor avaliando a redação de um aluno comparando-a palavra por palavra com uma resposta modelo. Se o aluno copiar o modelo perfeitamente, ele recebe um A, mesmo que a redação seja chata.
- Na edição de imagens, ferramentas antigas recompensam modelos que apenas "copiam e colam" o fundo da foto original em vez de realmente "apagar" o objeto e inventar um novo fundo realista. Elas preferem respostas seguras e chatas a respostas criativas e realistas.
A Armadilha do "Embaçado é Limpo" (Métricas sem Referência): Imagine um juiz que acha que uma foto embaçada é melhor do que uma nítida porque o desfoque esconde erros.
- Ferramentas atuais frequentemente atribuem altas pontuações a resultados embaçados porque o desfoque faz as coisas parecerem "suaves" e uniformes. Elas falham em notar que a imagem é de baixa qualidade ou que a remoção do objeto criou artefatos estranhos.

O Problema do Vídeo: Ao editar um vídeo, ferramentas existentes olham para a tela inteira. Se o fundo estiver estável, mas o local onde o objeto foi removido estiver tremendo violentamente, a ferramenta pode ainda dar uma pontuação alta porque o resto do vídeo está bom. É como um professor avaliando uma redação de 10 páginas, mas lendo apenas a primeira página e ignorando o resto.

2. A Solução: A Abordagem do "Holofote" (Métricas RC)

Os autores propõem uma nova maneira de avaliar edições chamada RC (Coerência de Remoção). Em vez de olhar para a imagem inteira ou compará-la a uma referência perfeita, eles usam um "holofote deslizante" para ampliar a área específica onde o objeto foi removido.

Eles têm duas ferramentas principais:

RC-S (Coerência Espacial): Pense nisso como um detetive de texturas. Ele amplia o buraco onde o objeto estava e pergunta: "O novo fundo aqui parece com o bairro ao redor?"
- Ele usa uma janela deslizante (como uma lupa) para verificar se as texturas, a iluminação e os padrões correspondem à área ao redor da edição. Se o novo fundo parecer uma textura diferente ou estiver muito embaçado, a pontuação cai.
RC-T (Coerência Temporal): Este é o inspetor de estabilidade de vídeo. Ele olha para o mesmo ponto em dois quadros consecutivos.
- Ele pergunta: "Este ponto pula ou pisca enquanto o vídeo roda?" Se o fundo na área removida estiver tremendo ou mudando de forma estranha de quadro para quadro, essa métrica detecta, mesmo que o resto do vídeo esteja suave.

O Segredo: Eles usam um "cérebro" especial (um extrator de características chamado DINOv2) que é muito sensível a detalhes minúsculos e mudanças de frequência, assim como o olho humano é sensível a glitches visuais sutis.

3. O Novo Campo de Jogos: PROVE-Bench

Para provar que seu novo sistema de avaliação funciona, eles construíram um novo campo de testes chamado PROVE-Bench. Eles perceberam que os conjuntos de testes antigos eram ou:

Falsos demais: Vídeos gerados por computador que não parecem a vida real.
Difíceis demais de avaliar: Vídeos reais onde não sabemos como seria o "fundo perfeito".

Seu novo benchmark tem duas partes:

PROVE-M (O Laboratório Controlado): Eles filmaram cenas reais, removeram um objeto e filmaram a cena novamente sem o objeto. Isso lhes dá uma "verdade fundamental" perfeita para comparar, mas eles adicionaram tremores de câmera simulados para fazer parecer um vídeo real de mão.
PROVE-H (O Teste de Estresse): Uma coleção de 100 vídeos difíceis do mundo real (multidões, movimento rápido, reflexos) onde eles não têm uma referência perfeita. Isso testa se os modelos conseguem lidar com o caos.

4. Os Resultados

Quando testaram seu novo sistema de avaliação com "holofote" contra as ferramentas antigas:

Ferramentas antigas frequentemente davam altas pontuações a resultados embaçados e de "copiar e colar" ou perdiam tremores em vídeos.
PROVE (RC-S e RC-T) alinhou-se muito melhor com o que humanos reais achavam que parecia bom. Se um humano dissesse: "Isso parece falso", a nova métrica concordava. Se um humano dissesse: "Isso parece ótimo", a nova métrica concordava.

Resumo

O artigo argumenta que, para avaliar a remoção de objetos, precisamos parar de olhar para a imagem inteira ou compará-la a uma referência perfeita. Em vez disso, precisamos ampliar a área editada para verificar se ela se mistura com seus vizinhos (Espacial) e permanece estável ao longo do tempo (Temporal). Eles criaram um novo conjunto de ferramentas e um novo campo de testes para provar que essa abordagem de "ampliar" é a única maneira de obter uma nota que corresponda à percepção humana.

Resumo Técnico: PROVE: Um Benchmark de Coerência de Remoção Perceptual para Mídia Visual

1. Declaração do Problema

A remoção de objetos em imagens e vídeos é inerentemente um problema mal-posto, de um-para-muitos, onde múltiplas restaurações perceptualmente plausíveis podem existir para uma única região apagada. Consequentemente, definir uma única verdade fundamental (GT) é frequentemente impossível. Essa característica mina os protocolos de avaliação tradicionais:

Métricas de Referência Completa (FR): Métricas como PSNR, SSIM e LPIPS assumem uma correspondência ponto a ponto estrita com uma única referência. Elas frequentemente recompensam comportamentos de "copiar e colar" (saídas conservadoras que preservam o fundo) em vez de apagamentos genuínos e perceptualmente realistas. Além disso, sofrem de vieses de "regressão à média", onde reduzir as etapas de inferência de difusão (degradando a qualidade visual) paradoxalmente melhora as pontuações devido à redução da variância de pixels.
Métricas Sem Referência (NR): Métodos como ReMOVE e CFD, embora evitem a necessidade de GT, exibem vieses sistemáticos. Frequentemente atribuem pontuações infladas a saídas desfocadas (viés "Desfoque é Limpo") e penalizam incorretamente restaurações estruturalmente sólidas em cenários complexos de oclusão.
Métricas Temporais: Métricas de vídeo existentes (por exemplo, Consistência Temporal, Flickering Temporal) operam em características globais ao nível do quadro. Como as regiões removidas tipicamente ocupam apenas uma pequena fração do quadro, essas agregações globais diluem ou mascaram completamente artefatos temporais localizados dentro das regiões editadas.

Além disso, os benchmarks existentes carecem de uma combinação de autenticidade do mundo real e vídeos de referência emparelhados. Conjuntos de dados sintéticos (por exemplo, ROSE-Bench) oferecem máscaras precisas, mas carecem de complexidade do mundo real, enquanto conjuntos de dados do mundo real (por exemplo, DAVIS) carecem de vídeos-alvo livres emparelhados para comparação quantitativa controlada.

2. Metodologia

2.1 As Métricas RC (Coerência de Remoção)

Os autores propõem RC, um framework unificado de correspondência de distribuição local no espaço de características semânticas profundas, instanciado como duas métricas complementares:

RC-S (Coerência Espacial): Mede a consistência local entre o conteúdo restaurado e seu fundo circundante dentro de um único quadro.
- Processo: A região-alvo é recortada com contexto expandido. Características profundas são extraídas usando DINOv2. Uma janela deslizante é aplicada sobre o mapa de características.
- Mecanismo: Dentro de cada janela, a distribuição de características da região mascarada (restaurada) é comparada à região não mascarada (fundo) usando a Divergência de Máxima Média (MMD) ao quadrado.
- Racional: Essa comparação local detecta incoerência espacial que a agregação global perde. A MMD é escolhida em vez da similaridade de cosseno por sua sensibilidade a deslocamentos distribucionais (por exemplo, desfoque).
RC-T (Consistência Temporal): Mede a estabilidade das regiões restauradas através de quadros adjacentes.
- Processo: Para quadros adjacentes, uma região de avaliação compartilhada é definida usando a união de suas máscaras. Ambos os quadros são recortados sincronamente.
- Mecanismo: A métrica foca na interseção das regiões restauradas entre os dois quadros. Compara as distribuições de características dessas regiões interseccionadas usando MMD.
- Racional: Ao restringir a avaliação à área restaurada compartilhada, a RC-T evita o efeito de diluição causado por regiões de fundo inalteradas, permitindo a detecção sensível de flickering temporal localizado.

2.2 PROVE-Bench

Para suportar uma avaliação rigorosa, os autores introduzem o PROVE-Bench, uma suíte de benchmark de dois níveis:

PROVE-M (Emparelhado com Augmentação de Movimento): Um conjunto de dados de 80 vídeos compreendendo gravações emparelhadas do mundo real (vídeo de entrada, máscara e verdade fundamental livre de alvo). Para fechar a lacuna entre capturas estáticas de laboratório e vídeos de usuários reais, esses pares passam por augmentação de movimento (transformações geométricas no estilo Ken Burns, como panorâmica, zoom e tremor) para simular instabilidade de câmera manual.
PROVE-H (Difícil sem Restrições): Um conjunto de dados de 100 vídeos sem verdade fundamental, projetado para testar a generalização do modelo sob estresse. Visa cenários extremos, incluindo multidões, movimento rápido, reflexos complexos e fundos altamente texturizados. As máscaras são geradas automaticamente (SAM3) para refletir imperfeições práticas.

3. Contribuições Principais

Diagnóstico Sistemático: O artigo fornece uma análise empírica rigorosa dos modos de falha em métricas existentes, identificando vieses específicos, como preferência por "copiar e colar" em métricas FR, favorecimento de desfoque em métricas NR e insensibilidade regional em métricas temporais globais.
Métricas RC: A proposta de RC-S e RC-T, que utilizam um framework de correspondência de distribuição com janela deslizante (DINOv2 + MMD) para quantificar a coerência espacial local e a consistência temporal. Essas métricas alcançam um alinhamento substancialmente mais forte com julgamentos humanos do que os protocolos existentes.
PROVE-Bench: A construção de uma suíte de benchmark única que combina um conjunto de dados emparelhado do mundo real (PROVE-M) com augmentação de movimento e um subconjunto desafiador sem verdade fundamental (PROVE-H), abordando o dilema realismo-avaliabilidade nos conjuntos de dados atuais.

4. Resultados Experimentais

Experimentos extensivos foram conduzidos em diversos benchmarks de imagem (RORD-Val, OBER-Wild) e vídeo (DAVIS, ROSE-Bench, PROVE-Bench).

Correlação Humana: A RC-S alcançou a maior correlação com classificações humanas (Kendall's $\tau$ e Spearman's $\rho$ ) em seis benchmarks, superando métricas FR (PSNR, SSIM, LPIPS), métricas NR (ReMOVE, CFD) e métricas temporais globais. Notavelmente, a RC-S ficou em primeiro lugar em cinco dos seis benchmarks.
Análise de Sensibilidade:
- Sensibilidade ao Desfoque: Ao contrário do ReMOVE e CFD, que frequentemente aumentavam as pontuações à medida que a intensidade do desfoque aumentava, a RC-S diminuiu corretamente as pontuações de forma monótona, demonstrando resistência ao viés "Desfoque é Limpo".
- Sensibilidade Temporal: Em testes de sensibilidade envolvendo quedas e substituições aleatórias de quadros, a RC-T mostrou uma degradação monótona nas pontuações à medida que a corrupção aumentava. Em contraste, TC e TF permaneceram amplamente insensíveis ou até melhoraram, confirmando sua incapacidade de detectar artefatos temporais localizados.
Estudos de Ablação: Os autores validaram que a combinação de DINOv2 (para características sensíveis perceptualmente), janelas deslizantes (para localidade) e MMD (para discrepância distribucional) é crítica. Remover qualquer componente (por exemplo, usar similaridade de cosseno ou agregação global) reduziu significativamente a correlação com o julgamento humano.
Dificuldade do Benchmark: Experimentos no PROVE-M revelaram que introduzir movimento de câmera simulado causa degradação consistente e significativa de desempenho em todos os modelos mais avançados, destacando a necessidade de avaliação consciente de movimento.

5. Significado e Alegações

O artigo afirma que o PROVE fornece uma base mais confiável para avaliar a eficácia e os modos de falha de métodos de remoção de objetos. Ao mudar o paradigma de avaliação de "fidelidade a uma única referência" para "coerência perceptual com contexto e tempo", o framework aborda a incompatibilidade fundamental entre as métricas atuais e a natureza de um-para-muitos da tarefa.

Os autores afirmam que seu trabalho serve como uma base prática para padronização de benchmarks, oferecendo um framework unificado onde as métricas RC e o PROVE-Bench se complementam para suportar tanto comparação quantitativa rigorosa (via PROVE-M) quanto testes de estresse sob condições do mundo real sem restrições (via PROVE-H). O código e os conjuntos de dados estão disponíveis publicamente para facilitar a adoção pela comunidade.