💻 computer science

PROVE: A Perceptual RemOVal cohErence Benchmark for Visual Media

Ce papier présente le cadre PROVE, comprenant les métriques RC-S et RC-T alignées sur la perception et le jeu de données PROVE-Bench, afin de remédier aux limites des méthodes d'évaluation existantes en offrant une évaluation plus précise de la cohérence de la suppression d'objets dans les médias visuels, mieux alignée sur le jugement humain.

Auteurs originaux : Fuhao Li, Shaofeng You, Jiagao Hu, Yu Liu, Yuxuan Chen, Zepeng Wang, Fei Wang, Daiguo Zhou, Jian Luan

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fuhao Li, Shaofeng You, Jiagao Hu, Yu Liu, Yuxuan Chen, Zepeng Wang, Fei Wang, Daiguo Zhou, Jian Luan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un photographe éditeur embauché pour retirer un photobombeur d'une photo de groupe. Vous faites du excellent travail : la personne a disparu et l'arrière-plan semble naturel. Mais comment savoir si votre retouche est réellement bonne ?

C'est le problème que l'article PROVE aborde. Les auteurs soutiennent que les outils actuels utilisés pour noter ces retouches sont comme utiliser une règle pour mesurer le goût d'une soupe : ils examinent les mauvais aspects.

Voici une décomposition de leur solution à l'aide d'analogies simples.

1. Le Problème : Les Pièges du « Copier-Coller » et du « Flou »

L'article explique que les outils de notation existants (les métriques) commettent deux erreurs majeures :

Le Piège du « Copier-Coller » (Métriques à Référence Complète) : Imaginez un professeur notant la copie d'un élève en la comparant mot pour mot à une réponse modèle. Si l'élève copie parfaitement l'exemple, il obtient un A, même si la copie est ennuyeuse.
- En édition d'image, les anciens outils récompensent les modèles qui se contentent de « copier-coller » l'arrière-plan de la photo originale plutôt que d'« effacer » réellement l'objet et d'inventer un nouvel arrière-plan réaliste. Ils préfèrent des réponses sûres et ennuyeuses à des réponses créatives et réalistes.
Le Piège du « Flou est Propre » (Métriques sans Référence) : Imaginez un juge qui pense qu'une photo floue est meilleure qu'une photo nette parce que le flou cache les erreurs.
- Les outils actuels attribuent souvent de hauts scores aux résultats flous car le flou rend les choses « lisses » et uniformes. Ils ne remarquent pas que l'image est en réalité de mauvaise qualité ou que la suppression de l'objet a créé des artefacts étranges.

Le Problème Vidéo : Lors de l'édition d'une vidéo, les outils existants examinent l'écran entier. Si l'arrière-plan est stable mais que l'endroit où l'objet a été supprimé clignote frénétiquement, l'outil peut toujours attribuer un score élevé car le reste de la vidéo est correct. C'est comme un professeur notant un essai de 10 pages mais ne lisant que la première page et ignorant le reste.

2. La Solution : L'Approche « Projecteur » (Métriques RC)

Les auteurs proposent une nouvelle façon de noter les retouches appelée RC (Cohérence de Suppression). Au lieu d'examiner l'image entière ou de la comparer à une référence parfaite, ils utilisent un « projecteur glissant » pour zoomer sur la zone spécifique où l'objet a été supprimé.

Ils disposent de deux outils principaux :

RC-S (Cohérence Spatiale) : Pensez-y comme un détective de texture. Il zoome sur le trou laissé par l'objet et demande : « L'arrière-plan ici ressemble-t-il au quartier environnant ? »
- Il utilise une fenêtre glissante (comme une loupe) pour vérifier si les textures, l'éclairage et les motifs correspondent à la zone autour de la retouche. Si le nouvel arrière-plan a une texture différente ou est trop flou, le score baisse.
RC-T (Cohérence Temporelle) : C'est l'inspecteur de stabilité vidéo. Il examine le même point sur deux images consécutives.
- Il demande : « Ce point bouge-t-il ou clignote-t-il pendant la lecture de la vidéo ? » Si l'arrière-plan dans la zone supprimée tremble ou change étrangement d'une image à l'autre, cette métrique le détecte, même si le reste de la vidéo est fluide.

Le Secret : Ils utilisent un « cerveau » spécial (un extracteur de caractéristiques appelé DINOv2) qui est très sensible aux détails infimes et aux changements de fréquence, tout comme l'œil humain est sensible aux glitches visuels subtils.

3. Le Nouveau Terrain de Jeu : PROVE-Bench

Pour prouver que leur nouveau système de notation fonctionne, ils ont construit un nouveau terrain d'essai appelé PROVE-Bench. Ils ont réalisé que les anciens ensembles de tests étaient soit :

Trop faux : Des vidéos générées par ordinateur qui ne ressemblent pas à la réalité.
Trop difficiles à noter : Des vidéos réelles où l'on ne sait pas à quoi devrait ressembler l'arrière-plan « parfait ».

Leur nouvelle référence comporte deux parties :

PROVE-M (Le Laboratoire Contrôlé) : Ils ont filmé des scènes réelles, supprimé un objet, puis filmé la scène à nouveau sans l'objet. Cela leur donne une « vérité terrain » parfaite à comparer, mais ils ont ajouté des secousses de caméra simulées pour donner l'impression d'une vidéo réelle prise à la main.
PROVE-H (Le Test de Stress) : Une collection de 100 vidéos réelles difficiles (foules, mouvements rapides, reflets) où ils n'ont pas de référence parfaite. Cela teste si les modèles peuvent gérer le chaos.

4. Les Résultats

Lorsqu'ils ont testé leur nouveau système de notation « Projecteur » contre les anciens outils :

Les anciens outils attribuaient souvent de hauts scores à des résultats flous ou copiés-collés, ou manquaient les clignotements dans les vidéos.
PROVE (RC-S et RC-T) s'alignait beaucoup mieux avec ce que les humains trouvaient réellement bon. Si un humain disait : « Ça a l'air faux », la nouvelle métrique était d'accord. Si un humain disait : « Ça a l'air génial », la nouvelle métrique était d'accord.

Résumé

L'article soutient que pour juger la suppression d'objets, nous devons arrêter d'examiner l'image entière ou de la comparer à une référence parfaite. Au lieu de cela, nous devons zoomer sur la zone éditée pour vérifier si elle se fond avec ses voisins (Spatial) et reste stable dans le temps (Temporel). Ils ont créé un nouvel ensemble d'outils et un nouveau terrain d'essai pour prouver que cette approche « zoomer » est la seule façon d'obtenir une note correspondant à la perception humaine.

Résumé technique : PROVE : Une référence de cohérence de suppression perceptuelle pour les médias visuels

1. Énoncé du problème

La suppression d'objets dans les images et les vidéos est un problème intrinsèquement mal posé, de type un-à-plusieurs, où plusieurs restaurations perceptuellement plausibles peuvent exister pour une seule région effacée. Par conséquent, définir une vérité terrain (GT) unique est souvent impossible. Cette caractéristique sape les protocoles d'évaluation traditionnels :

Métriques à référence complète (FR) : Des métriques comme PSNR, SSIM et LPIPS supposent une correspondance stricte point à point avec une seule référence. Elles récompensent fréquemment des comportements de « copier-coller » (sorties conservatrices préservant l'arrière-plan) plutôt qu'une élimination authentique et perceptuellement réaliste. De plus, elles souffrent de biais de « régression vers la moyenne », où la réduction des étapes d'inférence par diffusion (dégradant la qualité visuelle) améliore paradoxalement les scores en raison d'une variance des pixels réduite.
Métriques sans référence (NR) : Des méthodes comme ReMOVE et CFD, bien qu'évitant le besoin de vérité terrain, présentent des biais systématiques. Elles attribuent souvent des scores gonflés aux sorties floues (biais « le flou est propre ») et pénalisent incorrectement des restaurations structurellement saines dans des scénarios d'occlusion complexes.
Métriques temporelles : Les métriques vidéo existantes (par exemple, cohérence temporelle, scintillement temporel) opèrent sur des caractéristiques globales au niveau des images. Étant donné que les régions supprimées n'occupent généralement qu'une petite fraction de l'image, ces agrégations globales diluent ou masquent entièrement les artefacts temporels localisés au sein des régions éditées.

En outre, les références existantes manquent d'une combinaison d'authenticité du monde réel et de vidéos de référence appariées. Les jeux de données synthétiques (par exemple, ROSE-Bench) offrent des masques précis mais manquent de complexité du monde réel, tandis que les jeux de données du monde réel (par exemple, DAVIS) manquent de vidéos cibles sans paire pour une comparaison quantitative contrôlée.

2. Méthodologie

2.1 Les métriques RC (Cohérence de suppression)

Les auteurs proposent RC, un cadre unifié de correspondance de distributions locales dans l'espace des caractéristiques sémantiques profondes, instancié sous forme de deux métriques complémentaires :

RC-S (Cohérence spatiale) : Mesure la cohérence locale entre le contenu restauré et son arrière-plan environnant au sein d'une seule image.
- Processus : La région cible est recadrée avec un contexte étendu. Des caractéristiques profondes sont extraites à l'aide de DINOv2. Une fenêtre glissante est appliquée sur la carte de caractéristiques.
- Mécanisme : Dans chaque fenêtre, la distribution des caractéristiques de la région masquée (restaurée) est comparée à celle de la région non masquée (arrière-plan) en utilisant le carré de la Discrépance Maximale des Moyennes (MMD).
- Raison d'être : Cette comparaison locale détecte les incohérences spatiales que l'agrégation globale manque. La MMD est choisie par rapport à la similarité cosinus pour sa sensibilité aux décalages de distribution (par exemple, le flou).
RC-T (Cohérence temporelle) : Mesure la stabilité des régions restaurées à travers les images adjacentes.
- Processus : Pour des images adjacentes, une région d'évaluation partagée est définie en utilisant l'union de leurs masques. Les deux images sont recadrées de manière synchrone.
- Mécanisme : La métrique se concentre sur l'intersection des régions restaurées entre les deux images. Elle compare les distributions de caractéristiques de ces régions intersectées en utilisant la MMD.
- Raison d'être : En restreignant l'évaluation à la zone restaurée partagée, RC-T évite l'effet de dilution causé par les régions d'arrière-plan inchangées, permettant une détection sensible du scintillement temporel localisé.

2.2 PROVE-Bench

Pour soutenir une évaluation rigoureuse, les auteurs introduisent PROVE-Bench, une suite de références à deux niveaux :

PROVE-M (Apparié augmenté par le mouvement) : Un jeu de données de 80 vidéos comprenant des enregistrements appariés du monde réel (vidéo d'entrée, masque et vérité terrain sans cible). Pour combler le fossé entre les captures de laboratoire statiques et les vidéos d'utilisateurs réels, ces paires subissent une augmentation par le mouvement (transformations géométriques de style Ken Burns comme le panoramique, le zoom et le tremblement) pour simuler l'instabilité des caméras portables.
PROVE-H (Contraintes difficiles) : Un jeu de données de 100 vidéos sans vérité terrain, conçu pour tester la généralisation des modèles. Il vise des scénarios extrêmes incluant des foules, des mouvements rapides, des réflexions complexes et des arrière-plans fortement texturés. Les masques sont générés automatiquement (SAM3) pour refléter les imperfections pratiques.

3. Contributions clés

Diagnostic systématique : L'article fournit une analyse empirique rigoureuse des modes de défaillance des métriques existantes, identifiant des biais spécifiques tels que la préférence pour le « copier-coller » dans les métriques FR, la « préférence du flou » dans les métriques NR, et l'insensibilité régionale dans les métriques temporelles globales.
Métriques RC : La proposition de RC-S et RC-T, qui utilisent un cadre de correspondance de distributions par fenêtre glissante (DINOv2 + MMD) pour quantifier la cohérence spatiale locale et la cohérence temporelle. Ces métriques atteignent un alignement substantiellement plus fort avec les jugements humains que les protocoles existants.
PROVE-Bench : La construction d'une suite de références unique combinant un jeu de données apparié du monde réel (PROVE-M) avec augmentation par le mouvement et un sous-ensemble difficile sans vérité terrain (PROVE-H), répondant au dilemme réalisme-évaluabilité dans les jeux de données actuels.

4. Résultats expérimentaux

Des expériences extensives ont été menées sur divers benchmarks d'images (RORD-Val, OBER-Wild) et de vidéos (DAVIS, ROSE-Bench, PROVE-Bench).

Corrélation humaine : RC-S a obtenu la corrélation la plus élevée avec les classements humains ( $\tau$ de Kendall et $\rho$ de Spearman) sur six benchmarks, surpassant les métriques FR (PSNR, SSIM, LPIPS), les métriques NR (ReMOVE, CFD) et les métriques temporelles globales. Notamment, RC-S s'est classé premier sur cinq des six benchmarks.
Analyse de sensibilité :
- Sensibilité au flou : Contrairement à ReMOVE et CFD, qui augmentaient souvent les scores à mesure que l'intensité du flou augmentait, RC-S a correctement diminué les scores de manière monotone, démontrant une résistance au biais « le flou est propre ».
- Sensibilité temporelle : Dans des tests de sensibilité impliquant des suppressions et des remplacements aléatoires d'images, RC-T a montré une dégradation monotone des scores à mesure que la corruption augmentait. En revanche, TC et TF sont restés largement insensibles ou se sont même améliorés, confirmant leur incapacité à détecter les artefacts temporels localisés.
Études d'ablation : Les auteurs ont validé que la combinaison de DINOv2 (pour des caractéristiques sensibles sur le plan perceptuel), de fenêtres glissantes (pour la localité) et de MMD (pour la discrépance de distribution) est critique. Le retrait de n'importe quel composant (par exemple, l'utilisation de la similarité cosinus ou de l'agrégation globale) a considérablement réduit la corrélation avec le jugement humain.
Difficulté du benchmark : Les expériences sur PROVE-M ont révélé que l'introduction d'un mouvement de caméra simulé provoque une dégradation constante et significative des performances chez tous les modèles de l'état de l'art, soulignant la nécessité d'une évaluation consciente du mouvement.

5. Importance et revendications

L'article revendique que PROVE fournit une base plus fiable pour évaluer l'efficacité et les modes de défaillance des méthodes de suppression d'objets. En passant du paradigme d'évaluation de la « fidélité à une seule référence » à celui de la « cohérence perceptuelle avec le contexte et le temps », le cadre adresse le décalage fondamental entre les métriques actuelles et la nature un-à-plusieurs de la tâche.

Les auteurs déclarent que leur travail sert de fondement pratique à l'établissement de références normalisées, offrant un cadre unifié où les métriques RC et PROVE-Bench se complètent pour soutenir à la fois une comparaison quantitative rigoureuse (via PROVE-M) et des tests de résistance dans des conditions réelles non contraintes (via PROVE-H). Le code et les jeux de données sont rendus publics pour faciliter l'adoption par la communauté.