💻 computer science

PROVE: A Perceptual RemOVal cohErence Benchmark for Visual Media

Dit artikel introduceert het PROVE-framework, bestaande uit de perceptie-gealigneerde RC-S- en RC-T-metrics en de PROVE-Bench-dataset, om de beperkingen van bestaande evaluatiemethoden aan te pakken door een nauwkeurigere beoordeling van de coherentie van objectverwijdering in visuele media te bieden die beter aansluit bij menselijke oordelen.

Oorspronkelijke auteurs: Fuhao Li, Shaofeng You, Jiagao Hu, Yu Liu, Yuxuan Chen, Zepeng Wang, Fei Wang, Daiguo Zhou, Jian Luan

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fuhao Li, Shaofeng You, Jiagao Hu, Yu Liu, Yuxuan Chen, Zepeng Wang, Fei Wang, Daiguo Zhou, Jian Luan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een fotoredacteur bent die is ingehuurd om een fotobomber uit een groepsfoto te verwijderen. Je doet het uitstekend: de persoon is weg en de achtergrond ziet er natuurlijk uit. Maar hoe weet je of je bewerking echt goed is?

Dit is het probleem dat het artikel PROVE aanpakt. De auteurs betogen dat de huidige hulpmiddelen die we gebruiken om deze bewerkingen te beoordelen, lijken op het gebruik van een liniaal om de smaak van soep te meten: ze kijken naar de verkeerde dingen.

Hier is een uiteenzetting van hun oplossing met behulp van eenvoudige analogieën.

1. Het Probleem: De "Kopiëren-en-Plakken"- en "Vage"-Vallen

Het artikel legt uit dat bestaande beoordelingstools (metrieken) twee grote fouten maken:

De "Kopiëren-en-Plakken"-Val (Full-Reference Metrieken): Stel je een leraar voor die het werk van een leerling beoordeelt door het woord voor woord te vergelijken met een voorbeeldantwoord. Als de leerling het voorbeeld perfect kopieert, krijgt hij een A, zelfs als het essay saai is.
- Bij beeldbewerking belonen oude tools modellen die de achtergrond van de originele foto gewoon "kopiëren-en-plakken" in plaats van het object daadwerkelijk te "wissen" en een nieuwe, realistische achtergrond te bedenken. Ze geven de voorkeur aan veilige, saaie antwoorden boven creatieve, realistische.
De "Vage is Schoon"-Val (No-Reference Metrieken): Stel je een jurylid voor dat denkt dat een vage foto beter is dan een scherpe, omdat de vage de fouten verbergt.
- Huidige tools geven vaak hoge scores aan vage resultaten, omdat vage dingen er "glad" en uniform uitzien. Ze merken niet op dat de afbeelding eigenlijk van lage kwaliteit is of dat het verwijderen van het object vreemde artefacten heeft veroorzaakt.

Het Videoprobleem: Bij het bewerken van een video kijken bestaande tools naar het hele scherm. Als de achtergrond stabiel is, maar de plek waar het object is verwijderd wild flitst, kan de tool toch een hoge score geven omdat de rest van de video goed is. Het is alsof een leraar een essay van 10 pagina's beoordeelt maar alleen de eerste pagina leest en de rest negeert.

2. De Oplossing: De "Schijnwerper"-Aanpak (RC-metrieken)

De auteurs stellen een nieuwe manier voor om bewerkingen te beoordelen, genaamd RC (Removal Coherence). In plaats van naar het hele beeld te kijken of het te vergelijken met een perfect referentiekader, gebruiken ze een "schuivende schijnwerper" om in te zoomen op het specifieke gebied waar het object is verwijderd.

Ze hebben twee belangrijkste tools:

RC-S (Ruimtelijke Coherentie): Denk hierbij aan een textuurdetective. Het zoomt in op het gat waar het object was en vraagt: "Ziet de nieuwe achtergrond hier eruit als de omliggende buurt?"
- Het gebruikt een schuivend venster (zoals een vergrootglas) om te controleren of de texturen, belichting en patronen overeenkomen met het gebied rond de bewerking. Als de nieuwe achtergrond eruitziet als een andere textuur of te vage is, daalt de score.
RC-T (Temporele Coherentie): Dit is de videostabiliteitsinspecteur. Het kijkt naar dezelfde plek in twee opeenvolgende frames.
- Het vraagt: "Springt deze plek rond of flitst hij terwijl de video afspeelt?" Als de achtergrond in het verwijderde gebied van frame tot frame schokt of vreemd verandert, vangt deze metriek dit op, zelfs als de rest van de video soepel is.

De Geheime Ingrediënt: Ze gebruiken een speciaal "brein" (een feature-extractor genaamd DINOv2) dat zeer gevoelig is voor kleine details en frequentieveranderingen, net zoals het menselijk oog gevoelig is voor subtiele visuele glitches.

3. Het Nieuwe Speelveld: PROVE-Bench

Om te bewijzen dat hun nieuwe beoordelingssysteem werkt, bouwden ze een nieuwe testomgeving genaamd PROVE-Bench. Ze realiseerden zich dat oude testsets ofwel:

Te nep waren: gegenereerde video's door computers die er niet echt uitzien.
Te moeilijk te beoordelen waren: echte video's waarbij we niet weten hoe de "perfecte" achtergrond eruit zou moeten zien.

Hun nieuwe benchmark bestaat uit twee delen:

PROVE-M (De Gecontroleerde Lab): Ze filmden echte scènes, verwijderden een object en filmden de scène opnieuw zonder het object. Dit gaf hen een "perfecte" ground truth om mee te vergelijken, maar ze voegden gesimuleerde camerabewegingen toe om het gevoel van een echte handheld-video te geven.
PROVE-H (De Stress-test): Een verzameling van 100 moeilijke, echte video's (menigten, snelle beweging, reflecties) waarbij ze geen perfecte referentie hebben. Dit test of de modellen chaos aankunnen.

4. De Resultaten

Toen ze hun nieuwe "Schijnwerper"-beoordelingssysteem testten tegen de oude tools:

Oude tools gaven vaak hoge scores aan vage, kopiëren-en-plakken-resultaten of misten flitsen in video's.
PROVE (RC-S en RC-T) stemde veel beter overeen met wat echte mensen mooi vonden. Als een mens zei: "Dat ziet er nep uit", ging de nieuwe metriek hiermee akkoord. Als een mens zei: "Dat ziet er geweldig uit", ging de nieuwe metriek hiermee akkoord.

Samenvatting

Het artikel betoogt dat we, om objectverwijdering te beoordelen, moeten stoppen met kijken naar het hele beeld of het vergelijken met een perfect referentiekader. In plaats daarvan moeten we inzoomen op het bewerkte gebied om te controleren of het opgaat in zijn buren (Ruimtelijk) en stabiel blijft in de tijd (Temporeel). Ze bouwden een nieuwe set tools en een nieuwe testomgeving om te bewijzen dat deze "inzoomen"-aanpak de enige manier is om een cijfer te krijgen dat overeenkomt met menselijke waarneming.

Technische Samenvatting: PROVE: Een Benchmark voor Perceptuele Verwijderingscoherentie voor Visuele Media

1. Probleemstelling

Objectverwijdering in afbeeldingen en video's is een van nature slecht gesteld, één-op-meerdere probleem waarbij meerdere perceptueel plausibele restauraties kunnen bestaan voor één enkele gewiste regio. Bijgevolg is het vaak onmogelijk om een unieke ground truth (GT) te definiëren. Dit kenmerk ondermijnt traditionele evaluatieprotocollen:

Full-Reference (FR) Metrieken: Metrieken zoals PSNR, SSIM en LPIPS gaan uit van een strikte punt-tot-punt-correspondentie met één referentie. Ze belonen vaak "copy-paste"-gedrag (conservatieve uitvoer die de achtergrond behoudt) boven authentieke, perceptueel realistische verwijdering. Bovendien lijden ze onder biases door "regressie naar het gemiddelde", waarbij het verminderen van de inferentiestappen van diffusie (wat de visuele kwaliteit verslechtert) paradoxaal genoeg de scores verbetert door een verminderde pixelvariatie.
No-Reference (NR) Metrieken: Methoden zoals ReMOVE en CFD, hoewel ze de behoefte aan GT vermijden, vertonen systematische biases. Ze toekennen vaak opgeblazen scores aan wazige uitvoer ("Blur is Clean"-bias) en straffen onterecht structureel solide restauraties in complexe occlusiescenario's.
Temporale Metrieken: Bestaande videometrieken (bijv. Temporal Consistency, Temporal Flickering) werken op globale frame-niveau kenmerken. Omdat verwijderde regio's doorgaans slechts een klein deel van het frame innemen, verdunnen deze globale aggregaties lokale temporale artefacten binnen de bewerkte regio's volledig of maskeren ze deze.

Bovendien ontbreekt het bestaande benchmarks aan een combinatie van authenticiteit uit de echte wereld en gekoppelde referentievideo's. Synthetische datasets (bijv. ROSE-Bench) bieden precieze maskers maar missen complexiteit uit de echte wereld, terwijl datasets uit de echte wereld (bijv. DAVIS) geen gekoppelde doel-vrije video's hebben voor gecontroleerde kwantitatieve vergelijking.

2. Methodologie

2.1 De RC-metrieken (Removal Coherence)

De auteurs stellen RC voor, een unificerend lokaal distributiematchingskader in de diepe semantische kenruimte, geïmplementeerd als twee complementaire metrieken:

RC-S (Spatiale Coherentie): Meet de lokale consistentie tussen de gerestaureerde inhoud en de omringende achtergrond binnen één frame.
- Proces: De doelregio wordt bijgesneden met uitgebreide context. Diepe kenmerken worden geëxtraheerd met DINOv2. Een schuifvenster wordt toegepast op de kenmerkkaart.
- Mechanisme: Binnen elk venster wordt de kenmerkdistributie van het gemaskeerde (gerestaureerde) gebied vergeleken met het ongemaskeerde (achtergrond) gebied met behulp van de gekwadrateerde Maximum Mean Discrepancy (MMD).
- Redenering: Deze lokale vergelijking detecteert spatiale incoherentie die globale aggregatie mist. MMD wordt gekozen boven cosijn-sequentie vanwege de gevoeligheid voor distributieverschuivingen (bijv. wazigheid).
RC-T (Temporale Consistentie): Meet de stabiliteit van gerestaureerde regio's over opeenvolgende frames.
- Proces: Voor opeenvolgende frames wordt een gedeelde evaluatieregio gedefinieerd met behulp van de unie van hun maskers. Beide frames worden synchroon bijgesneden.
- Mechanisme: De metriek richt zich op de doorsnede van de gerestaureerde regio's over de twee frames. Het vergelijkt de kenmerkdistributies van deze doorsnede-regio's met MMD.
- Redenering: Door de evaluatie te beperken tot het gedeelde gerestaureerde gebied, vermijdt RC-T het verdunnende effect veroorzaakt door onveranderde achtergrondregio's, waardoor een gevoelige detectie van lokale temporale trillingen mogelijk wordt.

2.2 PROVE-Bench

Om een rigoureuze evaluatie te ondersteunen, introduceren de auteurs PROVE-Bench, een tweeledige benchmarksuite:

PROVE-M (Motion-Augmented Paired): Een dataset van 80 video's bestaande uit gekoppelde opnames uit de echte wereld (inputvideo, masker en doel-vrije ground truth). Om de kloof te overbruggen tussen statische lab-opnames en video's van echte gebruikers, ondergaan deze paren bewegingsaugmentatie (geometrische transformaties in Ken Burns-stijl zoals paneren, zoomen en schudden) om instabiliteit van handcamera's te simuleren.
PROVE-H (Hard Unconstrained): Een dataset van 100 video's zonder ground truth, ontworpen om de generalisatie van modellen op de proef te stellen. Het richt zich op extreme scenario's, waaronder menigten, snelle beweging, complexe reflecties en sterk getextureerde achtergronden. Maskers worden automatisch gegenereerd (SAM3) om praktische onvolkomenheden te weerspiegelen.

3. Belangrijkste Bijdragen

Systematische Diagnose: Het paper biedt een rigoureuze empirische analyse van faalmodi in bestaande metrieken, waarbij specifieke biases worden geïdentificeerd, zoals de voorkeur voor "copy-paste" in FR-metrieken, "voorkeur voor wazigheid" in NR-metrieken en regionale ongevoeligheid in globale temporale metrieken.
RC-metrieken: Het voorstellen van RC-S en RC-T, die een schuifvenster-distributiematchingskader (DINOv2 + MMD) gebruiken om lokale spatiale coherentie en temporale consistentie te kwantificeren. Deze metrieken bereiken een aanzienlijk sterkere alignering met menselijke oordelen dan bestaande protocollen.
PROVE-Bench: De constructie van een unieke benchmarksuite die een dataset uit de echte wereld met gekoppelde paren (PROVE-M) en bewegingsaugmentatie combineert met een uitdagende subset zonder ground truth (PROVE-H), waarmee het dilemma realisme-evalueerbaarheid in huidige datasets wordt aangepakt.

4. Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd over diverse afbeeldingsbenchmarks (RORD-Val, OBER-Wild) en videobenchmarks (DAVIS, ROSE-Bench, PROVE-Bench).

Menselijke Correlatie: RC-S behaalde de hoogste correlatie met menselijke rangschikkingen (Kendall's $\tau$ en Spearman's $\rho$ ) over zes benchmarks, en presteerde beter dan FR-metrieken (PSNR, SSIM, LPIPS), NR-metrieken (ReMOVE, CFD) en globale temporale metrieken. Opmerkelijk genoeg stond RC-S op vijf van de zes benchmarks op de eerste plaats.
Gevoeligheidsanalyse:
- Wazigheidsgevoeligheid: In tegenstelling tot ReMOVE en CFD, die vaak hogere scores gaven naarmate de intensiteit van de wazigheid toenam, liet RC-S correct monotoon dalende scores zien, wat weerstand tegen de "Blur is Clean"-bias aantoont.
- Temporale Gevoeligheid: In gevoeligheidstests met willekeurige frame-dropping en vervangingen vertoonde RC-T een monotoon verslechterende score naarmate corruptie toenam. Daarentegen bleven TC en TF grotendeels ongevoelig of verbeterden zelfs, wat hun onvermogen bevestigt om lokale temporale artefacten te detecteren.
Ablatiestudies: De auteurs valideerden dat de combinatie van DINOv2 (voor perceptueel gevoelige kenmerken), schuifvensters (voor localiteit) en MMD (voor distributieverschil) cruciaal is. Het verwijderen van een component (bijv. het gebruik van cosijn-sequentie of globale aggregatie) verminderde de correlatie met menselijke oordelen aanzienlijk.
Benchmarkmoeilijkheid: Experimenten op PROVE-M onthulden dat het introduceren van gesimuleerde camerabeweging leidt tot consistente en significante prestatiedegradatie bij alle state-of-the-art modellen, wat de noodzaak van bewegingsbewuste evaluatie onderstreept.

5. Betekenis en Beweringen

Het paper beweert dat PROVE een betrouwbaardere basis biedt voor het beoordelen van de effectiviteit en faalmodi van objectverwijderingsmethoden. Door het evaluatieparadigma te verschuiven van "trouwheid aan één enkele referentie" naar "perceptuele coherentie met context en tijd", adresseert het kader het fundamentele misverstand tussen huidige metrieken en de één-op-meerdere aard van de taak.

De auteurs stellen dat hun werk dient als een praktische basis voor gestandaardiseerde benchmarking, waarbij een unificerend kader wordt geboden waarin RC-metrieken en PROVE-Bench elkaar aanvullen om zowel rigoureuze kwantitatieve vergelijking (via PROVE-M) als stress-tests onder onbeperkte realistische omstandigheden (via PROVE-H) te ondersteunen. De code en datasets zijn publiek beschikbaar gesteld om de adoptie door de gemeenschap te faciliteren.