BeyondMasks: Evaluating Causal and Physical Consistency in Video Object Removal

In de wereld van digitale video is er een groeiend vermogen om de werkelijkheid te bewerken met een eenvoudige opdracht. Stel je voor dat je naar een opname van een drukke straat kijkt en een computer vraagt om een specifieke auto te wissen, waarbij de rest van de scène perfect intact blijft. Jarenlang heeft de technologie achter dit proces zich gericht op een nauwe taak: het opvullen van de lege ruimte waar een object vroeger zat. Het is also wordt een schilder die zorgvuldig een gat in een muur overschildert, waarbij hij probeert de textuur en kleur van de omliggende bakstenen te evenaren. Deze aanpak werkt goed wanneer het object daar gewoon stilstaat, maar het faalt vaak wanneer het object interactie heeft gehad met zijn omgeving. In de echte fysieke wereld nemen dingen niet alleen ruimte in; ze werpen schaduwen, reflecteren licht, veranderen de manier waarop een kamer wordt verlicht en laten sporen van hun beweging achter, zoals rimpelingen in het water of opgewaaid stof door een voetstap. Als je het object verwijdert maar deze fysieke gevolgen achterlaat, ziet de scène er vreemd uit, alsof er een geest door het beeld spookt.

Een team van onderzoekers heeft beseft dat echte videobewerking meer vereist dan alleen het opvullen van een gat; het vereist begrip van de oorzaak-gevolgrelaties die een object aan zijn omgeving binden. Ze hebben een nieuwe manier geïntroduceerd om video-bewerkingsinstrumenten te testen, genaamd BeyondMasks, die computers uitdaagt om niet alleen het object te verwijderen, maar ook de onzichtbare fysieke effecten die het creëerde. Om dit te doen, hebben ze een collectie van 180 videoclips samengesteld, waarvan de helft computergegenereerd en de andere helft gefilmd in de echte wereld. In elke clip hebben ze een "voor"-versie met een aanwezig object en een "na"-versie waarin dat object nooit aanwezig was, wat dient als het perfecte antwoordmodel. Dit stelt hen in staat om precies te zien wat de computer fout doet. Ze ontdekten dat zelfs de meest geavanceerde video-instrumenten, die de lege ruimte er zeer realistisch uit kunnen laten zien, consequent falen in het verwijderen van de secundaire effecten. Een schaduw kan blijven liggen op de grond waar ooit een vos stond, of een reflectie kan in een raam blijven staan nadat een lamp is verwijderd. De onderzoekers ontdekten dat de huidige technologie het object en zijn fysieke voetafdruk als afzonderlijke problemen behandelt, terwijl ze in werkelijkheid één en hetzelfde zijn.

Om deze fouten te meten, ontwikkelde het team een nieuw scoresysteem dat fungeert als een kritisch oog. In plaats van alleen te tellen hoeveel pixels overeenkomen met het perfecte antwoord, gebruiken ze een geavanceerde kunstmatige intelligentie om de video's te bekijken en te beoordelen of de scène fysiek consistent is. Dit systeem controleert twee zaken: is het object volledig verdwenen, en is de omgeving teruggekeerd naar een natuurlijke staat alsof het object er nooit was geweest? Toen ze negen van de beste huidige video-bewerkingsmodellen testten, waren de resultaten onthullend. Hoewel sommige modellen zeer hoog scoorden op traditionele maten voor beeldkwaliteit, scoorden ze laag op deze nieuwe test van fysieke logica. Bijvoorbeeld, een hulpmiddel kan bijvoorbeeld succesvol een eend uit een vijver wissen maar de rimpelingen die het maakte achterlaten, of een theepot verwijderen maar de schaduw die het op de tafel wierp laten staan. De studie laat zien dat deze instrumenten nog steeds worstelen met het begrijpen van de fysica van licht en materie. Ze kunnen een achtergrond hallucineren die aannemelijk oogt, maar ze kunnen niet redeneren over de causale keten van gebeurtenissen die een object triggert.

De onderzoekers keken ook naar de reden waarom deze fouten worden gemaakt. Ze ontdekten dat veel bewerkingsinstrumenten werken door simpelweg het gebied waar het object zich bevindt af te dekken en de computer te vragen te raden wat daar zou moeten zijn. Deze aanpak gooit waardevolle aanwijzingen weg. Als er een glazen beker op een tafel staat, kan de computer de tafel door het glas heen zien. Als het hulpmiddel de beker volledig afdekt, verliest het dat zicht op de tafel en moet het de patronen raden, wat vaak fout gaat. De studie suggereert dat toekomstige verwijderingssystemen contextbewust redeneren moeten incorporeren in plaats uitsluitend te vertrouwen op gemaskeerde inpainting om informatie beter te kunnen herstellen. De studie benadrukt een aanzienlijke kloof tussen wat er visueel vloeiend uitziet en wat daadwerkelijk fysiek correct is. Het suggereert dat voor video-bewerking echt echt te voelen, de technologie verder moet gaan dan eenvoudige beeldreparatie en moet leren de onzichtbare regels van de fysieke wereld te begrijpen, zodat wanneer een object wordt verwijderd, de wereld waarin het leefde terugkeert naar een staat van perfecte consistentie.