BeyondMasks: Evaluating Causal and Physical Consistency in Video Object Removal

Nel mondo del video digitale, sta crescendo la capacità di modificare la realtà con un semplice comando. Immaginate di guardare la registrazione di una strada trafficata e di chiedere a un computer di cancellare un'auto specifica, lasciando il resto della scena perfettamente intatto. Per anni, la tecnologia alla base di ciò si è concentrata su un compito limitato: riempire lo spazio vuoto dove un oggetto si trovava in precedenza. È come un pittore che ritocca con cura un buco in una parete, cercando di far corrispondere la trama e il colore ai mattoni circostanti. Questo approccio funziona bene quando l'oggetto è semplicemente lì fermo, ma spesso fallisce quando l'oggetto ha interagito con il suo mondo. Nel mondo fisico reale, le cose non occupano solo uno spazio; esse proiettano ombre, riflettono la luce, cambiano il modo in cui una stanza è illuminata e lasciano dietro di sé tracce del proprio movimento, come increspature nell'acqua o polvere sollevata da un passo. Se si rimuove l'oggetto ma si lasciano dietro queste conseguenze fisiche, la scena appare sbagliata, come se un fantasma infestasse l'inquadratura.

Un team di ricercatori ha compreso che il vero editing video richiede più di un semplice riempimento di un buco; richiede la comprensione delle relazioni di causa ed effetto che legano un oggetto al suo ambiente. Hanno introdotto un nuovo modo di testare gli strumenti di editing video, chiamato BeyondMasks, che sfida i computer a rimuovere non solo l'oggetto, ma anche gli effetti fisici invisibili che esso ha creato. Per farlo, hanno costruito una collezione di 180 clip video, metà create al computer e metà filmate nel mondo reale. In ogni clip, hanno una versione "prima" con un oggetto presente e una versione "dopo" in cui quell'oggetto non è mai esistito, fungendo da risposta perfetta. Ciò permette loro di vedere esattamente cosa sbaglia il computer. Hanno scoperto che anche gli strumenti video più avanzati, capaci di rendere lo spazio vuoto molto realistico, falliscono costantemente nel rimuovere gli effetti secondari. Un'ombra potrebbe persistere sul terreno dove un tempo stava una volpe, o un riflesso potrebbe rimanere in una finestra dopo che una lampada è stata eliminata. I ricercatori hanno scoperto che la tecnologia attuale tratta l'oggetto e la sua impronta fisica come problemi separati, quando in realtà sono una cosa sola.

Per misurare questi fallimenti, il team ha sviluppato un nuovo sistema di punteggio che agisce come un occhio critico. Invece di contare semplicemente quanti pixel corrispondono alla risposta perfetta, utilizzano un'intelligenza artificiale sofisticata per guardare i video e giudicare se la scena appare fisicamente coerente. Questo sistema controlla due cose: l'oggetto è scomparso completamente e l'ambiente è tornato a uno stato naturale come se l'oggetto non ci fosse mai stato? Quando hanno testato nove dei migliori modelli di editing video disponibili oggi, i risultati sono stati rivelatori. Mentre alcuni modelli ottenevano punteggi molto alti nelle misure tradizionali della qualità dell'immagine, ottenevano punteggi bassi in questo nuovo test di logica fisica. Ad esempio, uno strumento potrebbe cancellare con successo un'anatra da uno stagno ma lasciare dietro di sé le increspature che ha creato, o rimuovere una teiera ma lasciare l'ombra che essa proiettava sul tavolo. Lo studio dimostra che questi strumenti stanno ancora lottando per comprendere la fisica della luce e della materia. Possono allucinare uno sfondo che sembri plausibile, ma non possono ragionare sulla catena causale di eventi che un oggetto innesca.

I ricercatori hanno anche esaminato il motivo per cui avvengono questi errori. Hanno scoperto che molti strumenti di editing funzionano semplicemente oscurando l'area in cui si trova l'oggetto e chiedendo al computer di indovinare cosa dovrebbe esserci. Questo approccio scarta indizi preziosi. Se una tazza di vetro è appoggiata su un tavolo, il computer può vedere il tavolo attraverso il vetro. Se lo strumento blocca interamente la tazza, perde quella visione del tavolo e deve indovinare il pattern, sbagliando spesso. Lo studio suggerisce che i futuri sistemi di rimozione dovrebbero incorporare un ragionamento consapevole del contesto piuttosto che fare affidamento esclusivamente sull'inpainting mascherato per recuperare meglio le informazioni mancanti. Lo studio evidenzia un divario significativo tra ciò che appare visivamente fluido e ciò che è effettivamente fisicamente corretto. Suggerisce che, affinché l'editing video sia davvero reale, la tecnologia debba andare oltre la semplice riparazione dell'immagine e imparare a comprendere le regole invisibili del mondo fisico, assicurando che, quando un oggetto viene rimosso, il mondo in cui vive torni a uno stato di perfetta coerenza.