BeyondMasks: Evaluating Causal and Physical Consistency in Video Object Removal

En el mundo del vídeo digital, existe una creciente capacidad para editar la realidad con un simple comando. Imagine observar la grabación de una calle concurrida y pedirle a un ordenador que borre un coche específico, dejando el resto de la escena perfectamente intacta. Durante años, la tecnología detrás de esto se ha centrado en una tarea estrecha: rellenar el espacio vacío donde antes había un objeto. Es como un pintor que vuelve a pintar cuidadosamente un agujero en una pared, intentando igualar la textura y el color de los ladrillos circundantes. Este enfoque funciona bien cuando el objeto está simplemente allí sentado, pero a menudo falla cuando el objeto ha estado interactuando con su entorno. En el mundo físico real, las cosas no solo ocupan espacio; proyectan sombras, reflejan la luz, cambian la forma en que se ilumina una habitación y dejan tras de sí rastros de su movimiento, como las ondas en el agua o el polvo levantado por un paso. Si se elimina el objeto pero se dejan estas consecuencias físicas, la escena se ve mal, como si un fantasma estuviera acechando el encuadre.

Un equipo de investigadores se ha dado cuenta de que la verdadera edición de vídeo requiere más que solo rellenar un agujero; requiere comprender las relaciones de causa y efecto que vinculan un objeto con su entorno. Han introducido una nueva forma de probar las herramientas de edición de vídeo, llamada BeyondMasks, que desafía a los ordenadores a eliminar no solo el objeto, sino también los efectos físicos invisibles que este creó. Para ello, han construido una colección de 180 clips de vídeo, la mitad creados por ordenador y la otra mitad filmados en el mundo real. En cada clip, tienen una versión "antes" con un objeto presente y una versión "después" donde ese objeto nunca estuvo allí, sirviendo como la clave de respuestas perfecta. Esto les permite ver exactamente en qué se equivoca el ordenador. Descubrieron que incluso las herramientas de vídeo más avanzadas, que pueden hacer que el espacio vacío parezca muy realista, fallan sistemáticamente al eliminar los efectos secundarios. Una sombra puede persistir en el suelo donde antes estaba un zorro, o un reflejo puede permanecer en una ventana después de que se haya eliminado una lámpara. Los investigadores descubrieron que la tecnología actual trata al objeto y a su huella física como problemas separados, cuando en realidad son uno y el mismo.

Para medir estos fallos, el equipo desarrolló un nuevo sistema de puntuación que actúa como un ojo crítico. En lugar de simplemente contar cuántos píxeles coinciden con la respuesta perfecta, utilizan una inteligencia artificial sofisticada para observar los vídeos y juzgar si la escena parece físicamente coherente. Este sistema comprueba dos cosas: ¿desapareció el objeto por completo? y ¿volvió el entorno a un estado natural como si el objeto nunca hubiera estado allí? Cuando probaron nueve de los mejores modelos de edición de vídeo disponibles hoy en día, los resultados fueron reveladores. Mientras que algunos modelos puntuaban muy alto en medidas tradicionales de calidad de imagen, puntuaban bajo en esta nueva prueba de lógica física. Por ejemplo, una herramienta podría borrar con éxito un pato de un estanque pero dejar las ondas que este provocó, o eliminar una tetera pero dejar la sombra que proyectaba sobre la mesa. El estudio muestra que estas herramientas todavía están luchando por comprender la física de la luz y la materia. Pueden alucinar un fondo que parezca plausible, pero no pueden razonar sobre la cadena causal de eventos que un objeto desencadena.

Los investigadores también analizaron por qué ocurren estos errores. Descubrieron que muchas herramientas de edición funcionan simplemente bloqueando el área donde se encuentra el objeto y pidiéndole al ordenador que adivine qué debería haber allí. Este enfoque desecha pistas valiosas. Si una copa de cristal está sobre una mesa, el ordenador puede ver la mesa a través del cristal. Si la herramienta bloquea la copa por completo, pierde esa visión de la mesa y tiene que adivinar el patrón, fallando a menudo. El estudio sugiere que los futuros sistemas de eliminación deberían incorporar un razonamiento consciente del contexto en lugar de depender únicamente de la inpainting con máscara para recuperar mejor la información faltante. El estudio destaca una brecha significativa entre lo que parece visualmente fluido y lo que es realmente físicamente correcto. Sugiere que, para que la edición de vídeo sea verdaderamente real, la tecnología debe ir más allá de la simple reparación de imágenes y aprender a comprender las reglas invisibles del mundo físico, asegurando que, cuando un objeto es eliminado, el mundo en el que vivía regrese a un estado de perfecta consistencia.