💻 computer science

PROVE: A Perceptual RemOVal cohErence Benchmark for Visual Media

Este artículo presenta el marco PROVE, que comprende las métricas RC-S y RC-T alineadas con la percepción y el conjunto de datos PROVE-Bench, para abordar las limitaciones de los métodos de evaluación existentes al proporcionar una evaluación más precisa de la coherencia en la eliminación de objetos en medios visuales que se alinea mejor con el juicio humano.

Autores originales: Fuhao Li, Shaofeng You, Jiagao Hu, Yu Liu, Yuxuan Chen, Zepeng Wang, Fei Wang, Daiguo Zhou, Jian Luan

Publicado 2026-05-15

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Fuhao Li, Shaofeng You, Jiagao Hu, Yu Liu, Yuxuan Chen, Zepeng Wang, Fei Wang, Daiguo Zhou, Jian Luan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un editor de fotos contratado para eliminar a un intruso de una foto grupal. Haces un excelente trabajo: la persona desaparece y el fondo parece natural. Pero, ¿cómo sabes si tu edición es realmente buena?

Este es el problema que aborda el artículo PROVE. Los autores argumentan que las herramientas actuales que utilizamos para calificar estas ediciones son como usar una regla para medir el sabor de una sopa: están examinando las cosas equivocadas.

A continuación, se presenta un desglose de su solución utilizando analogías sencillas.

1. El Problema: Las Trampas de "Copiar y Pegar" y de "Desenfoque"

El artículo explica que las herramientas de calificación existentes (métricas) cometen dos errores principales:

La Trampa de "Copiar y Pegar" (Métricas de Referencia Completa): Imagina a un profesor calificando el ensayo de un estudiante comparándolo palabra por palabra con una respuesta modelo. Si el estudiante copia la muestra perfectamente, obtiene un A, incluso si el ensayo es aburrido.
- En la edición de imágenes, las herramientas antiguas recompensan a los modelos que simplemente "copian y pegan" el fondo de la foto original en lugar de realmente "borrar" el objeto e inventar un fondo nuevo y realista. Prefieren respuestas seguras y aburridas sobre las creativas y realistas.
La Trampa de "Lo Borroso es Limpio" (Métricas sin Referencia): Imagina a un juez que piensa que una foto borrosa es mejor que una nítida porque el desenfoque oculta los errores.
- Las herramientas actuales a menudo otorgan puntuaciones altas a resultados borrosos porque el desenfoque hace que las cosas parezcan "suaves" y uniformes. No logran notar que la imagen es realmente de baja calidad o que la eliminación del objeto creó artefactos extraños.

El Problema del Video: Al editar un video, las herramientas existentes examinan toda la pantalla. Si el fondo es estable pero el punto donde se eliminó el objeto parpadea salvajemente, la herramienta podría otorgar aún una puntuación alta porque el resto del video está bien. Es como un profesor que califica un ensayo de 10 páginas pero solo lee la primera página e ignora el resto.

2. La Solución: El Enfoque de "Foco" (Métricas RC)

Los autores proponen una nueva forma de calificar las ediciones llamada RC (Coherencia de Eliminación). En lugar de mirar la imagen completa o compararla con una referencia perfecta, utilizan un "foco deslizante" para hacer zoom en el área específica donde se eliminó el objeto.

Tienen dos herramientas principales:

RC-S (Coherencia Espacial): Piensa en esto como un detective de texturas. Hace zoom en el agujero donde estaba el objeto y pregunta: "¿El nuevo fondo aquí se parece al vecindario circundante?"
- Utiliza una ventana deslizante (como una lupa) para verificar si las texturas, la iluminación y los patrones coinciden con el área alrededor de la edición. Si el nuevo fondo parece una textura diferente o está demasiado borroso, la puntuación disminuye.
RC-T (Coherencia Temporal): Este es el inspector de estabilidad del video. Examina el mismo punto a través de dos fotogramas consecutivos.
- Pregunta: "¿Este punto salta o parpadea mientras se reproduce el video?" Si el fondo en el área eliminada se sacude o cambia de manera extraña de un fotograma a otro, esta métrica lo detecta, incluso si el resto del video es suave.

El Secreto: Utilizan un "cerebro" especial (un extractor de características llamado DINOv2) que es muy sensible a los detalles diminutos y a los cambios de frecuencia, de manera muy similar a como el ojo humano es sensible a los glitches visuales sutiles.

3. El Nuevo Campo de Juego: PROVE-Bench

Para demostrar que su nuevo sistema de calificación funciona, construyeron un nuevo campo de pruebas llamado PROVE-Bench. Se dieron cuenta de que los conjuntos de pruebas antiguos eran:

Demasiado falsos: Videos generados por computadora que no parecen de la vida real.
Demasiado difíciles de calificar: Videos reales donde no sabemos cómo debería verse el "fondo perfecto".

Su nueva referencia tiene dos partes:

PROVE-M (El Laboratorio Controlado): Filmaron escenas reales, eliminaron un objeto y filmaron la escena nuevamente sin el objeto. Esto les proporciona una "verdad fundamental" perfecta para comparar, pero añadieron sacudidas de cámara simuladas para que se sintiera como un video real sostenido a mano.
PROVE-H (La Prueba de Estrés): Una colección de 100 videos difíciles del mundo real (multitudes, movimiento rápido, reflejos) donde no tienen una referencia perfecta. Esto prueba si los modelos pueden manejar el caos.

4. Los Resultados

Cuando probaron su nuevo sistema de calificación de "Foco" contra las herramientas antiguas:

Las herramientas antiguas a menudo otorgaban puntuaciones altas a resultados borrosos o de copiar y pegar, o perdían de vista el parpadeo en los videos.
PROVE (RC-S y RC-T) se alineó mucho mejor con lo que realmente pensaban los humanos que se veía bien. Si un humano decía: "Eso parece falso", la nueva métrica estuvo de acuerdo. Si un humano decía: "Eso se ve genial", la nueva métrica estuvo de acuerdo.

Resumen

El artículo argumenta que para juzgar la eliminación de objetos, debemos dejar de mirar la imagen completa o compararla con una referencia perfecta. En su lugar, necesitamos hacer zoom en el área editada para verificar si se mezcla con sus vecinos (Espacial) y se mantiene estable con el tiempo (Temporal). Construyeron un nuevo conjunto de herramientas y un nuevo campo de pruebas para demostrar que este enfoque de "hacer zoom" es la única manera de obtener una calificación que coincida con la percepción humana.

Resumen Técnico: PROVE: Un Benchmark de Coherencia de Remoción Perceptual para Medios Visuales

1. Declaración del Problema

La eliminación de objetos en imágenes y videos es inherentemente un problema mal planteado, de uno a muchos, donde pueden existir múltiples restauraciones perceptualmente plausibles para una única región borrada. En consecuencia, definir una única verdad fundamental (GT) a menudo es imposible. Esta característica socava los protocolos de evaluación tradicionales:

Métricas de Referencia Completa (FR): Métricas como PSNR, SSIM y LPIPS asumen una correspondencia estricta punto a punto con una única referencia. Frecuentemente recompensan comportamientos de "copiar y pegar" (salidas conservadoras que preservan el fondo) sobre una eliminación genuina y perceptualmente realista. Además, sufren de sesgos de "regresión a la media", donde reducir los pasos de inferencia de difusión (degradando la calidad visual) paradójicamente mejora las puntuaciones debido a la reducción de la varianza de píxeles.
Métricas de Referencia Nula (NR): Métodos como ReMOVE y CFD, aunque evitan la necesidad de GT, exhiben sesgos sistemáticos. A menudo asignan puntuaciones infladas a salidas borrosas (sesgo "El borroso es limpio") y penalizan incorrectamente restauraciones estructuralmente sólidas en escenarios de oclusión complejos.
Métricas Temporales: Las métricas de video existentes (por ejemplo, Consistencia Temporal, Parpadeo Temporal) operan sobre características globales a nivel de fotograma. Dado que las regiones eliminadas típicamente ocupan solo una pequeña fracción del fotograma, estas agregaciones globales diluyen o enmascaran por completo los artefactos temporales localizados dentro de las regiones editadas.

Adicionalmente, los benchmarks existentes carecen de una combinación de autenticidad del mundo real y videos de referencia emparejados. Los conjuntos de datos sintéticos (por ejemplo, ROSE-Bench) ofrecen máscaras precisas pero carecen de complejidad del mundo real, mientras que los conjuntos de datos del mundo real (por ejemplo, DAVIS) carecen de videos objetivo-libres emparejados para una comparación cuantitativa controlada.

2. Metodología

2.1 Las Métricas RC (Coherencia de Remoción)

Los autores proponen RC, un marco unificado de coincidencia de distribuciones locales en el espacio de características semánticas profundas, instanciado como dos métricas complementarias:

RC-S (Coherencia Espacial): Mide la consistencia local entre el contenido restaurado y su fondo circundante dentro de un solo fotograma.
- Proceso: La región objetivo se recorta con contexto expandido. Se extraen características profundas utilizando DINOv2. Se aplica una ventana deslizante sobre el mapa de características.
- Mecanismo: Dentro de cada ventana, la distribución de características de la región enmascarada (restaurada) se compara contra la región sin enmascarar (fondo) utilizando la Discrepancia Máxima de Medias (MMD) al cuadrado.
- Racional: Esta comparación local detecta incoherencia espacial que la agregación global pasa por alto. Se elige MMD sobre la similitud del coseno por su sensibilidad a los desplazamientos distribucionales (por ejemplo, borrosidad).
RC-T (Consistencia Temporal): Mide la estabilidad de las regiones restauradas a través de fotogramas adyacentes.
- Proceso: Para fotogramas adyacentes, se define una región de evaluación compartida utilizando la unión de sus máscaras. Ambos fotogramas se recortan de forma sincrónica.
- Mecanismo: La métrica se centra en la intersección de las regiones restauradas entre los dos fotogramas. Compara las distribuciones de características de estas regiones intersecadas utilizando MMD.
- Racional: Al restringir la evaluación al área restaurada compartida, RC-T evita el efecto de dilución causado por las regiones de fondo inalteradas, permitiendo la detección sensible del parpadeo temporal localizado.

2.2 PROVE-Bench

Para apoyar una evaluación rigurosa, los autores introducen PROVE-Bench, una suite de benchmarks de dos niveles:

PROVE-M (Emparejado Aumentado con Movimiento): Un conjunto de datos de 80 videos que comprende grabaciones emparejadas del mundo real (video de entrada, máscara y verdad fundamental libre de objetivo). Para cerrar la brecha entre capturas estáticas de laboratorio y videos de usuarios reales, estos pares sufren aumento de movimiento (transformaciones geométricas estilo Ken Burns como panorámicas, zooms y sacudidas) para simular la inestabilidad de cámaras manuales.
PROVE-H (Difícil Sin Restricciones): Un conjunto de datos de 100 videos sin verdad fundamental, diseñado para poner a prueba la generalización del modelo. Apunta a escenarios extremos que incluyen multitudes, movimiento rápido, reflejos complejos y fondos altamente texturizados. Las máscaras se generan automáticamente (SAM3) para reflejar imperfecciones prácticas.

3. Contribuciones Clave

Diagnóstico Sistemático: El artículo proporciona un análisis empírico riguroso de los modos de fallo en las métricas existentes, identificando sesgos específicos como la preferencia por "copiar y pegar" en métricas FR, la "favorabilidad al borroso" en métricas NR, y la insensibilidad regional en métricas temporales globales.
Métricas RC: La propuesta de RC-S y RC-T, que utilizan un marco de coincidencia de distribuciones con ventana deslizante (DINOv2 + MMD) para cuantificar la coherencia espacial local y la consistencia temporal. Estas métricas logran una alineación sustancialmente más fuerte con los juicios humanos que los protocolos existentes.
PROVE-Bench: La construcción de una suite de benchmarks única que combina un conjunto de datos emparejado del mundo real (PROVE-M) con aumento de movimiento y un subconjunto desafiante sin verdad fundamental (PROVE-H), abordando el dilema realismo-evaluabilidad en los conjuntos de datos actuales.

4. Resultados Experimentales

Se realizaron experimentos extensos en diversos benchmarks de imágenes (RORD-Val, OBER-Wild) y video (DAVIS, ROSE-Bench, PROVE-Bench).

Correlación Humana: RC-S logró la correlación más alta con las clasificaciones humanas (Kendall's $\tau$ y Spearman's $\rho$ ) en seis benchmarks, superando a las métricas FR (PSNR, SSIM, LPIPS), métricas NR (ReMOVE, CFD) y métricas temporales globales. Notablemente, RC-S ocupó el primer lugar en cinco de los seis benchmarks.
Análisis de Sensibilidad:
- Sensibilidad al Borroso: A diferencia de ReMOVE y CFD, que a menudo aumentaron las puntuaciones a medida que aumentaba la intensidad del borroso, RC-S disminuyó correctamente las puntuaciones de forma monótona, demostrando resistencia al sesgo "El borroso es limpio".
- Sensibilidad Temporal: En pruebas de sensibilidad que involucraron eliminaciones y reemplazos aleatorios de fotogramas, RC-T mostró una degradación monótona en las puntuaciones a medida que aumentaba la corrupción. Por el contrario, TC y TF permanecieron en gran medida insensibles o incluso mejoraron, confirmando su incapacidad para detectar artefactos temporales localizados.
Estudios de Ablación: Los autores validaron que la combinación de DINOv2 (para características perceptualmente sensibles), ventanas deslizantes (para localidad) y MMD (para discrepancia distribucional) es crítica. Eliminar cualquier componente (por ejemplo, usar similitud del coseno o agregación global) redujo significativamente la correlación con el juicio humano.
Dificultad del Benchmark: Los experimentos en PROVE-M revelaron que introducir movimiento de cámara simulado causa una degradación de rendimiento consistente y significativa en todos los modelos de última generación, destacando la necesidad de una evaluación consciente del movimiento.

5. Significado y Afirmaciones

El artículo afirma que PROVE proporciona una base más confiable para evaluar la eficacia y los modos de fallo de los métodos de eliminación de objetos. Al cambiar el paradigma de evaluación de "fidelidad a una única referencia" a "coherencia perceptual con el contexto y el tiempo", el marco aborda la discrepancia fundamental entre las métricas actuales y la naturaleza de uno a muchos de la tarea.

Los autores declaran que su trabajo sirve como una base práctica para la estandarización de benchmarks, ofreciendo un marco unificado donde las métricas RC y PROVE-Bench se complementan para apoyar tanto la comparación cuantitativa rigurosa (a través de PROVE-M) como las pruebas de estrés bajo condiciones del mundo real sin restricciones (a través de PROVE-H). El código y los conjuntos de datos se ponen a disposición del público para facilitar su adopción por la comunidad.