Resumen Técnico: RoPEMover

Planteamiento del Problema

Mover un objeto dentro de una sola imagen es una tarea compleja de edición de imágenes que requiere más que un simple desplazamiento espacial. Una edición exitosa debe preservar la identidad del objeto, adaptarse a los cambios de perspectiva y escala, completar de manera plausible las regiones previamente ocluidas y mantener efectos coherentes dependientes de la escena, como sombras, reflejos e iluminación. Los enfoques existentes a menudo fallan en alcanzar este nivel de consistencia. Los métodos de dos pasos (eliminación seguida de inserción) suelen tener dificultades con el manejo de sombras y la preservación de la identidad del objeto. Las técnicas de copiar y pegar con armonización a menudo no logran tener en cuenta los cambios de perspectiva, lo que resulta en ediciones físicamente inconsistentes (por ejemplo, objetos flotantes). Aunque los enfoques generativos recientes aprovechan modelos de difusión de video o datos sintéticos a gran escala para aprender prioridades de movimiento, a menudo requieren una construcción de datos costosa, procesos complejos o modelado temporal que es innecesario para la edición de una sola imagen.

Metodología

RoPEMover introduce un método de movimiento de objetos consciente de la geometría que opera directamente sobre las representaciones internas de los transformadores de difusión, manipulando específicamente los Embeddings Posicionales Rotatorios (RoPE). El enfoque evita la necesidad de reconstrucción 3D explícita o conjuntos de datos de movimiento a gran escala, aprovechando las fuertes prioridades espaciales ya codificadas en los modelos preentrenados.

Mecanismo Central: Manipulación de RoPE

El método se basa en la idea de que el RoPE define un campo espacial estructurado dentro de las capas de atención de los transformadores de difusión. Al deformar estos embeddings posicionales, se puede inducir al modelo a sintetizar un objeto en una nueva ubicación con un movimiento controlado.

1. Codificación de la Señal de Arrastre: El usuario proporciona una señal de arrastre definida por un triplete $(dx, dy, s)$, que representa el desplazamiento en el espacio de píxeles y una relación de escala. Estos parámetros se convierten en desplazamientos de la rejilla de tokens y un factor de escala.
2. Deformación de RoPE (RoPE Warping): Para los tokens dentro de la máscara del objeto de origen, los encodings de RoPE se reemplazan con aquellos computados para la posición objetivo. Específicamente, los índices de fila y columna $(r, c)$ se transforman a $(r', c')$ basados en el desplazamiento y la escala. Esta deformación se aplica solo durante los pasos iniciales de eliminación de ruido (por ejemplo, los primeros 20 pasos) para establecer la disposición estructural temprano en el proceso de difusión inversa.

RoPE 3D Consciente de la Profundidad

Para manejar oclusiones y el orden de profundidad (colocar objetos delante o detrás de elementos de la escena), el método extiende el RoPE 2D hacia una formulación consciente de la profundidad:

• Reutilización del Eje Temporal: En el RoPE 3D factorizado (utilizado en modelos como Qwen-Image), el eje temporal típicamente no se utiliza para objetivos de una sola imagen. RoPEMover reutiliza este eje para inyectar información de profundidad métrica.
• Estimación y Síntesis de Profundidad: Se estima un mapa de profundidad métrica para la imagen de origen. En la inferencia, se sintetiza un mapa de profundidad objetivo mediante:
  • La inpainting de la profundidad del fondo (resolviendo la ecuación de Laplace) para llenar la región vaciada por el objeto.
  • La deformación del mapa de profundidad del objeto de acuerdo con la señal de arrastre y la aplicación de un desfase de profundidad ($\Delta z$) especificado por el usuario.
  • La composición de la profundidad del objeto deformada sobre el fondo utilizando una prueba de Z-buffer para determinar el orden de oclusión.
  • La mezcla de discontinuidades de profundidad en el límite de la máscara.
• Inyección: Los valores de profundidad sintetizados se normalizan y se inyectan en el primer componente complejo del eje temporal del tensor de frecuencia de RoPE. Esto proporciona al modelo un contexto geométrico 3D explícito, permitiendo un manejo consistente de las oclusiones y los efectos dependientes de la escena.

Estrategia de Entrenamiento

El modelo se entrena utilizando un currículo de dos etapas altamente eficiente en datos:

1. Etapa 1 (Datos Sintéticos): El modelo se entrena en un gran conjunto de escenas sintéticas generadas a partir de CLEVR. Estas escenas proporcionan una verdad de campo (ground truth) perfecta a nivel de píxel para el movimiento de objetos, desoclusión y profundidad, permitiendo que el modelo aprenda un comportamiento de edición preciso y controlable sin la sobrecarga de un renderizado realista.
2. Etapa 2 (Ajuste Fino con Datos Reales): Se realiza una etapa de ajuste fino ligero en un pequeño conjunto de 165 fotografías reales emparejadas. Este paso cierra la brecha de dominio, mejorando la fidelidad visual, la preservación de la identidad y el manejo de la iluminación y materiales complejos del mundo real.

Principales Contribuciones

El artículo describe cuatro contribuciones principales:

1. Movimiento de Objetos Consciente de la Geometría mediante la Manipulación de Representaciones: Un método novedoso que permite el movimiento de objetos mediante la manipulación directa de RoPE dentro de los transformadores de difusión, proporcionando un control espacial explícito sin requerir reconstrucción 3D o modelado de video.
2. Transformación Espacial Guiada por Profundidad: Una extensión de la manipulación de RoPE con condicionamiento consciente de la profundidad. Esto permite un desplazamiento geométricamente consistente, un manejo correcto de la oclusión (colocar objetos detrás o delante de otros elementos) y la generación de contenido coherente en las regiones recién reveladas.
3. Aprendizaje Eficiente en Datos: El enfoque aprende comportamientos de movimiento efectivos a partir de datos sintéticos simples y un conjunto mínimo de imágenes reales, evitando la necesidad de masivos conjuntos de datos de movimiento o complejos procesos de entrenamiento basados en video.
4. Desempeño de Vanguardia (State-of-the-Art): El método logra resultados superiores en tareas de movimiento de objetos, produciendo ediciones de alta fidelidad con una propagación físicamente consistente de sombras e iluminación, superando a enfoques previos tanto en calidad visual como en consistencia geométrica.

Resultados y Evaluación

El método fue evaluado en los benchmarks ObjMove-A y ObjMove-B.

• Desempeño Cuantitativo: En ObjMove-A, RoPEMover logró resultados de vanguardia en todas las métricas, incluyendo CLIP Score, DINO Score, DreamSim y PSNR. Superó significativamente a las líneas base como ObjectMover, FreeFine, MagicFixup y GeoDiffuser, particularmente en la preservación de la identidad del objeto (altos puntajes DINO/CLIP) y la consistencia del fondo.
• Desempeño Cualitativo: Las comparaciones visuales demostraron que RoPEMover maneja correctamente escenarios desafiantes, tales como mover objetos detrás de superficies transparentes, reubicar objetos estructurados pequeños y mantener sombras y reflejos consistentes. A diferencia de los métodos de dos pasos que a menudo producen objetos "flotantes" o artefactos de copiar y pegar, RoPEMover genera ediciones que están fundamentadas físicamente y son conscientes de la escena.
• Estudios de Ablación: Los experimentos confirmaron que tanto la deformación de RoPE como el condicionamiento de profundidad son críticos. Eliminar la deformación resultó en un control espacial deficiente, mientras que eliminar el condicionamiento de profundidad llevó a imprecisiones en el orden de profundidad y la oclusión. Además, se demostró que la segunda etapa de entrenamiento con datos reales es esencial para mejorar la preservación de la identidad y la fidelidad visual en comparación con el entrenamiento solo con datos sintéticos.
• Estudio de Usuario: En un estudio con 20 participantes comparando contra tres líneas base sólidas, RoPEMover fue preferido en el 83.4% de los votos en métricas de fidelidad de la edición, realismo y consistencia del fondo.

Significado

RoPEMover demuestra que la reubicación precisa de objetos consciente de la geometría puede lograrse manipulando directamente las representaciones posicionales internas de los transformadores de difusión. Al interpretar el RoPE como un campo espacial manipulable y aumentarlo con información de profundidad, el método permite un movimiento controlado de objetos que respeta la geometría de la escena, las occiones y la iluminación. Este enfoque ofrece una alternativa más eficiente y efectiva a los métodos que dependen de prioridades de video o conjuntos de datos de movimiento a gran escala, proporcionando una solución robusta para la creación de contenido, efectos visuales y diseño interactivo donde la consistencia física es primordial. Los autores señalan que, si bien el método mejora la controlabilidad, hereda los costos computacionales del muestreo de difusión y los posibles sesgos de los modelos generativos subyacentes.