💻 computer science

PhyEdit: Towards Real-World Object Manipulation via Physically-Grounded Image Editing

이 논문은 명시적인 3D 기하학적 시뮬레이션과 2D-3D 공동 감독을 활용하고 새로운 데이터셋(RealManip-40K) 및 벤치마크(ManipEval)에 의해 뒷받침되는 PhyEdit 프레임워크를 소개하며, 이를 통해 기존 모델들과 비교하여 우수한 물리적 정확도와 공간적 일관성을 달성함으로써 이미지 편집에서의 실세계 객체 조작 능력을 향상시킨다.

원저자: Ruihang Xu, Dewei Zhou, Xiaolong Shen, Fan Ma, Yi Yang

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ruihang Xu, Dewei Zhou, Xiaolong Shen, Fan Ma, Yi Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 디지털 사진 편집기를 가지고 놀고 있다고 상상해 보세요. 마치 사진의 왼쪽에서 오른쪽으로 고양이를 드래그할 수 있는 그런 도구 말입니다. 대부분의 이러한 도구는 평면 스티커처럼 작동합니다. 그저 화면 위에서 이미지를 옆으로 미끄러지듯 이동시킬 뿐이죠. 하지만 현실 세계는 평평하지 않습니다. 깊이가 있습니다. 만약 당신이 실제 세상에서 장난감 자동차를 당신 쪽으로 가까이 가져온다면, 그것은 단순히 옆으로 미끄러지는 것이 아니라, 크기가 커지고, 세부 묘사가 선명해지며, 뒤에 있는 것들의 시야를 가릴 수도 있습니다. 이것이 컴퓨터 과학에서 말하는 "3D 조작"의 까다로운 부분입니다. 과학자들은 컴퓨터가 이러한 깊이, 원근법, 그리고 물리 법칙을 이해하도록 가르치려 노력하고 있습니다. 그래야만 컴퓨터가 사진을 편집할 때, 물체가 단순히 평면 스티커처럼 움직이는 것이 아니라 실제 사물처럼 행동하게 할 수 있기 때문입니다. 이는 우리가 로봇이 물건을 옮기는 것을 돕거나, 현실을 시뮬레이션하는 "세계 모델(world models)"을 구축하기를 원할 때 매우 중요합니다. 왜냐하면 컴퓨터는 물체가 벽을 그냥 통과하거나 이유 없이 크기가 변해서는 안 된다는 것을 알아야 하기 때문입니다.

여기에, 제장대학교(Zhejiang University) 연구진이 개발한 새로운 도구인 PhyEdit이 이 "평면 스티커" 문제를 해결하고자 등장했습니다. PhyEdit을 단순히 캔버스 위에 그림을 그리는 것이 아니라, 먼저 머릿속에 장면의 3D 모델을 구축하는 디지털 조각가라고 생각해보세요. 당신이 PhyEdit에게 "이 바나나를 왼쪽으로 옮겨줘"라고 요청하면, 그것은 단순히 픽셀을 미끄러뜨리지 않습니다. 대신, 그것은 특별한 "3D 파운데이션 모델"을 사용하여 바나나가 얼마나 깊이 있는지 추측하고, 바나나를 평면 사진에서 가상의 3D 공간으로 들어 올린 다음, 당신이 원하는 정확한 위치로 옮기고, 다시 2D로 투영합니다. 결정적으로, PhyEdit은 최종 그림(2D 이미지)과 3D 청사진(깊이 지도)을 모두 채점하는 선생님과 같은 "결합 감독(joint supervision)" 시스템을 사용하여 스스로의 작업을 검토합니다. 이를 통해 물체가 이상하게 줄어들거나 늘어나지 않았는지 확인합니다.

연구진은 기존의 도구들이 3D 공간에서 물체를 옮기려고 할 때 종종 크기나 위치를 망가뜨린다는 것을 발견했습니다. 이를 증명하기 위해, 그들은 단순히 추측하는 대신, 물체가 3D 공간에서 움직이는 모습을 보여주는 실제 사진 40,000쌍과 그에 따른 깊이 측정을 포함하는 거대한 새로운 데이터셋인 RealManip-40K를 구축했습니다. 또한, 다양한 AI 모델이 이러한 이동을 얼마나 잘 처리하는지 평가하기 위한 ManipEval이라는 테스트도 만들었습니다. 테스트를 실행했을 때, PhyEdit은 매우 강력한 유료 상용 모델들을 포함한 많은 다른 방식들을 앞질렀습니다. 예를 들어, 물체의 새로운 위치가 목표 지점에 얼마나 근접했는지를 측정하는 특정 테스트에서, PhyEdit은 65.33(0에서 100 사이의 척도)을 기록한 반면, 차세대 상용 모델인 Nano Banana Pro는 59.97을 기록했습니다. 3D 형태의 정확도(Chamfer distance) 측면에서, PhyEdit은 18.93을 달성하여 상용 모델의 25.33보다 현저히 낮은(낮을수록 더 좋은) 수치를 보여주었습니다.

이 논문은 이러한 접근 방식이 "플러그 앤 플레이(plug-and-play)" 방식의 3D 가이드와 2D 이미지 및 3D 깊이를 동시에 바라보는 훈련 방법을 결려했기 때문에 효과적이라고 제안합니다. 그러나 저자들은 이것이 아직 완벽한 마법 지팡이는 아니라는 점을 주의 깊게 언급했습니다. 시스템은 여전히 3D 지도가 잘못 만들어졌을 때(예: 빛나는 물체 때문에 깊이 센서가 혼란을 겪는 경우)나, 물체를 렌즈 뒤로 사라질 정도로 카메라에 너무 가깝게 옮기는 것과 같은 극단적인 요청을 할 때 어려움을 겪습니다. 또한, PhyEdit이 물체를 옮기는 데는 뛰어나지만, 매우 구체적인 지시를 내리지 않는 한 물체의 색상이나 질감을 바꾸는 데는 반드시 더 낫다고 할 수 없다는 점도 발견했습니다. 궁극적으로, 이 논문은 이미지 편집을 실제 물리 법칙과 3D 기하학에 기반하게 함으로써, 우리가 단순히 평면 화면 위의 픽셀을 재배열하는 것이 아니라, 세상을 진정으로 이해하고 조작할 수 있는 AI를 만드는 중요한 발걸음을 내딛고 있음을 시사합니다.

기술 요약: PhyEdit

문제 정의

고급 확산 트랜스포머(Diffusion Transformer)를 포함한 기존의 시각적 생성 모델들은 이미지 편집 시 물리적으로 정확한 객체 조작을 수행하는 데 어려움을 겪고 있습니다. 이러한 모델들은 2D 수준의 편집이나 상세한 좌표 지침을 따르는 데는 뛰어나지만, 3D 물리 법칙을 준수하는 데는 자주 실패하여, 객체 이동 시 잘못된 스케일링, 일관되지 않은 궤적, 비현실적인 깊이 변화를 초래합니다. 이러한 한계는 두 가지 주요 격차에서 기인합니다:

명시적인 3D 및 물리적 제어의 부재: 현재의 모델들은 투영 법칙(perspective projection laws)을 통합하는 메커니즘이 부족하여, 물리적으로 불가능한 동작(예: 객체가 가까워지거나 멀어질 때 크기가 올바르게 조정되지 않는 현상)을 유발합니다.
고품질 실세계 데이터 및 벤치마크의 부재: 기존 데이터셋은 2D 변화나 합성 3D 자산에 집중되어 있어, 명확한 물리 법칙(예: 깊이에 따른 크기 변화)과 비정형 객체 상호작용을 포함하는 실세계 샘플이 부족합니다. 또한, 기존 벤치마크는 주로 2D 지표를 평가하며, 깊이 정확도와 기하학적 일관성을 간과합니다.

방법론: PhyEdit

PhyEdit는 3D 인지 편집을 생성적 상태 렌더링(generative state rendering)으로 프레임화하도록 설계된 DiT(Diffusion Transformer) 기반 프레임워크입니다. 이는 명시적인 기하학적 시뮬레이션을 컨텍스트 기반의 3D 인지 시각 가이드로 통합합니다.

1. 모델 아키텍처

3D 변환 모듈 (3D Transformation Module): 디노이징 프로세스 이전에, 시스템은 소스 이미지, 객체 마스크, 그리고 전이 벡터(대상 3D 위치)를 입력받습니다. 시스템은 3D 파운데이션 모델(예: Depth-Anything-3)을 활용하여 깊이 맵과 카메라 포즈를 예측합니다. 그 후 객체를 3D 공간으로 역투영(unproject)하고, 대상 벡터에 따라 변환한 뒤, 다시 투영하여 **깊이 인지 프리뷰 이미지(depth-aware preview image)**를 생성합니다.
DiT 백본 (DiT Backbone): 프레임워크는 사전 학습된 DiT(구체적으로 Qwen-Image-Edit)를 백본으로 사용합니다. 입력 토큰 시퀀스는 텍스트 프롬프트, 노이즈가 섞인 잠재 토큰, 소스 이미지 토큰, 그리고 변환된 프리뷰 토큰을 포함합니다. 이 프리뷰는 소스 이미지의 고유한 시각적 입력을 대체하지 않으면서도, 명시적인 기하학적 사전 정보를 제공하는 플러그 앤 플레이 방식의 컨텍스트 가이드 역할을 합니다.
결합 감독 전략 (Joint Supervision Strategy): 물리적 정확성을 보장하기 위해, 학습에는 다음과 같은 결합 손실 함수를 사용합니다:
- 2D 수준: 외형 재구성을 보장하기 위해 잠재 공간에서의 표준 플로우 매칭(flow-matching) 손실을 사용합니다.
- 3D 수준: 척도 불변 로그(Scale-Invariant Logarithmic, SILog) 손실을 사용하는 깊이 공간 감독 항을 사용합니다. 모델은 디노이징된 잠재 변수를 이미지로 디코딩하고, 해당 깊이를 추정하여 대상 깊이 맵과 비교합니다. 이를 통해 모델은 외형과 함께 기하학적 정확성을 학습하게 됩니다.

2. 데이터셋 및 벤치마크

이 방법을 지원하기 위해 저자들은 다음을 도입합니다:

RealManip-40K: 3D 공간에서의 물리적 객체 조작을 보여주는 40,000쌍의 고품질 실세계 이미지 쌍( $I_{src}, I_{tgt}$ )을 포함하는 데이터셋입니다. 여기에는 상세한 깊이 주석, 객체 마스크, 3D 좌표가 포함됩니다. 데이터는 카메라 정지 필터링과 깊이 인지 선택을 사용하여 고해 resolution 비디오(예: OpenVid-1M, VIDGEN-1M)에서 큐레이션되었으며, 이를 통해 유의미한 깊이 변화와 현실적인 상호작용을 확보했습니다.
ManipEval: 3D 공간 제어를 평가하기 위해 설계된 200개의 이미지 쌍과 약 320개의 객체를 포함하는 특화된 벤치마크입니다. 이는 다음과 같은 다차원 지표를 도입합니다:
- 2D 공간 정확도: DIoU 및 Mask IoU.
- 깊이 정확도: AbsRel 및 $\delta_{1.25}$ .
- 3D 조작 정확도: 재구성된 포인트 클라우드 간의 Chamfer Distance 및 Centroid Distance.
- 물리적 타당성: 조명, 그림자, 폐쇄(occlusion) 및 전역 장면 일관성을 평가하는 VLM 기반 점수(Phys-VLM).

주요 결과

ManipEval에 대한 광범-한 실험 결과, PhyEdit은 강력한 폐쇄형 상용 모델(예: Nano Banana Pro, GPT-Image-1.5, Qwen-Image-2.0-Pro)을 포함한 기존 베이스라인들을 능가하는 성능을 보여주었습니다.

정량적 성능: PhyEdit은 조작 관련 지표 전반에서 최고의 종합 성능을 달s합니다. 특히, Nano Banana Pro와 비교했을 때 DIoU를 5.36 포인트 개선하고 Chamfer distance를 6.40 포인트 감소시켰습니다. 또한 가장 높은 Phys-VLM 점수를 획득하여 우수한 물리적 사실성을 입증했습니다.
다중 객체 조작: PhyEdit의 장점은 다중 객체 시나리오에서 더욱 두드러지는데, 요청된 모든 객체를 편집하지 못하거나 일관되지 않은 깊이를 생성하는 베이스라인들과 달리 정밀한 3D 기하 구조와 일관된 상호작용을 유지합니다.
절제 연구 (Ablation Studies):
- 깊이 감독 (Depth Supervision): 픽셀 수준의 깊이 감독(이미지로 디코딩 후 깊이 예측)이 잠재-대-잠재(latent-to-latent) 또는 잠재-대-깊이(latent-to-depth) 감독보다 우수함을 입습니다. 이는 2D 및 3D 지표를 유의미하게 향상시킵니다.
- 참조 이미지 (Reference Image): 3D 변환된 참조 이미지(프리뷰)의 포함은 매우 중요합니다. 이를 제거하면 성능이 급격히 저하됩니다(예: Chamfer distance가 18.93에서 46.31로 증가). 이는 텍스트만으로는 미세한 3D 의도를 복구하기 어렵다는 것을 강조합니다.
일반화 (Generalization): 모델은 연속적인 객체 조작 궤적에 대해 강력한 일반화 능력을 보여주며, 훈련 분포 외의 객체(예: 로봇 팔)도 처리할 수 있습니다.

의의 및 주장

본 논문은 PhyEdit을 3D 인지 및 기하학적으로 일관된 상태 전이를 렌더링할 수 있는 **상호작용형 월드 모델(interactive world models)**을 구축하기 위한 중요한 단계로 규정합니다.

격차 해소: 본 연구는 명시적인 기하학적 가이드와 결합된 2D-3D 감독을 도입함으로써 2D 이미지 편집과 3D 물리 시뮬레이션 사이의 간극을 메웁니다.
물리적 근거 (Physical Grounding): 암묵적 학습이나 무거운 3D 재구성에 의존하는 이전 방법들과 달리, PhyEdit은 경량화된 컨디셔닝과 학습 설계를 통해 물리적으로 근거가 있는 편집을 달성하며, 이를 통해 다양한 DiT 기반 에디터에 적응할 수 있게 합니다.
실세계 적용 가능성: 고품질 실세계 데이터셋과 엄격한 3D 벤치마크를 제공함으로써, 저자들은 정밀한 물리적 조작이 필수적인 3D 이미지 편집 및 객체 중심 로봇 조작 연구를 촉진하고자 합니다.

저자들은 상위 기하학적 추정(깊이/카메라/마스크)에 대한 의존도로 인해 극단적인 경우 오류가 전파될 수 있다는 점과, 미세한 제약을 위한 매우 복잡하고 자유로운 형식의 텍스트 명령을 처리하는 데 현재 어려움이 있다는 점을 인정합니다. 그러나 이들의 접근 방식이 물리적 타당성과 공간 제어 측면에서 오픈 소스 모델과 선도적인 폐쇄형 시스템 사이의 성능 격차를 효과적으로 좁힌다고 주장합니다.