기술 요약: perceive-then-Plan: 단안 3D 장면 레이아웃 추정을 위한 레이아웃 - 정책 (Layout-as-Policy)

문제 정의

단일 단안 이미지로부터 구조화된 3D 실내 장면 레이아웃을 복원하는 것은 컴퓨터 비전의 근본적인 과제이며, 로봇 공학, 시뮬레이션, 콘텐츠 제작에 응용됩니다. 기존 접근법들은 대부분 이를 직접 예측 문제로 공식화하여, 모델이 단일 순전달 (forward pass) 에서 객체의 위치, 크기, 방향을 회귀합니다. 그러나 이러한 방법들은 전역 제약과 객체 간 관계를 강제하는 데 종종 어려움을 겪습니다. 3D 실내 장면은 본질적으로 구조화되어 있고 상호 의존적이기 때문에, 한 번의 예측 (one-shot prediction) 에서 발생하는 작은 국부적 오류는 큰 전역적 불일치로 전파되어 물리적으로 불가능한 레이아웃 (예: 공중에 뜬 객체, 충돌, 또는 유효하지 않은 지지 관계) 을 초래할 수 있습니다. 핵심적인 어려움은 명시적인 보상 설계나 수동으로 설계된 목적 함수 없이 모호한 시각적 관찰과 물리적 및 공간적 제약을 조화시키는 데 있습니다.

방법론

저자들은 비전 - 언어 모델 (VLM) 을 사용하여 단안 3D 레이아웃 추정을 순차적 의사결정 문제로 재정의하는 Perceive-then-Plan 프레임워크를 제안합니다. 파이프라인은 두 가지 명확한 단계로 구성됩니다:

1. 지각자 (Perceiver, 초기화)

첫 번째 단계는 입력 이미지와 2D 검출로부터 3D 객체를 그라운딩 (grounding) 하는 데 중점을 둡니다.

• 아키텍처: Qwen3-VL 기반의 기하학적 강화 비전 - 언어 모델 (VLM) 이 지각자 (Perceiver) 로 작용합니다.
• 기하학적 인식 변조 (Geometry-Aware Modulation): 시각적 특징과 3D 기하학 사이의 간극을 해소하기 위해, 모델은 경량 변조 모듈을 통해 사전 훈련된 기하학 인코더 (VGGT) 의 기하학적 사전 지식을 VLM 의 시각적 특징에 주입합니다. 이를 통해 모델은 기하학적 단서에 의해 안내받으면서도 시각적 이해를 활용할 수 있습니다.
• 표현: 원시 3D 꼭짓점을 회귀하는 대신, 지각자는 카메라 좌표계에서 3D 박스 (중심, 스케일, 로컬 축) 의 매개변수화된 표현을 출력합니다.
• 정규화 (Canonicalization): 그라운딩된 3D 박스는 중력 정렬 및 그리드 기반의 정규 표현으로 변환됩니다. 이 이산화 (위치와 방향을 그리드 인덱스로 반올림) 는 후속 행동 기반 정제를 위한 장면 상태를 준비합니다.

2. LaP 플래너 (LaP Planner, 정제)

두 번째 단계인 레이아웃 - 정책 (Layout-as-Policy, LaP) 은 3D 레이아웃을 구조화된 상태로, 정제를 정책 학습 문제로 간주합니다.

• 행동 공간: 플래너는 SELECT(객체 선택), MOVE(이동), ROTATE_Y(요 회전), RESIZE(스케일), STOP 의 이산 행동 집합에서 작동합니다. 이러한 행동은 정렬 불량, 잘못된 지지, 충돌과 같은 특정 실패 모드를 수정하도록 설계되었습니다.
• 학습 전략:
  • 교란 데이터 합성: 학습 데이터는 정답 (ground-truth) 레이아웃을 취하고 무작위 교란 (초기화 오류 시뮬레이션) 을 적용한 후, 정답을 복원하는 데 필요한 역행동 시퀀스를 생성하여 구성됩니다.
  • 지도 미세 조정 (SFT): 플래너는 이러한 교란된 데이터 쌍에 대한 SFT 로 먼저 워밍업되어 지시 따르기 형식과 기본 수정 행동을 학습합니다.
  • 직접 선호도 최적화 (DPO): 명시적 보상 모델링 없이 기하학적 유효성에 대한 암묵적 개념을 학습하기 위해 저자들은 DPO 를 활용합니다. 모델은 물리적으로 일관된 레이아웃으로 이어지는 행동 시퀀스를 "열화된" 시퀀스 (예: 잘못된 행동 유형, 누락된 단계, 또는 잘못된 크기) 보다 선호하도록 훈련됩니다.
• 반복 과정: 정제는 반복적으로 수행됩니다. 플래너는 현재 장면 상태와 입력 이미지를 받아 행동 시퀀스를 예측하고, 이를 적용하여 상태를 업데이트한 후 STOP 토큰 또는 최대 반복 횟수에 도달할 때까지 수렴할 때까지 반복합니다.

3. 장면 조립

정제 후, 접촉 장면 그래프가 생성되어 객체를 관계 묶음 (예: 바닥 위의 테이블 위의 램프) 으로 그룹화합니다. 추상적인 3D 박스와 실제 3D 자산 간의 불일치로 인해 발생하는 경미한 공중 부양 또는 침투 아티팩트를 해결하기 위해 이러한 묶음에 단일 통과 중력 시뮬레이션을 적용합니다.

주요 기여

1. Perceive-then-Plan 파이프라인: 저자들은 단안 3D 레이아웃 추정을 위한 새로운 공식화를 도입하여, 작업을 지각 단계 (그라운딩) 와 계획 단계 (반복적 정제) 로 분해하고 한 번의 예측에서 벗어나게 합니다.
2. 레이아웃 - 정책 (LaP): 그들은 레이아웃 정제 단계를 3D 레이아웃을 구조화된 상태로, 정제 작업을 이산 행동으로 간주하는 정책 학습 문제로 제시합니다. 이를 통해 제약 충족에 대한 명시적 추론이 가능해집니다.
3. 기하학적 강화 지각자: 시각적 및 기하학적 특징을 통합하여 신뢰할 수 있고 관찰과 정렬된 초기 레이아웃을 생성하는 VLM 기반 그라운딩 모듈로, 정제를 위한 강력한 시작점을 제공합니다.
4. 선호도 기반 최적화: DPO 의 사용은 플래너가 행동 시퀀스의 상대적 비교를 통해 수정 행동을 학습하고 공간적 일관성을 이해하도록 하여, 복잡한 보상 설계의 필요성을 피합니다.

실험 결과

이 방법은 Hypersim 및 SUN RGB-D 데이터셋에서 평가되었습니다.

• 지각자 성능: 제안된 지각자는 3D 그라운딩 지표에서 최신 오픈 소스 및 클로즈드 소스 VLM(GPT-4o 및 Gemini 포함) 을 크게 능가합니다. 구체적으로, 재투사 IoU 는 0.58(다음으로 좋은 오픈 소스 모델인 0.33 대비) 을 달성했으며, 평균 깊이 오차는 0.08m입니다.
• 정제 성능: LaP 플래너를 사용한 반복적 정제는 초기 지각자 출력보다 상당한 개선을 가져옵니다.
  • 물리적 타당성: 이 방법은 지지 위반률 (SVR) 을 11.63% 에서 4.85% 로 줄이고, 충돌 횟수를 3.62 에서 1.46 으로 감소시킵니다.
  • 시각적 정렬: 재투사 IoU 는 0.54 에서 0.65 로 향상되어, 정제가 시각적 증거에서 벗어나지 않으면서 물리적 일관성을 향상시킴을 보여줍니다.
• 비교: 이 접근법은 한 번의 예측을 수행하는 VLM 직접 정제 및 규칙 기반 정제 기준선보다 우수합니다. 규칙 기반 방법은 시각적 정렬을 유지하지 못하며, 한 번의 예측을 수행하는 VLM 은 중간 오류를 효과적으로 수정하는 데 어려움을 겪습니다.

중요성과 주장

이 논문은 레이아웃 추정을 한 번의 예측 작업에서 반복적 perceive-then-Plan 프로세스로 전환함으로써 전역 제약과 복잡한 객체 상호작용을 더 잘 처리할 수 있다고 주장합니다. 레이아웃 정제를 정책 학습 문제로 간주함으로써, 이 프레임워크는 행동 기반 인터페이스를 통해 장면 상태를 직접 수정할 수 있게 하여 언어 기반 장면 편집 및 구현된 조작 (embodied manipulation) 과 같은 하위 작업을 자연스럽게 지원합니다.

저자들은 그들의 접근 방식이 시각적 관찰과 더 잘 정렬되고 물리적으로 일관된 레이아웃을 생성한다고 강조합니다. 그들은 이 작업을 로봇 공학 및 시뮬레이션과 같이 물리적으로 유효한 장면 이해가 필요한 분야에서 현실 세계 시나리오에서 견고한 3D 추론을 수행할 수 있는 비전 - 언어 모델을 가능하게 하는 한 걸음으로 위치시킵니다. 논문은 오프 - 더 - 쉘 2D 검출기에 대한 의존성과 현재 구조화된 실내 환경에 초점을 맞춘 제한 사항을 인정하며, 향후 다중 뷰 입력과 지각 및 계획 단계의 공동 최적화에 대한 연구를 제안합니다.