💻 computer science

CapFrame: Text-Instructed Viewpoint Grounding in 3D Gaussian Scenes via Geometric Pseudo Labels

이 논문은 텍스트 지시사항을 Retrieve-Translate-Refine 파이프라인을 통해 기하학적 의사 레이블(pseudo labels)로 변환함으로써 원하는 프레임 구도를 위해 6-DoF 카메라 포즈를 자동으로 최적화하여, 3D 가우시안 스플래팅(3D Gaussian Splatting) 장면에서의 텍스트 지시 기반 시점 그라운딩(Text-Instructed Viewpoint Grounding, TIVG) 과업을 해결하는 새로운 프레임워크인 CapFrame을 소개한다.

원저자: Jirong Li, Satoshi Ikehata, Shuhei Kurita, Ikuro Sato

게시일 2026-09-01✓ Author reviewed ⓘ

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jirong Li, Satoshi Ikehata, Shuhei Kurita, Ikuro Sato

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터 속에 완벽하게 재현된 방 안에 서 있다고 상상해 보십시오. 이는 단순한 평면 사진이 아니라, 당신이 걸어 다닐 수 있는 3차원 공간입니다. 최근 몇 년 동안 과학자들은 이 디지털 공간을 실제 사진처럼 보이게 하고 어떤 각도에서도 즉시 볼 수 있도록 만드는 기술을 개발했습니다. '3D 가우시안 스플래팅(3D Gaussian Splatting)'이라 불리는 이 기술은 믿기 힘들 정도로 실감 나는 가상 현실 경험의 문을 열었습니다. 그러나 한 가지 큰 장애물이 남아 있습니다. 공간은 존재하지만, 특정 장면을 찍기 위한 완벽한 위치를 찾는 과정은 여전히 수동적이고 지루한 작업이라는 점입니다. 예를 들어, 사용자가 테디 베어가 화면 오른쪽에 앉아 왼쪽에 있는 양을 마주 보고 있고, 카메라가 약간 기울어진 구도를 원한다면, 현재는 구도가 적절하다고 느껴질 때까지 가상 카메라를 앞뒤로 움직이며 계속해서 추측하고 확인해야 합니다. 기존의 도구들은 물체를 찾아낼 수는 있지만, 하나의 스냅샷 안에 그 물체들이 어떻게 배치되어야 하는지에 대한 예술적 의도를 이해하는 데는 어려움을 겪습니다.

이 문제를 해결하기 위해 연구진은 쓰인 설명을 바탕으로 컴퓨터가 정확한 카메라 위치를 자동으로 찾아내는 '캡프레임(CapFrame)'이라는 새로운 방법을 도입했습니다. 이 시스템은 단순히 물체를 찾는 것을 넘어, 레이아웃, 방향, 카메라 각도와 같은 복잡한 지시 사항을 이해합니다. 연구진은 실내 공간부터 야외 풍경에 이르기까지 38개의 다양한 실제 장면에서 135개의 구체적인 텍ian 지시 사항을 사용하여 이 접근 방식을 테스트했습니다. 그 결과, 기존 기술들이 피사체의 위치나 카메라의 기울기를 제대로 잡지 못해 실패했던 것과 달리, 이 방법은 쓰인 설명과 훨씬 더 잘 일치하는 뷰를 일관되게 생성해 냈습니다. 인간의 언어를 기하학적 규칙으로 변換함으로써, 캡프레임은 단순한 문장과 정교하고 사실적인 이미지 사이의 간극을 메워줍니다.

이 혁신의 핵심은 컴퓨터가 언어를 해석하는 방식에 있습니다. 전통적인 방식은 "테디 베어"를 찾고 거기서 멈출 수 있지만, 캡프레임은 "커다란 갈색 테디 베어가 오른쪽에 앉아 왼쪽의 흰색 인형 양을 마주 보고 있다"와 같은 문장을 일련의 구체적인 질문들로 분해합니다. 시스템은 스스로에게 묻습니다. '베어가 보이는가? 오른쪽인가? 올바른 방향을 향하고 있는가?' 이를 답변하기 위해 시스템은 이미지와 텍스트를 모두 이해하도록 훈련된 강력한 유형의 인공지능을 사용합니다. 이 AI는 판사 역할을 하며, 3D 장면의 수천 개의 기존 뷰를 스캔하여 설명에 가장 근접한 뷰를 찾아냅니다. 단순히 첫 번째 일치하는 것을 고르는 것이 아니라, 모든 지침을 얼마나 잘 충족하는지에 따라 순위를 매겨 다음 단계의 시작점이 이미 충분히 훌륭하도록 보장합니다.

시스템이 유망한 시작 뷰를 확보하면, 지시 사항의 모호한 단어들을 구체적인 기하학적 목표로 변환합니다. 시스템은 베어가 프레임의 어느 부분에 있어야 하는지, 그리고 카메라가 정확히 어떤 각도로 기울어져야 하는지에 대한 정신적 지도를 만듭니다. 예를 들어, 카메라가 반시계 방향으로 20도 기울어져야 한다는 지시가 있다면, 시스템은 이를 카메라 회전을 위한 구체적인 수치적 목표로 변환합니다. 또한 베어가 이미지의 오른쪽을 차지하도록 하는 목표 영역을 정의합니다. 이러한 목표들은 컴퓨터가 카메라를 움직이기 시작하기도 전에 최종 이미지가 어떻게 보여야 하는지를 알려주는 가이드 역할을 합니다.

마지막 단계는 수학의 마법이 일어나는 곳이지만, 사용자가 방정식을 이해할 필요는 없습니다. 시스템은 카메라 위치를 잡고, 이미지가 설명과 더 닮아지게 만드는 수백만 번의 미세한 조정을 테스트하며 카메라를 조금씩 움직입니다. 시스템은 현재 이미지와 앞서 설정한 목표 사이의 차이를 계산함으로써 이 작업을 수행합니다. 만약 베어가 너무 왼쪽에 있다면, 시스템은 카메라를 오른쪽으로 이동시킵니다. 카메라가 잘못된 방향으로 기울어져 있다면 각도를 수정합니다. 이 과정은 연속적이고 자동적으로 일어나며, 이미지가 텍ền 지시 사항과 완벽하게 일치할 때까지 뷰를 정교하게 다듬습니다. 연구진은 이 정교화 단계가 매우 중요함을 발견했습니다. 단순히 데이터베이스에서 뷰를 선택하는 것만으로는 충분하지 않았지만, 쓰인 규칙에 따라 위치를 미세 조정하는 것은 의도적이고 정밀한 결과를 만들어냈습니다.

실험에서 연구진은 단순한 추측이나 기본적인 탐색 패턴에 의존하는 기존 기술들과 새로운 방법을 비교했습니다. 결과는 명확했습니다. 기존 방식들은 종종 피사체를 엉뚱한 곳에 배치하거나 정확한 각도를 포착하지 못했습니다. 예를 들어, 메인 요리 뒤에 샌드위치가 놓인 식사를 근접 촬영하라는 요청을 받았을 때, 기존 시스템은 음식을 보여줄 수는 있었지만 특정한 배치는 놓칠 수 있었습니다. 그러나 캡프레임은 장면을 설명된 그대로 성공적으로 배치했습니다. 연구진은 또한 인간 자원봉사자들에게 결과를 판단하게 했는데, 참가자들은 캡프레임이 생성한 이미지를 압도적으로 선호하며, 그 이미지들이 더 자연스럽고 지시 사항과 더 잘 부합한다고 평가했습니다.

이 연구는 컴퓨터가 이제 장면 안에 무엇이 있는지를 넘어, 인간 사진작가가 장면을 어떻게 프레임에 담을 것인지까지 이해할 수 있음을 보여줍니다. 복잡한 묘사를 읽는 능력과 3D 카메라를 실시간으로 조정하는 힘을 결합함으로써, 캡프레임은 오직 말 한마디로 가상 환경을 탐험하는 것을 가능하게 합니다. 이는 경험을 수동적인 검색에서 직관적인 대화로 변화시켜, 사용자가 단순히 원하는 뷰를 요청하기만 하면 완벽하게 구성된 이미지를 받을 수 있게 합니다. 비록 이 시스템이 여전히 초기 3D 장면의 품질과 텍스트의 명확성에 의존하고는 있지만, 이는 디지털 세계를 더 쉽고 인간의 의도에 더 민감하게 탐색할 수 있도록 만드는 중요한 진전입니다.

기술 요약: CapFrame – 3D 가우시안 장면에서의 텍스트 지시 기반 시점 그라운딩 (Text-Instructed Viewpoint Grounding)

1. 문제 정의

3D 가우시안 스플래팅(3DGS)은 사실적인 실시간 신규 뷰 합성(novel view synthesis)을 가능하게 하지만, 특정 의도된 프레임을 캡처하기 위해 가상 카메라를 배치하는 과정은 여전히 주로 수동적인 작업으로 남아 있습니다. 기존의 언어 가이드 3D 방식들은 주로 객체 중심의 그라운딩(무엇을 관찰할 것인가)에 집중하며, 구도적 제약 조건(장면이 어떻게 보여야 하는가)을 해결하는 데는 실패합니다. 실제 세계의 지시는 피사체의 방향(예: "왼쪽 뷰"), 공간적 배치(예: "오른쪽 측면"), 카메라 틸트와 같은 복잡한 사진적 속성을 명시하는 경우가 많지만, 현재의 궤적 생성이나 객체 로컬라이제이션 방법들은 이를 강제할 수 없습니다.

이를 해결하기 위해 저자들은 새로운 태스크인 **텍스트 지시 기반 시점 그라운딩(Text-Instructed Viewpoint Grounding, TIVG)**을 정식화합니다. 목표는 3D 가우시안 장면 내에서, 피사체의 존재, 구도 및 시점을 설명하는 자연어 지시와 일치하는 6-DoF 카메라 포즈( $T_{CW} \in SE(3)$ )를 식별하는 것입니다.

2. 방법론: CapFrame

저자들은 언어 지시를 카메라 포즈 최적화를 위한 기하학적 의사 라벨(geometric pseudo-labels)로 변환하는 부분 미분 가능한 프레임워크인 CapFrame을 제안합니다. 이 프레임워크는 Retrieve–Translate–Refine의 3단계 파이프라인을 통해 작동합니다.

1단계: Retrieve (의미론적 인지 초기화)

연속적인 $SE(3)$ 공간을 전수 조사하는 것은 계산적으로 불가능하기 때문에, CapFrame은 훈련 이미지의 이산적 부분 공간을 사용하여 최적화를 초기화합니다.

Coarse Filtering (조粗 필터링): 시스템은 FG-CLIP을 사용하여 텍스트 지시와 훈련 뷰 사이의 전역적 의미론적 정렬을 수행하고, 상위 $M$ 개의 후보를 유지합니다.
Question-Evaluation (질문-평가, QE): 복잡한 장면에서 홀리스틱 임베딩(holistic embeddings)의 한계를 극복하기 위해, 멀티모달 거대 언어 모델(MLLM)은 지시를 구체적인 질문(예: "피사체가 오른쪽에 있는가?", "왼쪽 뷰가 보이는가?")으로 분해합니다. MLLM은 각 후보 뷰를 이러한 질문들에 대해 평가하여 세밀한 점수를 생성하고, 상위 $K$ 개의 뷰를 고품질 초기화 지점으로 선택합니다.

2단계: Translate (언어를 기하학적 의사 라벨로 변환)

자연어는 수치적인 최적화 목표를 제공하는 경우가 드뭅니다. CapFrame은 구도적 지시를 구조화된 기하학적 의사 라벨로 변환합니다.

Subject-Gaussian Association (피사체-가우시안 연관): MLLM은 주요 피사체를 식별합니다. 검색된 이미지와 3DGS 깊이(depth)를 활용한 Grounded SAM을 사용하여, 시스템은 2D 마스크를 3D 공간으로 역투영하여 특정 가우시안 서브셋을 각 피사체와 연관시킵니다.
Orientation Pseudo Labels (방향 의사 라벨): 비대칭 피사체의 경우, MLLM은 텍스트로부터 상대적 방향 오프셋(방위각, 고도, 롤)을 추론합니다. 이는 추정된 피사체 방향(Orient Anything 활용)과 결합되어 타겟 방향 벡터를 생성합니다.
Layout Pseudo Labels (레이아웃 의사 라벨): MLLM은 정규화된 이미지 프레임 내 피사체의 타겟 2D 바운딩 박스를 추론합니다. 이 박스들은 방향 제약 조건과의 일관성을 보장하기 위해 카메라 롤(roll)에 맞춰 조정됩니다.

3단계: Refine (경사 기반 최적화)

검색된 포즈를 시작점으로, CapFrame은 최적의 카메라 포즈를 찾기 위해 3DGS에서 미분 가능한 최적화를 수행합니다.

Differentiable Rendering (미분 가능한 렌더링): 시스템은 3DGS 래스터화의 미분 가능성을 활용하여 카메라 포즈 파라미터( $\tau \in \mathfrak{se}(3)$ )로 직접 손실을 역전파합니다.
Loss Function (손실 함수): 최적화는 다중 목적 손실 $\mathcal{L} = \mathcal{L}_{\text{layout}} + \mathcal{L}_{\text{orient}}$ $L = L_{layout} + L_{orient}$ 를 최소화합니다:
- Layout Loss (레이아웃 손실): 피사체의 소프트 센트로이드(soft centroid)가 타겟 레이아웃 박스에서 벗어나는 것에 패널티를 주고, 마스크가 박스 외부로 누출되거나 내부 커버리지가 부족한 것에 패널티를 줌으로써 피사체 배치를 강제합니다.
- Orientation Loss (방향 손실): 세 가지 항을 통해 시점 제약을 강제합니다: 중력 항(수직 카메라를 위함), 전방 지향 항(카메라 방향을 피사체의 타겟 방향과 일치시킴), 그리고 룩-앳(look-at) 항(피사체 센트로이드를 시야 내에 유지함).

3. 주요 기여

새로운 태스크 정식화: 본 논문은 초점을 객체 로컬라이제이션에서 3D 장면의 전체 프레임 구도 정렬로 전환하며 TIVG를 도입합니다.
CapFrame 프레임워크: MLLM을 활용하여 텍스트로부터 기하학적 의사 라벨(방향 및 레이아웃)을 생성함으로써, 추상적인 지시와 미분 가능한 3D 최적화 사이의 간극을 메우는 새로운 파이프라인을 제시합니다.
Question-Evaluation 전략: 지시를 특정 질문으로 분해하여 표준 VLM 유사도 점수보다 더 견고한 초기화를 제공하는 검색 메커니즘을 사용합니다.
미분 가능한 최적화: 의사 라벨로부터 유도된 레이아웃 및 방향 손실을 사용하여 3DGS에서 카메라 포즈를 정교화하는 방법을 제공하며, 이는 3D 표현에 대한 추가 학습을 필요로 하지 않습니다.

4. 실험 결과

저자들은 38개의 실제 장면(Mip-NeRF 360, Deep Blending, Tanks and Temples, LERF-OVS, DL3DV-10K 출처)과 135개의 선별된 텍스트 지시문을 사용하여 CapFrame을 평가했습니다.

베이스라인: 본 방법은 휴리스틱 탐색 방법(보간 기반 시점 탐색, 샘플링 기반 시점 탐색) 및 적응형 궤적 생성 방법(ChatCam, SplaTraj)과 비교되었습니다.
정량적 성능: CapFrame은 모든 지표에서 가장 높은 점수를 기록했습니다:
- VLM 지표: 가장 높은 텍스트-이미지 유사도 점수(CLIP 및 SigLIP2).
- MLLM 판사: GPT-5.4-mini 및 Gemini-2.5-Flash로 평가했을 때 가장 높은 정렬 점수(AS)와 승률(WR)을 달 기록했습니다.
- 사용자 연구: 33명의 참가자가 12개 그룹에 대해 설문지를 작성하였으며, CapFrame의 결과물을 베이스라인보다 선호하는 비율이 **77.7%**였고, 평균 평점은 4.50/5.0이었습니다.
Ablation Studies (절제 연구):
- QE 전략을 제거하면 초기화가 제대로 되지 않아 타겟 피사체를 놓치는 경우가 빈번했습니다.
- **방향 손실(orientation loss)**을 제거하면 카메라가 지정된 뷰를 달성하는 데 실패했습니다(예: 잘못된 각도).
- **레이아웃 손실(layout loss)**을 제거하면 피사체가 의도된 위치에서 벗어났습니다.
- Refine 단계는 모든 데이터셋에서 초기 검색된 뷰보다 정렬 점수를 일관되게 향상시켰습니다.
민감도: 시스템은 패러프레이징된 텍스트와 의사 라벨의 중간 정도의 노이즈에 대해서는 견고함을 보였으나, 낮은 순위(Top-5)의 이미지에서 초기화될 경우 성능이 약간 저하되었습니다.

5. 의의 및 주장

본 논문은 CapFrame이 구도적 제약을 충족하는 시점을 자동화함으로써 복잡한 3D 환경에 대한 직관적이고 언어 중심적인 탐색을 가능하게 한다고 주장합니다. "무엇을" 볼 것인가에 집중했던 이전 방법들과 달리, CapFrame은 "어떻게" 장면을 구성할 것인가를 다룹니다.

저자들은 이 연구를 TIVG 태스크에 대한 최초의 솔루션으로 포지셔닝합니다. 또한 MLLM에 대한 의존도가 프롬프트 품질에 민감하다는 점과 현재 접근 방식이 3DGS 모델 자체의 추가 학습을 포함하지 않는다는 점을 언급하며 한계를 인정합니다. 향후 연구로는 더 견고한 프롬프팅 전략과 프롬프트 최적화를 탐구하는 것이 제안되었습니다. 연구 촉진을 위해 코드는 공개되어 있습니다.