EgoWorld: Translating Exocentric View to Egocentric View using Rich Exocentric Observations

이 논문은 2D 단서나 동기화된 다중 뷰 설정에 의존하지 않고, 점 구름, 3D 손 자세, 텍스트 설명 등 풍부한 외부 시점 관측 데이터를 활용하여 증강현실 및 로봇 공학 응용에 적합한 고품질의 1 인칭 시점 영상을 생성하는 새로운 프레임워크 'EgoWorld'를 제안합니다.

핵심

🕶️ EgoWorld: 3 인칭 시점을 1 인칭 시점으로 바꾸는 마법 같은 안경

이 논문은 **"EgoWorld"**라는 새로운 인공지능 기술을 소개합니다. 이 기술은 쉽게 말해, 누군가 다른 사람이 찍은 사진 (3 인칭 시점) 을 보고, 그 사람이 직접 본 것처럼 보이는 사진 (1 인칭 시점) 을 만들어내는 것입니다.

마치 VR(가상현실) 고글을 끼고 있는 것처럼, 손이 물건을 어떻게 잡고 있는지, 눈앞에 무엇이 펼쳐져 있는지를 생생하게 재현해냅니다.

---

🎬 왜 이게 필요한가요? (문제 상황)

지금까지의 instructional video( instructional video) 나 로봇 학습 데이터는 대부분 3 인칭 시점으로 찍혔습니다.

• 3 인칭 시점: 카메라가 멀리서 사람을 찍음. "저 사람이 컵을 들고 있네"는 알 수 있지만, 손가락이 컵의 어느 부분을 잡고 있는지는 잘 보이지 않아요. 마치 멀리서 요리하는 사람을 보는 것과 같습니다.
• 1 인칭 시점: 카메라가 사람 눈 (또는 손목) 에 달림. "내가 컵을 어떻게 잡아야 할지"가 바로 보입니다.

하지만 1 인칭 카메라를 항상 달고 다니기는 어렵습니다. 그래서 3 인칭 사진 하나만 있으면, AI 가 자동으로 1 인칭 시점을 상상해서 만들어주는 기술이 필요한 것입니다.

🚧 기존 기술의 한계 (왜 어려웠을까?)

기존 기술들은 몇 가지 큰 걸림돌이 있었습니다.

1. 너무 많은 정보 필요: 여러 각도에서 찍은 사진이 없으면 못 만들거나, 카메라 위치를 정확히 알아야 했습니다.
2. 2D 평면의 함정: 단순히 2 차원 그림을 뒤집는 식이라, 손이 물건을 가린 부분 (가려진 부분) 이나 책의 안쪽 페이지 같은 보이지 않는 부분을 추측하는 데 서툴렀습니다.
3. 불완전한 상상: 새로운 물건이나 장면을 만나면 엉뚱한 것을 만들어내거나, 손 모양이 어색해졌습니다.

✨ EgoWorld 의 해결책: "3 가지 단서를 모으는 탐정"

EgoWorld 는 마치 수사관처럼, 3 인칭 사진에서 세 가지 중요한 단서를 찾아내어 1 인칭 시점을 재구성합니다.

1️⃣ 3D 점 구름 (Point Cloud) = "공간의 뼈대"

• 비유: 사진 속 사물을 레고 블록처럼 3 차원 입자로 분해합니다.
• 역할: "물체가 어디에 있고, 얼마나 멀리 있는가"를 파악합니다. 하지만 이 레고 블록만으로는 손이 어떻게 움직이는지 정확히 알 수 없습니다.

2️⃣ 3D 손 모양 (3D Hand Pose) = "동작의 지도"

• 비유: 손가락이 어떻게 구부러져 있는지, 손바닥이 어떤 각도로 있는지 보여주는 정밀한 지도입니다.
• 역할: 3D 점 구름의 크기를 실제 크기에 맞게 조정하고, 손이 물건을 잡는 정확한 자세를 알려줍니다.

3️⃣ 텍스트 설명 (Text Description) = "이야기의 맥락"

• 비유: 사진에 대한 설명서나 이야기입니다. (예: "사람이 붉은 사과를 잘라내고 있다")
• 역할: AI 가 "아, 이건 사과구나!"라고 이해하게 도와줍니다. 손이 가려진 부분이나 보이지 않는 배경을 이 이야기로 채워 넣습니다.

---

🛠️ EgoWorld 가 작동하는 두 단계

이 기술은 두 단계로 나뉘어 작동합니다.

1 단계: 정보 수집 (관찰)

• 3 인칭 사진을 입력받습니다.
• AI 가 자동으로 3D 깊이 지도, 손 모양, 텍스트 설명을 추출합니다.
• 이때, 손 모양을 이용해 깊이 지도의 크기를 실제 크기로 보정합니다. (마치 줄자를 대서 정확한 크기를 재는 것과 같습니다.)
• 그 결과, 3 인칭 시점의 정보가 **1 인칭 시점의 빈 공간 (스케치)**으로 변환됩니다. 하지만 이 스케치는 아직 구멍이 많고 흐릿합니다.

2 단계: 그림 완성 (재구성)

• 이제 **확산 모델 (Diffusion Model)**이라는 강력한 AI 화가가 나섭니다.
• 이 화가는 앞서 모은 **3 가지 단서 (점 구름, 손 지도, 텍스트)**를 보고, 빈 구멍을 채웁니다.
• 텍스트를 보고 "사과"를 그릴지 "컵"을 그릴지 결정하고, 손 지도를 보고 손가락을 자연스럽게 배치합니다.
• 그 결과, 손이 물건을 잡는 모습까지 생생하게 묘사된 1 인칭 사진이 완성됩니다.

---

🏆 왜 이 기술이 특별한가요?

1. 한 장의 사진으로 가능: 여러 각도나 복잡한 설정 없이, 단순한 스마트폰 사진 한 장만 있으면 됩니다.
2. 보이지 않는 부분도 상상: 3 인칭 시점에서는 안 보이는 책장 안쪽이나 손가락 사이를, 텍스트 설명과 손 모양을 통해 자연스럽게 채워 넣습니다.
3. 새로운 상황에도 강함: 훈련하지 않은 새로운 물건, 새로운 사람, 새로운 장소를 만나도 잘 적응합니다. 마치 유창한 언어를 구사하는 사람처럼 새로운 상황에서도 자연스럽게 대화하듯 그림을 그립니다.
4. 실제 적용 가능: 실험실 데이터뿐만 아니라, 실제 자연스러운 상황 (In-the-wild) 에서도 잘 작동함을 입증했습니다.

💡 결론: 미래의 가능성

EgoWorld 는 AR(증강현실) 교육, 로봇 학습, VR 체험 등에 큰 도움을 줄 것입니다.

• 예시: 요리 레시피를 볼 때, 3 인칭으로 찍힌 영상을 바로 내가 요리하는 시점으로 바꿔서 "손가락을 이렇게 구부리면 돼"라고 알려줄 수 있습니다.
• 예시: 로봇이 물건을 잡는 법을 배울 때, 사람의 3 인칭 영상을 보고 로봇이 직접 보는 시점으로 변환하여 더 정확하게 학습할 수 있습니다.

결론적으로, EgoWorld 는 시각적 정보의 장벽을 허물고, "남의 눈"을 "나의 눈"으로 바꿔주는 마법의 창이라고 할 수 있습니다.

기술 요약

EgoWorld: 풍부한 외관 (Exocentric) 관측을 활용한 외관 시점 (Exocentric) 에서 주관 시점 (Egocentric) 으로 변환

1. 문제 정의 (Problem)

• 배경: 주관 시점 (Egocentric vision, 1 인칭 시점) 은 요리, 조립, 악기 연주 등 손 - 물체 상호작용이 중요한 작업의 이해에 필수적입니다. 그러나 대부분의 기존 데이터셋은 3 인칭 시점 (Exocentric view) 으로 촬영되어 있어, 주관 시점 데이터를 확보하기 어렵습니다.
• 현재 기술의 한계: 기존 외관 시점 → 주관 시점 변환 방법들은 다음과 같은 심각한 제약이 있었습니다.
  • 2D 큐 (Cues) 의존성: 2D 손 레이아웃에 의존하여 오목 (Occlusion) 이나 복잡한 환경에서 신뢰도가 떨어짐.
  • 강한 가정 필요: 동기화된 다중 뷰 (Multi-view) 설정, 알려진 상대적 카메라 자세, 또는 초기 주관 시점 프레임의 존재를 가정함.
  • 일반화 부족: 훈련 데이터에 과적합되어 새로운 객체, 행동, 장면에서 성능이 급격히 떨어짐.
  • 정보 부족: 외관 시점에서는 보이지 않는 부분 (예: 책의 내지, 손 뒤에 가려진 물체) 을 주관 시점에서 자연스럽게 복원하는 데 실패함.

2. 방법론 (Methodology)

EgoWorld 는 단일 외관 시점 이미지 (RGB) 만을 입력받아 고품질의 주관 시점 이미지를 생성하는 2 단계 파이프라인을 제안합니다.

1 단계: 외관 시점 관측 (Exocentric View Observation, $\Phi_{exo}$)
단일 외관 이미지 ($I_{exo}$) 로부터 풍부한 멀티모달 정보를 추출합니다.

• 깊이 및 점 구름 (Point Cloud) 생성:
  • 오프더셸 (Off-the-shelf) 깊이 추정기를 사용하여 외관 깊이 맵 ($D_{exo}$) 을 추출합니다.
  • 3D 손 자세 추정기를 통해 3D 외관 손 자세 ($P_{exo}$) 를 추출하고, 이를 기반으로 깊이 맵의 스케일을 보정하여 메트릭 (Metric) 스케일의 깊이 맵을 얻습니다.
  • 보정된 깊이 맵과 RGB 이미지를 결합하여 3D 점 구름 ($C_{exo}$) 을 생성합니다.
• 시점 변환 (View Transformation):
  • 외관 이미지로부터 3D 주관 손 자세 ($P_{ego}$) 를 예측하는 전용 추정기 (ViT 기반 백본 + MLP) 를 학습시켰습니다.
  • $P_{exo}$와 $P_{ego}$ 사이의 변환 행렬 ($X$) 을 Umeyama 알고리즘으로 계산하여 점 구름을 주관 시점으로 투영합니다.
  • 투영된 점 구름으로부터 **희소한 (Sparse) 주관 RGB 맵 ($S_{ego}$)**을 생성합니다. 이는 복원 작업의 중요한 힌트가 됩니다.
• 텍스트 설명 추출:
  • 비전 - 언어 모델 (VLM) 을 사용하여 외관 이미지의 맥락, 행동, 상호작용하는 물체에 대한 **텍스트 설명 ($T_{exo}$)**을 생성합니다.

2 단계: 주관 시점 복원 (Egocentric View Reconstruction, $\Phi_{ego}$)
추출된 정보 ($S_{ego}, P_{ego}, T_{exo}$) 를 활용하여 희소한 맵을 밀도 있고 사실적인 이미지로 복원합니다.

• Diffusion Model 기반 인페인팅:
  • 잠재 확산 모델 (Latent Diffusion Model, LDM) 을 기반으로 합니다.
  • 입력 조건: 희소한 RGB 맵 ($S_{ego}$), 투영된 2D 손 자세 맵 ($P_{ego}^{2D}$), 그리고 텍스트 설명 ($T_{exo}$) 을 조건 (Conditioning) 으로 사용합니다.
  • 프로세스: VAE 인코더를 통해 희소한 맵과 손 자세를 잠재 공간 (Latent space) 으로 인코딩하고, 텍스트는 CLIP 임베딩을 통해 U-Net 에 주입합니다.
  • 생성: Classifier-Free Guidance (CFG) 를 활용하여 텍스트와 구조적 정보의 조화를 이루며, 노이즈 제거 과정을 통해 밀도 있는 주관 시점 이미지 ($\hat{I}_{ego}$) 를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: 단일 외관 이미지로부터 점 구름, 3D 손 자세, 텍스트 설명 등 풍부한 멀티모달 큐를 활용하여 고품질 주관 시점을 복원하는 EgoWorld를 최초로 제안했습니다.
2. 기하학적 추론과 의미론적 정보의 통합: 2 단계 파이프라인을 통해 기하학적 구조 (점 구름, 손 자세) 와 의미론적 정보 (텍스트 설명) 를 결합하여, 기존 방법들이 놓치던 손 - 물체 상호작용의 사실성과 배경의 일관성을 크게 향상시켰습니다.
3. 강력한 일반화 능력: H2O, TACO, Assembly101, Ego-Exo4D 등 4 개의 대규모 데이터셋에서 Unseen(미학습) 객체, 행동, 장면, 사람에 대한 실험을 수행하여 SOTA(State-of-the-Art) 성능을 입증했습니다. 또한, 라벨이 없는 실제 환경 (In-the-wild) 데이터에서도 강력한 성능을 보였습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: H2O 데이터셋의 4 가지 Unseen 시나리오 (객체, 행동, 장면, 주제) 에서 기존 SOTA 모델 (pix2pixHD, pixelNeRF, CFLD) 을 모든 지표 (FID, PSNR, SSIM, LPIPS, PA-MPJPE, CLIPScore) 에서 압도적으로 능가했습니다.
  • 예: Unseen 객체 시나리오에서 FID 는 59.615 (CFLD) 에서 41.334 로 30% 이상 개선되었고, PSNR 은 5dB 이상 향상되었습니다.
• 실제 환경 적용: 스마트폰으로 촬영된 실제 환경의 이미지에서도 CFLD 와 같은 기존 모델이 훈련 데이터 패턴에 편향되어 비자연스러운 결과를 보이는 반면, EgoWorld 는 일관되고 사실적인 주관 시점을 생성했습니다.
• Ablation Study:
  • 모달리티의 중요성: 손 자세 (Pose) 와 텍스트 (Text) 를 모두 사용할 때 성능이 최적화되었습니다. 텍스트는 객체와 장면의 의미론적 복원에, 자세는 손의 구조적 정확성에 기여했습니다.
  • 부정확한 텍스트 영향: 텍스트 설명이 부분적으로 틀리더라도 EgoWorld 는 희소한 점 구름에 기반한 기하학적 구조 (예: 테이블의 기울기) 는 유지하면서 텍스트에 따라 외관 (색상, 질감) 만을 조절하는 유연성을 보여주었습니다.

5. 의의 및 의의 (Significance)

• 실용적 응용 가능성: AR/VR, 로봇 공학, 교육용 비디오 제작 등 1 인칭 시점의 이해가 필수적인 분야에서, 3 인칭 카메라로 촬영된 기존 콘텐츠를 1 인칭 시점으로 변환하여 보다 직관적인 경험을 제공할 수 있습니다.
• 데이터 부족 해결: 주관 시점 데이터 수집의 어려움 (웨어러블 카메라의 부재 등) 을 해결하고, 기존 3 인칭 데이터셋을 1 인칭 학습 데이터로 확장할 수 있는 가능성을 열었습니다.
• 멀티모달 생성 모델의 진보: 기하학적 정보 (점 구름, 자세) 와 언어 정보 (텍스트) 를 결합한 Diffusion 모델의 적용 사례를 제시하여, 복잡한 시점 변환 문제 해결을 위한 새로운 패러다임을 제시했습니다.

결론적으로 EgoWorld 는 제한된 입력 (단일 외관 이미지) 으로도 풍부한 정보를 추론하여 사실적인 주관 시점을 생성하는 강력한 프레임워크로, 컴퓨터 비전 및 생성 모델 분야에서 중요한 진전을 이루었습니다.