SeeSE3: Emergence of 3D Space in Vision Features

당신이 우리가 세상을 보는 방식에 대한 미스터리를 풀려는 탐정이라고 상상해 보십시오. 오랫동안 과학자들은 공간의 3차원적 형태(사물이 얼마나 멀리 있는지, 어떻게 회전하는지, 그리고 그 안에서 어떻게 움직이는지)를 진정으로 이해하기 위해서는 존재가 능동적인 탐험가여야 한다고 믿었습니다. 아기가 기어가는 법을 배우거나 바퀴 달린 로봇처럼, 자신의 몸을 움직여 보아야 비로소 세상이 단단한 3차원 공간이라는 것을 깨닫게 된다는 것입니다. 수학자 앙리 푸앵카레(Henri Poincaré)가 제안한 이 유명한 아이디어는, "움직임이 없는 존재"는 자신의 눈을 움직이는 것과 세상이 실제로 움직이는 것 사이의 차이를 구별할 이유가 없기 때문에 결코 공간이 무엇인지 배울 수 없다고 시사했습니다.

하지만 오늘날 우리에게는 새로운 것이 있습니다: "비전 파운데이션 모델(vision foundation models)"이라 불리는 거대한 컴퓨터 뇌입니다. 이 AI 시스템들은 수십억 장의 사진과 영상으로 학습되었습니다. 이들은 마치 궁극의 "움직임이 없는 존재"와 같습니다. 다리도 없고, 바퀴도 없으며, 움직이지도 않습니다. 그저 사진을 바라볼 뿐입니다. 여기서 큰 질문이 생깁니다. 만약 움직임이 없는 컴퓨터에게 충분한 사진을 먹여준다면, 이 컴퓨터가 스스로 3차원 공간의 규칙을 우연히 "발견"하게 될까요? 아니면 그저 평면적이고 무질서한 색채의 덩어리로만 보게 될까요? 이 논문은 이 질문을 파고들며, 이러한 수동적인 관찰자들이 움직이지 않고도 디지털 뇌 속에 세상의 지도를 비밀리에 구축할 수 있는지 묻습니다.

---

논문의 핵심 발견: "보이지 않는 지도"

이 연구를 수행한 구글 딥마인드(Google DeepMind)와 여러 기관의 연구진은 이 "푸앵카레 과제(Poincaré Task)"를 테스트하기로 했습니다. 그들은 움직임이 없는 이 AI 모델들의 내부 "생각"(또는 특징/feature)이 비밀리에 3차원 지도처럼 조직되어 있는지 확인하고 싶었습니다. 구체적으로, 그들은 **SE(3)**와의 연결 고리를 찾고 있었습니다. 이는 당신이 3차원 공간에서 움직이고 회전할 수 있는 모든 방법(앞으로 걷기, 왼쪽으로 돌기, 머리 기울이기 등)을 설명하는 멋진 수학적 표현입니다.

여기 반전이 있습니다. 테스트된 AI 모델들은 3차원 공간에 대해 단 한 번도 배운 적이 없습니다. 깊이 정보(depth charts)를 보여준 것도 아니고, GPS 좌표를 준 것도 아니며, 거리를 측정하는 법을 알려준 것도 아닙니다. 그들은 단지 "자기 지도 학습(self-supervision)"이라는 방식(기본적으로 이미지의 일부를 보고 나머지 부분을 추측하며 배우는 방식)을 사용하여 이미지 속 패턴을 인식하도록 훈련되었을 뿐입니다.

주요 결과:
이 논문은 놀랍게도, 움직임이 없는 이 AI들이 뇌 속에 숨겨진 3차원 지도를 구축했다는 점을 시사합니다. AI에서 나오는 가공되지 않은 데이터(raw data)는 엉킨 실타래처럼 혼란스럽고 무질서해 보이지만, 연구진은 아주 작고 단순한 "어댑터"(**푸앵카레 어댑터(Poincaré Adapter)**라고 부르는 작은 추가 도구)를 사용하면 그 엉킴을 "펼칠" 수 있다는 것을 발견했습니다. 일단 펼쳐 놓으면, AI의 내부 특징들은 3차원 공간의 기하학적 구조와 완벽하게 일치하게 됩니다.

이렇게 생각해 보세요. AI의 뇌가 지도가 그려진 구겨진 종이라고 상상해 봅시다. 일반적인 눈에는 그 지도가 끊어져 있고 읽을 수 없는 것처럼 보입니다. 하지만 푸앵카레 어댑터는 그 종이를 부드럽게 펴주는 손과 같습니다. 종이를 펴는 순간, 구겨진 선들이 완벽하고 곧은 격자를 드러냅니다. 이제 AI의 마음속에서 "앞으로" 이동하는 것이 실제 세계에서 앞으로 이동하는 것과 의미가 일치하게 됩니다.

그들이 배제한 것 (그리고 배제하지 않은 것)

저자들은 이 결과가 무엇을 의미하지 않는지 명확히 밝히기 위해 매우 주의를 기울였습니다.

• 직접적인 3D 카메라가 아닙니다: 그들은 AI의 가공되지 않은 특징들이 이미 완벽한 3차원 지도라고 생각하는 견해를 명시적으로 배제했습니다. AI에서 나오는 숫자들을 그대로 보면, 그것들은 직선적이고 평평한 것이 아니라 혼란스럽고 굽어 있습니다. 즉, "지도"는 드러나 있는 것이 아니라 숨겨져 있습니다.
• 마법이 아닙니다: 이 논문은 공간을 이해하기 위해 바퀴 달린 로봇이 반드시 필요하다는 생각에 반론을 제기합니다. 그들은 "움직임이 없는" 관찰자(AI)라도, 적절한 질문을 던질 줄 안다면 정지된 사진을 보는 것만으로도 이러한 공간 규칙을 발견할 수 있음을 보여주었습니다.
• 모든 곳에서 완벽한 것은 아닙니다: AI는 회전(turning)을 파악하는 데는 매우 뛰어났지만, 정확히 얼마나 멀리 있는지(이동 크기/translation magnitude)를 파악하는 데는 다소 어려움을 겪었습니다. 저자들은 이것이 추가적인 단서 없이 평면적인 사진만으로는 거리를 추측하기 어렵기 때문이라고 제안하지만, 이동 방향 자체는 여전히 매우 명확했습니다.

증명 방법 ("프로브" 실험)

이 숨겨진 지도를 찾기 위해 연구진은 "프로브(probe)"라고 부르는 몇 가지 영리한 기술을 사용했습니다.

1. 이웃 테스트 (The Neighborhood Test): 그들은 실제 세계에서 가까운 사진들(예: 복도를 걸어가며 찍은 연속된 두 장의 사진)이 AI의 뇌 속에서도 서로 가깝게 위치하는지 확인했습니다. 그 결과, DINOv2와 같은 일부 모델의 경우 대답은 확실한 "예"였습니다. AI는 지도가 그러하듯 유사한 뷰들을 자연스럽게 그룹화했습니다.
2. "곧게 펴기" 테스트 (The "Straightening" Test): 그들은 현재의 뷰에 간단한 수학(숫자를 더하거나 빼는 것)을 적용하여 다음 장면을 예측할 수 있는지 테스트했습니다. 가공되지 않은 데이터로는 처참하게 실패했지만, 푸앵카이어 어댑터를 사용하자 수학이 아름답게 작동했습니다. 그들은 AI의 "현재 생각"에 "앞으로 이동" 벡터를 더함으로써, 다음 프레임과 완벽하게 일치하는 "생각"을 얻어낼 수 있었습니다.
3. 내비게이션 게임 (The Navigation Game): 마지막 테스트로, 이 숨겨진 지도를 사용하여 길을 찾아보는 실험을 했습니다. 출발점과 목적지(예: "앞으로 2미터 가고 30도 회전하라")를 AI에게 주었습니다. AI의 내부 특징과 어댑터만을 사용하여, 새로운 이미지를 생성하지 않고도 목적지에서의 모습이 어떠할지 예측할 수 있었습니다. 이는 마치 AI가 머릿속에서 벡터 계산을 통해 새로운 뷰를 "상상"할 수 있는 것과 같았습니다.

"비주얼 그리드 코드 (Visual Grid Code)"

이 논문에서 가장 흥ant한 부분은 **"비주얼 그리드 코드"**라는 개념입니다. 생물학에서 우리는 동물들(인간 포함)이 항해를 돕기 위해 육각형 패턴으로 발화하는 "그리드 세포(grid cells)"라는 특별한 뇌세포를 가지고 있다는 것을 알고 있습니다. 이 논문은 수동적이고 움직임이 없는 AI 모델조차 스스로 이와 유사한 것을 발전시키고 있을 수 있다고 제안합니다. 그들은 단순히 사진을 암기하는 것이 아니라, 물리 법칙을 반영하는 기하학적 구조로 지식을 조직하고 있는 것입니다.

저자들은 이 능력이 확장된다는 것을 발견했습니다. AI가 더 많은 데이터를 볼수록, 숨겨진 3차원 지도는 더욱 정교해졌습니다. 심지어 한 번도 본 적 없는 새로운 방에서 테스트했을 때도, "어댑터"는 여로 길을 찾도록 도와주었으며, 이는 이것이 모델이 학습하는 방식의 근본적이고 보편적인 속성임을 시사합니다.

이것이 왜 중요한가

이것은 단순히 더 나은 로봇을 만드는 것에 관한 문제가 아닙니다. 이것은 지능을 바라보는 우리의 관점을 바꿉니다. 만약 움직임이 없는 컴퓨터가 사진을 보는 것만으로 3차원 공간의 규칙을 파악할 수 있다면, 이는 우리 세상의 기하학적 구조가 시각 데이터 속에 너무나 깊게 박혀 있어서 놓치는 것이 거의 불가능하다는 것을 의미합니다. "공간의 법칙"은 우리가 기계에게 가르쳐야 하는 것이 아닙니다. 충분한 눈을 제공한다면, 기계는 스스로 그것을 발견할 것입니다.

논문은 결론적으로, AI가 우리가 하는 방식처럼 3차원 공간을 "보는" 것은 아니지만(움ло직일 몸이 없으므로), 자신의 코드 안에 3차원 공간의 수학적 골격을 구축했다는 점을 강조합니다. 그리고 푸앵카레 어댑터와 같은 간단한 도구의 도움을 받는다면, 우리는 마침내 그 지도를 읽을 수 있으며, AI의 생각만을 사용하여 세상을 항해할 수 있게 됩니다.