SR-JEPA: Learning Predictive Latent State in 3D Scenes

보이지 않는 설계자: AI가 존재하지 않는 것을 "보는" 법을 배우는 과정

당신이 방 안을 걷고 있는데, 누군가 마법처럼 당신의 시야에서 의자 하나를 지워버렸다고 상상해 보십시오. 의자는 보이지 않지만, 그 의자가 놓여 있을 바닥과 그 뒤의 벽, 그리고 옆에 있는 탁자는 보입니다. 인간의 뇌는 즉시 그 빈 공간을 채웁니다. "아, 저기에 의자가 있구나." 우리는 의자를 직접 보지 않아도 그것이 그 자리에 속한다는 것을 알 수 있습니다. 우리의 뇌는 방의 맥락(context)을 사용하여 사라진 조각을 예측합니다. 이처럼 보이는 것을 바탕으로 보이지 않는 것을 추측하는 능력은 인간 지능의 초능력이며, 컴퓨터에게 세상을 이해하도록 가르치기 위한 성배와도 같습니다.

인ط리전스(AI)의 세계에서 연구자들은 단순히 사진을 암기하는 것이 아니라, 이러한 능력을 갖춘 시스템을 구축하려고 노력하고 있습니다. 그들은 **JEPA(Joint-Embedding Predictive Architecture, 결합 임베딩 예측 구조)**라고 불리는 영리한 기법을 사용합니다. JEPA를 사진을 픽셀 단위로 똑같이 재현하려는 화가가 아니라, 단서(보이는 부분)만을 보고 실종된 용의자의 '개념'이나 '본질'을 추측하는 탐정이라고 생각하십시오. 빠진 의자를 그려내는 대신, AI는 의자의 개념을 예측합니다. 과학자들이 던져온 핵심적인 질문은 이것입니다. 만약 우리가 AI에게 이러한 숨겨진 개념을 예측하도록 가르친다면, AI는 실제로 그 물체가 무엇인지를 배우는 것일까요, 아니면 단순히 패턴에 기반해 추측하는 것일까요? 이 논문은 특히 3D 공간에서 이 질문을 깊이 파고들어, AI의 "예측 엔진"이 스스로 장면을 완성할 만큼 충분히 똑똑한지를 살펴봅니다.

---

SR-JEPA: 빈칸을 채우는 AI

수백만 개의 작은 점(포인트 클라우드라고 불림)으로 이루어진 3D 공간을 이해하도록 설계된 새로운 종류의 AI 모델인 SR-JEPA를 소개합니다. 연구자들은 이 AI의 매우 구체적인 부분, 즉 "예측 경로(predictive pathway)"를 테스트하고자 했습니다. 이는 "여기에 빈 공간이 보이는데, 무엇이 있어야 할까?"라고 말하는 뇌의 일부분과 같습니다.

이를 테스트하기 위해 과학자들은 3D 물체를 대상으로 "숨바꼭질" 게임을 진행했습니다. 그들은 디지털 3D 스캔을 통해 방을 만들고, 캐비닛이나 의자 같은 물체를 찾은 다음, 그 물체를 구성하는 모든 점을 삭제했습니다. 물체는 사라졌습니다. 하지만, 물체가 있던 바로 그 자리에 형태가 없는 아주 작은 "쿼리(query, 고정된 32개의 점)"를 남겨두었습니다. 이는 마치 형체는 없지만 위치만 표시된 유령 같은 윤곽선을 남긴 것과 같았습니다.

그다음, 그들은 미리 학습된(pre-trained) 상태로 고정된 AI에게 물었습니다. "이 위치에는 무엇이 속해 있는가?" AI는 방의 나머지 부분, 즉 벽, 바닥, 다른 가구들을 살펴보고 자신의 예측 경로를 사용하여 사라진 물체의 정체를 추측해야 했습니다. AI는 물체의 원래 모양이나 색상에 의존할 수 없었으며, 전적으로 방의 맥락에만 의존해야 했습니다.

맥락의 마법

결과는 놀라울 정도로 강력했습니다. AI가 실제 3D 스캔 데이터(ARKitScenes라고 불림)에서 추출한 5,953개의 서로 다른 아이템을 대상으로 사라진 물체의 정체를 추측했을 때, 정답률은 **43.13%**였습니다.

이를 비교해 보자면, 만약 AI가 단순히 무작위로 추측하거나 가장 단순한 단서(예: 사라진 지점의 중심점)만을 활용했다면 정답률은 약 **20.95%**에 불과했을 것입니다. AI의 "예측 뇌"는 이러한 단순한 추측보다 22.18 퍼센트 포인트 더 높은 정확도를 보여주었습니다. 이는 AI가 단순히 찍는 것이 아니라, 주변 장면을 실제로 활용하여 무엇이 빠졌는지 파악하고 있다는 증거입니다.

하지만 정말 흥-미로운 부분은 이것입니다. 연구자들은 AI가 어떻게 이 일을 수행하고 있는지 알고 싶었습니다. 단순히 방을 암기하고 있는 것일까요? 아니면 물체 간의 관계를 진정으로 이해하고 있는 것일까요?

그들은 두 가지 "방해(sabotage)" 테스트를 실시했습니다.

1. 무작위 뇌: AI의 눈(인코더)은 그대로 두되, 예측 뇌(프리딕터)를 뒤섞었습니다. 그 결과 정확도가 9.78 포인트 하락했습니다. 이는 AI가 학습한 특정한 예측 방식이 중요하다는 것을 보여줍니다.
2. 잘못된 방: AI의 뇌는 그대로 두되, 방의 배경을 관련 없는 다른 방(도너 씬, donor scene)으로 교체했습니다. 그러자 정확도가 21.98 포인트나 급락했습니다. 이는 AI의 추측이 전적으로 올바른 주변 맥락에 의존한다는 것을 입증합니다. 만약 주방의 쿼리를 침실에 가져다 놓으면, AI는 혼란에 빠집니다.

추측에서 구축으로

연구자들은 단순히 물체의 이름을 맞히는 데 그치지 않았습니다. 그들은 이 "완성된" 정보가 AI가 구조적 결정(예: 책이 테이블 위에 놓여 있는지 여부)을 내리는 데 도움이 될 수 있는지 확인하고 싶었습니다.

그들은 이를 8,570개의 물체 쌍을 통해 테스트했습니다. AI가 추측한 사라진 물체의 정체와 실제 기하학적 구조(모양과 위치)를 결합했을 때, 시스템은 **41.15의 평균 정밀도(AP)**를 달-성했습니다.

가장 매혹적인 발견은 AI에게 사라진 물체의 실제 정체(ground truth)를 제공한 "초강력" 버전과 비교했을 때 나타났습니다. 실제 정체를 알려주었음에도 불구하고 성능은 AI의 자체 추측보다 겨우 2.48 포인트 높았습니다. 실제로 AI가 스스로 추측한 정체를 사용했을 때도 39.37 AP에 도달했는데, 이는 실제 정체를 사용했을 때와 거의 맞먹는 수준입니다.

이는 아름다운 역할 분담을 시사합니다. AI의 예측 경로는 무엇이 빠졌는지(정체)를 파악하는 데 매우 뛰어나며, 이후 간단한 수학적 계산을 통해 그것이 어떻게 끼워 맞춰지는지(기하학)를 결정할 수 있습니다. AI는 가능한 모든 "테이블 위의 책" 규칙을 암기할 필요가 없습니다. 그저 책이 무엇인지, 그리고 테이블이 어디에 있는지만 알면 나머지는 자연스럽게 따라옵니다.

이것이 의미하는 바

이 논문은 SR-JEPA가 **질의 가능하고 구성 가능한 3D 예측 상태(queryable, compositional 3D predictive state)**를 만들어냈다고 결론짓습니다. 쉬운 말로 하면, AI는 물체가 완전히 사라지더라도 맥락에 기반하여 "여기에 무엇이 들어가는가?"라고 묻고 유용한 답을 얻을 수 있는 방의 '정신적 모델'을 학습한 것입니다.

하지만 저자들은 이 시스템이 아직 하지 못하는 것에 대해서도 주의 깊게 언급합니다. 이 시스템은 정적이고 고정된 장면에서 작동합니다. 어떻게 움직이는지, 경로를 어떻게 계획하는지, 혹은 시간이 흐름에 따라 변하는 물체를 어떻게 다루는지에 대해서는 알지 못합니다. 이것은 지능의 '스냅샷'이지 '영화'가 아닙니다. 그러나 매우 강력한 스냅샷입니다. 이는 AI에게 3D 공간에서 사라진 것들의 '본질'을 예측하도록 가르침으로써, 세상을 단순히 보는 것이 아니라 무엇이 그곳에 속해 있는지를 상상하며 이해하는 시스템을 구축할 수 있음을 보여줍니다.

연구자들은 AI의 장면 완성 능력이 실제적이고 측정 가능하며, 학습된 예측 기술과 올-바른 맥락 모두에 의존한다는 것을 발견했습니다. 이는 기계가 단순히 데이터를 처리하는 것을 넘어, 주변 세계의 구조를 이해하고 놀라운 정확도로 빈칸을 채워나가는 단계로 나아가는 하나의 발걸음입니다.