JEPADepth: Masked Predictive Representation Learning for Self-Supervised Monocular Depth Estimation

당신이 로봇에게 인간처럼 3D로 세상을 보는 법을 가르치려 한다고 상상해 보세요. 하지만 당신에게는 단 하나의 카메라뿐이고, 거리를 측정할 자도 없습니다. 이것이 바로 "단안 깊이 추정(monocular depth estimation)"이라는 과제입니다. 오랫동안 로로봇에게 이 기술을 가르치는 가장 좋은 방법은, 아주 짧은 간격으로 촬영된 두 장의 사진을 보여주고 그 사이에서 세상이 얼마나 이동했는지 알아내라고 요구하는 것이었습니다. 이는 마치 엄지손가락을 세워 들고 한쪽 눈을 감았다가 다른 쪽 눈을 뜨는 것과 같습니다. 당신의 뇌는 엄지손가락이 얼마나 "점프"했는지를 바탕으로 거리를 계산합니다. AI의 세계에서 이것은 "광도 재구성(photometric reconstruction)"이라고 불립니다. 컴퓨터는 한 이미지를 다른 이미지와 비슷하게 변형하려고 시도하며, 만약 수학적 계산이 맞아떨어지면 깊이를 올바르게 추측했다고 가정합니다.

하지만 이 방법은 다소 취약합니다. 이는 조명이 일정하게 유지되고 물체가 움직이거나 모양이 변하지 않는다는 가정에 크게 의존합니다. 자동차가 지나가거나 태양 빛이 젖은 도로에 갑자기 반사되면, 컴퓨터의 "엄지 점프" 수학은 무너지고 혼란에 빠집니다. 이는 퍼즐 조각의 색깔이 계속 변하는 퍼즐을 푸는 것과 같습니다. 로봇을 더 똑똑하고 견고하게 만들기 위해, 과학자들은 단순히 픽셀을 맞추는 것이 아니라 장면의 '구조'를 이해하는 법, 즉 태양이 빛나든 흐리든 나무는 줄기와 가지가 있는 단단한 물체라는 것을 이해하는 법을 가르칠 방법을 찾고 있습니다. 여기서 새로운 논문인 JEPADepth가 영리한 새로운 학습 기법과 함께 등장합니다.

논문의 핵심 아이디어: 빈칸 채우기로 가르치기

저자인 루마니아 티미쇼아라 폴리테크니카 대학교의 Ionut Grigore와 Călin-Adrian Popa는 JEPADepth라고 불리는 방법을 제안합니다. 이들의 접근 방식을 "빈칸 채우기" 시험을 치르는 것으로 생각해보세요. 다만, 단어를 채우는 대신 이미지의 일부를 채워야 하며, 누락된 글자를 추측하는 대신 누락된 부분의 '의미'를 추측해야 합니다.

기존 방식(광도 재구성)에서 로봇은 이웃한 이미지의 정확한 색상과 밝기를 복제하려고 노력합니다. 이는 마치 복사기가 사진을 완벽하게 재현하려고 애쓰는 것과 같습니다. 만약 종이가 구겨지거나 잉크가 번졌다면, 그 복사는 실패합니다.

새로운 JEPADepth 방식에서 로봇은 I-JEPA라고 불리는 기술에서 영감을 받은 "마스크 예측(masked predictive)" 전략을 사용합니다. 작동 방식은 다음과 같습니다:

1. 마스크(The Mask): 컴퓨터는 이미지를 가져와서 무작위로 몇 개의 덩어리를 가립니다(사진의 일부 위에 포스트잇을 붙이는 것과 같습니다).
2. 추측(The Guess): 로봇은 보이는 부분(맥락)을 보고 숨겨진 부분이 어떤 모습이어야 하는지 예측합니다. 이때 정확한 픽셀(색상)이 아니라 "이것은 나무 줄기다" 또는 "이것은 도로다"와 같은 "개념"이나 "특징(features)"의 관점에서 예측합니다.
3. 스승(The Teacher): 특별한 "스승" 네트워크(천천히 업데이트되는 메인 뇌의 복사본)가 숨겨진 덩어리들이 무엇을 나타내는지에 대한 정답을 제공합니다. 로봇은 자신의 추측을 스승의 답변과 비교하며 그 차이로부터 배웁니다.

여기서 마법은 이 과정이 "표현 공간(representation space)"에서 일어난다는 점입니다. 로봇이 나뭇잎의 정확한 초록색 농도를 맞추려는 것이 아니라, 나뭇잎이라는 '아이디어'를 맞추려고 한다고 상상해 보세요. 이 덕분에 조명이나 질감의 변화에 로봇이 속아 넘어가기가 훨씬 어려워집니다. 태양이 나뭇잎을 다르게 비추더라도, 나뭇잎이라는 "아이디어"는 변하지 않으므로 로봇은 여전히 깊이를 정확하게 맞출 수 있습니다.

연구 결과: 더 크게 만드는 것이 아니라 더 똑똑하게 만드는 것

연구진은 이 새로운 방법을 자율주행 자동차 학습에 사용되는 표준 데이터셋인 KITTI에서 테스트했습니다. 그들은 새로운 JEPADepth 모델을 기존의 최고 성능 모델들과 비교했습니다.

좋은 소식은 다음과 같습니다: JEPADepth는 효과가 있습니다.

• 더 나은 정확도: KITTI 데이터셋에서 테스트했을 때, 이 새로운 방법은 이전의 "골드 스탠다드(표준)" 모델들을 이겼습니다. 예를 들어, 표준 테스트에서 이 모델은 0.101의 오차율(AbsRel)을 달성했는데, 이는 이전의 최고 성능인 트랜스포머 기반 모델(MonoViT)보다 우수하며, 오래된 CNN 기반 모델들보다 훨씬 뛰어난 수치입니다.
• "제로샷(Zero-Shot)" 초능력: 가장 흥식한 발견은 이 로봇이 새로운 장소에 얼마나 잘 적응(일반화)하는가 하는 점입니다. 모델은 오직 KITTI(캘리포니아의 고속도로 같은 풍경) 데이터만으로 학습되었지만, 추가적인 학습이나 미세 조정(fine-tuning) 없이 Cityscapes(번화한 유럽 도시 데이터셋)와 Make3D(야외 장면 데이터셋)에서 테스트되었습니다.
  • Cityscapes에서 JEPADepth는 최고 수준의 정확도를 기록하며 공동 1위를 차지했고, 7개 지표 중 5개에서 최고의 성능을 보였습니다.
  • Make3D에서는 최고의 정확도(AbsRel 0.275)와 최고의 로그 오차(RMSElog 0.143)를 달성하여 심지어 가장 강력한 경쟁자들도 제쳤습니다.

이는 로봇이 단순히 픽셀을 복사하는 것이 아니라 장면의 "구조"를 예측하도록 학습함으로써, 한 번도 본 적 없는 환경에서도 작동하는 더 보편적인 3D 공간 이해력을 습득했음을 시사합니다.

트레이드오프: 약간의 추가 숙제, 하지만 나중에는 추가 숙제가 없음

여러분은 "이 방식이 로봇을 더 느리게 만들거나 더 큰 컴퓨터를 필요로 하지 않을까?"라고 의문을 가질 수 있습니다. 저자들은 이 질문에 대한 답이 **"아니오"**가 되도록 주의를 기울였습니다.

"빈칸 채우기" 학습(JEPA 부분)은 로봇이 학습하는 동안 약간의 추가 작업을 요구합니다. 컴퓨터는 예측을 수행하고 이를 스승과 비교하는 추가 단계를 거쳐야 합니다. 이로 인해 전체 학습 시간이 약 16% 증가했습니다(고성능 GPU 1대 기준으로 7.4시간 대신 8.6시간 소요).

하지만 일단 학습이 끝나면, "스승"과 "예측" 부분은 버려집니다. 세상 밖으로 나가는 최종 로봇은 표준 버전과 크기 및 속도가 완전히 동일합니다. 이는 마치 학생이 더 똑똑해지기 위해 집에서 추가 연습 문제를 푸는 것과 같지만, 시험 당일에는 그 추가 연습지가 아니라 그 과정을 통해 얻은 지식만을 사용하면 되는 것과 같습니다. 논문은 이 추가적인 학습 비용이 실제 배포 시에는 효율적인 모델을 만들면서도 훨씬 더 똑똑한 결과를 가져온다는 것을 확인해 줍니다.

이 논문이 명시한 '한계점'

저자들은 자신들의 방법이 무엇이 아닌지도 분명히 밝혔습니다.

• 이것은 모든 깊이 추정 문제를 해결하는 마법의 탄환이 아닙니다. 저자들은 현재의 "디코더"(로봇의 뇌를 최종 깊이 지도로 바꾸는 부분)가 여전히 상대적으로 단순하다고 언급했습니다. 이들을 더 복잡한 설계(DPT라고 불리는)로 교체해 보았으나, 자기 지도 학습 설정에서는 도움이 되지 않았습니다. 이는 병목 현상이 특징(features) 자체보다는 로봇이 학습된 특징을 사용하는 방식에 있음을 시사합니다합니다.
• 강력한 시작점이 없다면 작동하지 않는 방법입니다. 실험에 따르면, 사전 학습된 "DINOv3" 뇌를 사용하지 않고 무작위로 학습되지 않은 뇌에서 시작할 경우, 이 방법은 처참하게 실패했습니다. "빈칸 채우기" 기술은 로봇이 이미 시각적 개념에 대한 좋은 어휘력을 갖추고 있을 때만 효과가 있습니다.
• 픽셀 단위의 완벽한 재구성에 의존하지 않습니다. 논문은 정확한 픽셀 색상을 예측하는 것이 깊이를 배우는 데 최선의 방법이라는 생각에 명시적으로 반대합니다. 그들의 테스트는 "특징(features)"(이미지의 추상적인 의미)을 예측하는 것이 모든 픽셀의 정확한 색상을 맞추려고 노력하는 것보다 더 효과적임을 보여주었습니다.

결론

JEPADepth는 로봇에게 깊이를 가르치는 미래가 단순히 더 많은 사진을 보여주거나 사진을 더 밝게 만드는 것에 있지 않다는 것을 시사합니다. 그것은 장면의 '이야기'를 이해하도록 가르치는 것입니다. 표준 학습 과정에 "숨겨진 부분 맞추기" 게임을 추가함으로써, 저자들은 더 정확하고, 조명과 풍경 변화에 더 견고하며, 본 적 없는 새로운 환경을 더 잘 다루는 모델을 만들어냈습니다. 그러면서도 최종 로봇을 더 무겁거나 느리게 만들지 않았습니다. 이는 자율주행 자동차와 로봇이 세상을 단순히 복사하는 것이 아니라, 진정으로 "보는" 법을 향한 유망한 단계입니다.