🤖 machine learning

Multimodality as Supervision: Self-Supervised Specialization to the Test Environment via Multimodality

본 논문은 특정 테스트 환경에서만 수집된 멀티모달 데이터를 활용한 교차 모달 학습을 통해, 대규모 인터넷 데이터셋으로 사전 학습된 범용 모델에 대한 의존도를 줄이면서도 해당 모델들과 경쟁력 있는 성능을 달성하는 특화된 모델을 개발하는 자기 지도 학습 방식인 테스트 공간 학습(TST)을 제안한다.

원저자: Kunal Pratap Singh, Ali Garjani, Rishubh Singh, Muhammad Uzair Khattak, Efe Tarhan, Jason Toskov, Andrei Atanov, Oğuzhan Fatih Kar, Amir Zamir

게시일 2026-07-17

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Kunal Pratap Singh, Ali Garjani, Rishubh Singh, Muhammad Uzair Khattak, Efe Tarhan, Jason Toskov, Andrei Atanov, Oğuzhan Fatih Kar, Amir Zamir

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 눈도 보이지 않고 귀도 들리지 않는 갓 태어난 아기라고 상상해 보세요. 갑자기 어떤 방에서 깨어났습니다. 당신은 '의자'나 '강아지'가 무엇인지 전혀 모릅니다. 그러다 어느 순간 눈을 뜨고 어떤 형체를 보게 됩니다. 바로 그 순간, 귀에는 소리가 들리고 손에는 어떤 질감이 느껴집니다. 당신의 뇌는 인간이 일일이 이름을 알려주지 않아도, 이 서로 다른 감각들이 동일한 하나의 대상에 속한다는 것을 알아차립니다. 이것이 바로 **멀티모달리티(multimodality)**의 마법입니다. 즉, 누군가 모든 것에 이름을 붙여주지 않아도 여러 감각을 사용하여 세상을 이해하는 방식입니다.

오랫동안 인공지능(AI)을 만드는 과학자들은 인터넷 전체에 있는 수백만 장의 사진을 컴퓨터에게 학습시키는 방식을 사용해 왔습니다. 마치 거대한 도서관에 있는 모든 책을 암기하는 학생처럼 말이죠. 이 방식은 효과적이긴 하지만, 매우 번거롭고 방대한 데이터가 필요하며, 로봇이 실제로 서 있는 특정한 방의 상황은 무시하는 경우가 많습니다. 연구자들이 던지는 핵심적인 질문은 이것입니다. "AI가 인터넷 전체를 다운로드할 필요 없이, 지금 당장 가지고 있는 센서만을 사용하여 자기만의 세계에 대한 전문가가 되도록 가르칠 수 있을까?" 이 논문은 이 질문을 탐구하며, AI가 자신의 눈, 깊이(depth) 센서, 그리고 다른 도구들을 서로 교차 참조함으로써 어떻게 자신의 특정 환경을 보고 이해할 수 있는지에 대해 다룹니다. 마치 호기로운 아기가 자신의 집을 배우는 과정처럼 말이죠.

논문: AI에게 지역 전문가가 되는 법을 가르치기

ICLR 2026 컨퍼런스에서 발표된 이 논문의 저자들은 **테스트 공간 훈련(Test-Space Training, TST)**이라 불리는 새로운 AI 훈련 방식을 제안합니다. 세상의 모든 집에 대해 알려고 하는 '제너럴리스트(Generalist, 범용 모델)' 로봇을 만드는 대신, 그들은 하나의 특정 집을 완벽하게 아는 '스페셜리스트(Specialist, 전문 모델)' 로봇을 만들기로 했습니다.

이렇게 생각해 보세요. 당신이 새 집으로 이사를 왔다고 가정해 봅시다. 지구상의 모든 집에 대한 여행 가이드를 몇 년 동안 읽을 수도 있지만(제너럴리스트 접근법), 그냥 일주일 동안 집 안을 돌아다니며 벽을 만져보고, 가구를 보고, 바닥의 삐걱거리는 소리를 듣는 방법도 있습니다(스페셜리스트 접근법). 이 논문은 로봇이 그 집에 살게 될 경우, 두 번째 접근 방식이 훨씬 더 낫다는 점을 시사합니다.

연구 방법
연구진은 여러 개의 센서를 갖춘 가상 에이전트를 배치한 '샌드박스'(통제된 테스트 환경)를 만들었습니다. 이 에이전트는 단순히 사진(RGB 이미지)만 찍는 것이 아니라, 거리감을 파악하기 위한 깊이 센서(depth sensors), 벽의 각도를 파악하기 위한 표면 법선(surface normals), 그리고 시뮬레이션된 다른 감각들까지 사용했습니다.

그들은 이 에이전트가 특정 '테스트 공간'(디지털 방 또는 집)을 돌아다니며 데이터를 수집하도록 했습니다. 그런 다음, **교차 모달 학습(Cross-Modal Learning)**이라는 영리한 기술을 사용했습니다. 이것은 마치 "빠진 조각 맞추기" 게임과 같습니다. AI는 사진을 보고 깊이 센서가 무엇을 볼지 예측하거나, 깊이 지도를 바탕으로 사진을 예측하려고 노력합니다. 이 과정을 반복함으로써, AI는 누구도 "저것은 의자다" 혹은 "저것은 문이다"라고 말해주지 않아도 그 특정 방에 대한 깊은 이해를 스스로 터득합니다. 서로 다른 센서들이 서로를 확인해주기 때문입니다.

주요 발견
이 논문은 "데이터가 클수록 항상 좋다"라는 생각에 도전하는 놀라운 결과들을 제시합니다.

지역적 지식이 글로벌 데이터보다 우월하다 (때때로): 연구진이 물체를 찾거나 방을 묘사하는 작업에 이 '스페셜리스트' 모델을 테스트했을 때, 결과는 놀라울 정도로 좋았습니다. 실제로 기기에 있는 센서만을 사용했을 때도, 이 모델은 인터넷의 수십억 개 이미지를 학습한 거대 모델들과 대등한 성능을 보였습니다. 이는 특정 집에 사는 로봇에게는 세상의 모든 집을 조금씩 아는 것보다, 그 집을 안팎으로 완벽히 아는 것이 더 가치 있다는 것을 시사합니다.
더 많은 사진보다 더 많은 감각: 연구진은 인터넷의 더 많은 사진을 추가하는 것보다, 더 다양한 종류의 센서(모달리티)를 훈련 데이터에 추가하는 것이 더 효과적이라는 것을 발견했습니다. 한 방 안에서 8개의 서로 다른 센서를 가진 로봇은, 1,000개의 다른 방을 보는 카메라 하나를 가진 로봇보다 더 빠르고 정확하게 학습합니다. 이는 한 명의 탐정이 1,000개의 범죄 현장을 보는 것보다, 한 집에서 8명의 탐정 팀이 미스터리를 푸는 것이 더 효과적인 것과 같습니다.
"증류(Distillation)" 기술: 모델을 더욱 강력하게 만들기 위해, 연구진은 영리한 지름길을 사용했습니다. 그들은 CLIP이나 DINOv2와 같은 강력한 사전 학습된 AI 모델들의 '생각'(특징 맵, feature maps)을 가져와 이를 '새로운 센서'처럼 취급했습니다. 그들은 해당 모델들이 학습한 인터넷 데이터 자체를 사용한 것이 아니라, 오직 그 모델들이 특정 테스트 공간에 대해 내놓은 '출력값'만을 사용했습니다. 이는 마치 마스터 셰프의 레시피 노트를 가져와서, 로컬 요리사가 마스터 셰프의 주방을 방문하지 않고도 특정 요리를 완벽하게 만드는 법을 배우는 것과 같습니다. 이 '스페셜리스트' 모델은 특정 테스트 환경에서 '제너럴리스트' 모델들을 이겼습니다.

반박된 내용
이 논문은 특정 배포를 위한 좋은 AI를 구축하기 위해 반드시 방대하고 다양한 인터넷 데이터셋이 필요하다는 주장에 명시적으로 반대합니다. 연구진은 타겟 환경으로부터 풍부한 멀티모달 데이터를 얻을 수 있다면 외부 데이터에 의존할 필요가 없음을 보여주었습니다. 또한, 서로 다른 장소(더 많은 집)에서 온 더 많은 데이터가, 같은 장소에서의 더 풍부한 데이터(같은 집에서의 더 많은 센서)만큼 도움이 되지 않는다는 점도 밝혀냈습니다.

결과의 신뢰도
저자들은 수행한 실험을 바탕으로 자신들의 발견에 확신을 가지고 있습니다. 그들은 mIoU(이미지 분할 성능 지표)와 mAP(객체 탐지 성능 지표)와 같은 표준 지표를 사용하여 결과를 측정했습니다.

연구진은 '스페셜리스트' 모델(TST-MM)이 시맨틱 세그멘테이션(semantic segmentation) 및 객체 탐지 작업에서 DINOv2나 4M-21과 같은 제너럴리스트 모델보다 뛰어난 성능을 보이며 최첨단(state-of-the-art) 결과를 달성했음을 확인했습니다.
또한 명확한 트레이드오프(trade-off)를 보여주었습니다. 모델이 특정 공간에 더 전문화될수록, 보지 못한 새로운 공간에 대한 일반화 능력은 떨어졌습니다. 이는 그들이 성공적으로 제너럴리스트가 아닌 스페셜리스트를 만들어냈음을 입증합니다.
'센서 전용(Sensors Only)' 모델이 경쟁력은 있었지만, 증류된 의사 라벨(pseudo-labels)을 사용한 버전보다는 성능이 낮았다는 점을 언급하며, 완전 지도 학습(fully supervised) 모델과의 격차를 줄이기 위해 여전히 개선의 여지가 있음을 시사했습니다.

핵-테이크(Takeaway)
이 논문은 우리가 현실 세계를 위한 AI를 구축하는 방식에 대한 인식의 전환을 제 제안합니다. 인터넷의 모든 것을 아는 '슈퍼 브레인'을 만드는 대신, 자신이 가진 모든 센서를 활용하여 주변 환경으로부터 깊이 학습하는 '지역 전문가'를 만드는 것이 더 나을 수 있습니다. 이는 가정용 로봇이나 디지털 비서와 같은 실제 응용 분야에서 더 사적이고, 효율적이며, 잠재적으로 더 효과적인 방법입니다. 저자들은 많은 현실 세계의 애플리케이션에서, 스페셜리스트가 되는 것은 단순한 타협이 아니라 오히려 더 우월한 전략이라고 주장합니다.

기술 요약: 다중 모달리티를 통한 감독: 다중 모달리티를 통한 테스트 환경으로의 자기 지도적 특화

문제 정의

현재 시각 분야의 자기 지도 학습(self-supervised learning, SSL) 패러다임은 주로 광범위하고 다양한 인터넷 규모의 데이터셋(예: ImageNet, CC12M, LAION)을 사용하는 "제너럴리스트(generalist)" 사전 학습에 의존하여, 보지 못한 환경에 대한 폭넓은 일반화를 달성하고자 합니다. 그러나 가사 로봇, AR/VR 고글, 가정용 디지털 어시스턴트와 같은 많은 실질적인 AI 배포 사례들은 고정되고 알려진 물리적 환경(즉, "테스트 공간") 내에서 작동합니다. 이러한 시나리오에서는 모델이 전 세계를 일반화할 수 있는 능력이 반드시 필요한 것은 아니며, 대신 특정 배포 컨텍스트 내에서의 높은 성능이 우선순위가 됩니다.

나아가, 생물학적 에이전트(예: 유아)는 외부의 감독 없이 하나의 양식(modality)으로부터 다른 양식을 예측하는 방식인 **교차 모달 학습(cross-modal learning)**을 활용하여 주변 환경에 대한 효과적인 표현을 학습합니다. 본 논문은 이러한 생물학적 원리를 머신러닝에 적용하여, 외부의 인터넷 규모 데이터셋에 대한 의존도를 줄이면서도 특정 배포 환경에서 수집된 데이터만을 사용하여 성능이 뛰어난 특화 모델을 만들 수 있는지 조사합니다.

방법론: 테스트 공간 학습 (Test-Space Training, TST)

저자들은 주어진 테스트 환경에 특화된 자기 지도 표현을 학습하기 위해 설계된 프레임워크인 **테스트 공간 학습(TST)**을 제안합니다. 이 방법론은 네 가지 주요 단계로 구성됩니다.

테스트 공간 내 데이터 수집:
에이전트(예: 로봇 또는 기기)는 단일 물리적 공간 내에서 다중 모달 센서 데이터를 수집합니다. 여기에는 다음이 포함됩니다:
- 하드웨어 센서: RGB 이미지, 깊이 맵(depth maps), 표면 법선(surface normals), 그리고 (RGB/Depth로부터 유도된) Canny 엣지.
- 선택적 의사 양식(Pseudo-Modalities): 표현을 풍부하게 하기 위해, 저자들은 수집된 RGB 프레임에 적용된 사전 학습된 신경망(예: CLIP, ImageBind, SAM, ViTDet, Mask2Former)의 잠재 표현(latent representations)을 실험적으로 사용합니다. 이는 교차 모달 학습 과업을 위한 추가적인 "양식" 역할을 합니다.
자기 지도 사전 학습:
핵심 목표는 **다중 모달 마스크 모델링(TST-MM)**을 통한 교차 모달 학습입니다. 모델은 다른 양식(예: RGB, 법선)의 가시적인 토큰을 사용하여 마스킹된 특정 양식(예: 깊이)의 토큰을 예측하도록 훈련됩니다.
- 프레임워크는 트랜스포머 기반의 인코더-디코더 구조를 사용합니다.
- 결정적으로, 이 사전 학습 단계에서는 어떠한 태스크별 레이블도 사용되지 않습니다. 감독 신호는 동일한 물리적 공간에서 감지된 서로 다른 양식들 사이의 상관관계로부터 도출됩니다.
전이 학습 (Transfer Learning):
사전 학습 후, 학습된 표현은 동일한 테스트 공간 내의 다운스트림 태스크(의미론적 분할, 객체 탐지, 이미지 캡셔닝)에 대해 평가됩니다.
- 태스크별 헤드가 추가되며, 이는 외부 전이 데이터셋( $D_t$ )을 통해 미세 조정(fine-tuning)됩니다.
- 중요하게도, $D_t$ 는 사전 학습 데이터( $D_{PT}$ )와 다른 분포(다른 공간)에서 샘플링됩니다. 이는 사전 학습이 태스크 불가지론적(task-agnostic)임을 보장하며, 평가가 테스트 공간의 레이블을 암기한 결과가 아니라 학습된 표현의 품질을 테스트하도록 보장합니다.
평가:
TST 모델의 성능은 다음 모델들과 벤치마킹됩니다:
- 스크래치 베이스라인(Scratch baselines): 사전 학습 없이 처음부터 훈련된 모델.
- 제너럴리스트 베이스라인(Generalist baselines): 대규모 인터넷 데이터셋(예: DINOv2, 4M-21, CLIP)으로 사전 학습된 모델.
- 태스크 전문가(Task specialists): 특정 태스크에 직접 미세 조정된 모델.

주요 기여 및 결과

1. 감독으로서의 다중 모달리티의 효과성

본 논문은 단일 테스트 공간 내에서의 교차 모달 학습이 강력한 자기 지도 메커니즘임을 입증합니다.

센서 전용: 외부 데이터 없이 오직 하드웨어 기반 양식(RGB, Depth, Normals, Edges)만을 사용하더라도, TST-MM은 테스트 공간 내의 분할 및 탐지 태스크에서 대규모 인터넷 기반 제너럴리스트(예: DINOv2)에 필적하는 결과를 달-성합니다.
양식의 확장 vs 데이터의 확장: 저자들은 테스트 공간 내의 양식 수를 늘리는 것이 외부의 단일 양식 데이터를 양적으로 늘리는 것보다 더 나은 성능을 낸다는 것을 발견했습니다. 특화를 위해서는 데이터의 다양성을 확장하는 것보다 양식을 확장하는 것이 더 효과적입니다.

2. 의사 양식을 통한 특화

강력한 사전 학습 네트워크(CLIP, SAM 등을 증류하는 방식)로부터 의사 양식을 추출하여 양식 사전을 확장함으로써, TST-MM 모델은 테스트 공간에서 최첨단(SOTA) 결과를 달성합니다.

놀랍게하게도, 테스트 공간 데이터로 처음부터 훈련된 TST-MM은 해당 의사 양식들이 유래된 바로 그 모델들(4M-21, CLIP)보다 해당 공간에서 더 우수한 성능을 보였습니다.
이는 강력한 제너럴리스트 지식을 특정 배포 공간의 데이터에 맞게 증류하는 것이, 제너럴리스트 모델을 직접 사용하는 것보다 해당 공간에 더 효과적임을 시사합니다.

3. 특화와 일반화 사이의 트레이드오프

연구는 특화(Specialization)와 일반화(Generalization) 사이의 관계를 명확히 규명합니다.

특화: 단일 테스트 공간에서 사전 학습하는 것은 해당 공간 내에서 가장 높은 성능을 냅니다.
일반화: 사전 학습 데이터가 유사하지만 서로 다른 수천 개의 공간으로 확장됨에 따라, 원래의 테스트 공간에 대한 성능은 감소하는 반면, 홀드아웃(held-out) 공간에 대한 성능은 증가합니다.
데이터 대체 불가: 저자들은 수천 개의 유사한 외부 공간이 정확한 테스트 공간에서의 사전 학습을 대체할 수 없음을 보여줍니다.

4. 적응 메커니즘

TST는 적응 메커니즘으로도 기능할 수 있습니다. 기존의 제너럴리스트 모델(예: 4M-21)을 TST-MM 목적 함수를 사용하여 테스트 공간 데이터로 미세 조정하면, 원래의 제너럴리스트 모델에 비해 해당 환경에서의 성능이 크게 향상됩니다.

의의 및 주장

본 논문은 TST를 모든 시나리오에서 제너럴리스트 모델을 대체하는 것이 아니라, 특화된 배포를 위한 실행 가능하고 효율적인 대안으로 포지셔닝합니다.

외부 데이터에 대한 의존도 감소: 본 연구는 알려진 배포 환경의 경우, 방대한 규모의 인터넷 데이터셋에 대한 필요성을 줄일 수 있음을 시사합니다. 타겟 환경에서 수집된 로컬 다중 모달 데이터만을 사용하여 고성능 모델을 구축할 수 있습니다.
개인정보 보호 및 통제: TST 패러다임은 사용자 데이터가 장치나 로컬 네트워크를 벗어나지 않는 "인하우스(in-house)" 훈련을 가능하게 하여, 클라우드 기반 사전 학습과 관련된 개인정보 문제를 해결합니다.
생물학적 타당성: 이 접근 방식은 에이전트가 세상의 모든 데이터에 노출되는 것이 아니라, 즉각적인 주변 환경에서의 교차 모달 예측을 통해 표현을 구축한다는 발달 심리학적 발견을 반영합니다.
성능 격차: 저자들은 의사 양식을 사용한 TST-MM이 최첨단 수준에 도달하긴 했으나, 여전히 "스크래치" 베이스라인과 완전 지도 학습 상한선 사이의 중간 정도에 위치하고 있다고 겸허히 언급하며, 이 격차를 줄이기 위한 추가적인 개선 여지가 있음을 나타냈습니다.

요약하자면, 본 논문은 감독으로서의 다중 모달리티가 특정 환경에 최적화된 고성위의 특화된 시각 모델을 만드는 것을 가능하게 하며, 이는 "하나의 크기로 모두에게 적용되는(one-size-fits-all)" 제너럴리스트 사전 학습 패러다임에 대한 설득력 있는 대안을 제시한다고 주장합니다.