💻 computer science

MobileSAM2: Lightweight Segment Anything for Spatial Intelligence

이 논문은 시공간적 지식과 다중 입도 지식을 효과적으로 전달하는 새로운 하이퍼그래프 지식 증류(Hypergraphical Knowledge Distillation, HyperKD) 프레임워크를 통해 무거운 SAM2를 증류함으로써, 자원이 제한된 기기에서 이미지와 비디오의 객체를 분할하기 위한 경량 모델 제품군인 MobileSAM2를 소개한다.

원저자: Kai Jiang, Jiaxing Huang, Jingyi Zhang, Weiying Xie, Yunsong Li, Yufei Wang, Aoran Xiao, Dacheng Tao

게시일 2026-07-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kai Jiang, Jiaxing Huang, Jingyi Zhang, Weiying Xie, Yunsong Li, Yufei Wang, Aoran Xiao, Dacheng Tao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 SAM2라는 이름의 초지능 로봇 두뇌가 있다고 상상해 보세요. 이 두뇌는 어떤 비디오를 보더라도 자동차, 고양이, 심지어 나무의 아주 작은 잎사귀까지 모든 것을 즉각적으로 찾아낼 수 있습니다. 마치 113,800개 이상의 비디오와 4,090만 개의 서로 다른 "마스크" 그림(디지털 커팅이라고 생각하면 됩니다)을 공부한 천재 예술가와 같습니다. 하지만 여기에는 함정이 있습니다. 이 천재적인 두뇌는 너무 거대하고 무거워서 일반적인 스마트폰이나 노트북에는 들어가지 않습니다. 마치 도서관 전체를 배낭 안에 쑤셔 넣으려는 것과 같습니다.

이 논문의 연구자들은 간단한 질문을 던졌습니다. 이 거대한 천재를 똑똑함을 잃지 않게 하면서 주머니에 들어갈 정도로 줄일 수 있을까?

그들의 대답은 MobileSAM2라는 새로운 경량 모델 제품군입니다. 이를 위해 그들은 단순히 거대한 두뇌에서 조각을 잘라낸 것이 아니라, HyperKD(하이퍼그래프 지식 증류)라는 특별한 교수법을 발명했습니다.

"하이퍼그래프"의 마법

보통 큰 스승 모델로부터 작은 학생 모델을 가르칠 때는 단순히 정답을 보여줍니다. 하지만 저자들은 SAM2의 진짜 마법은 무엇을 보느냐가 아니라, 사물들을 어떻게 연결하느냐에 있다는 것을 깨달았습니다. 그들은 하이퍼그래프라는 개념을 사용했는데, 이는 마치 초고성능 거미줄과 같습니다.

일반적인 웹에서는 하나의 선이 두 점을 연결합니다. 하지만 하이퍼그래프에서는 하나의 "선"(하이퍼엣지라고 불림)이 동시에 많은 점들을 연결할 수 있습니다. 연구진은 이 방식을 사용하여 MobileSAM2에게 두 가지 구체적인 초능력을 가르쳤습니다.

시간 여행 (시공간적 지식): 공이 굴러가는 영상을 본다고 상상해 보세요. 일반적인 모델은 1초에 "공"을 보고, 2초에 "공"을 봅니다. 하지만 SAM2는 1초의 공이 2초의 공과 동일한 공이며, 매끄러운 경로로 움직이고 있다는 것을 이해합니다. 연구진은 "시간 하이퍼그래프"를 구축하여 공이 여러 프레임에 걸쳐 이동하는 동안 이를 추적하는 방법을 학생 모델에게 보여줌으로써, 공을 한꺼번에 연결해 학습시켰습니다.
확대 및 축소 (세밀도 지식): 강아지를 보고 있다고 상상해 보세요. 강아지 전체를 볼 수도 있고, 귀만 보거나, 심지어 아주 작은 수염 하나를 볼 수도 있습니다. SAM2는 이 모든 수준을 동시에 이해합니다. 연구진은 "세밀도 하이퍼그래프"를 구축하여 전체 강아지와 그 부위, 그리고 더 작은 부분들을 동시에 연결했습니다. 이는 학생 모델이 큰 그림부터 아주 작은 부분까지 상세하게 이해하도록 가르칩니다.

결과: 주머니 속의 천재

이 "슈퍼 웹" 교수법을 사용하여, 그들은 거대한 SAM2 모델을 세 가지 작은 버전인 MobileSAM2-5M, MobileSAM2-10M, MobileSAM2-23M으로 줄이는 데 성공했습니다 (숫자는 "파라미터" 또는 뇌 세포의 개수를 의미합니다).

실험 결과는 다음과 같습니다:

효율적인 하드웨어에서 작동: 원래의 SAM2는 매우 거대하여 실행하기 위해 엄청난 자원(예: 80GB 메모리를 가진 A100)이 필요하지만, MobileSAM2는 효율성을 위해 설계되었습니다. 이 모델은 표준 데스크톱 GPU(예: RTX 4060)에서 원활하게 작동하며, 580만 파라미터 버전의 경우 초당 13.3 프레임의 속도로 비디오를 처리합니다. 이러한 효율성은 휴대폰이나 노트북 같은 자원이 제한된 기기에서 사용 가능하게 만드는 데 있어 중요한 단계입니다.
놀라울 정도로 똑똑함: 크기는 작지만, 다른 작은 모델들을 압도적인 차이로 앞섭니다. 예를 들어, LVOS라는 테스트에서 2,300만 파라미터 버전은 69.0점을 기록한 반면, 비슷한 크기의 다른 모델들은 약 44.8점 또는 60.6점에 그쳤습니다.
단순한 눈속임이 아님: 연구진은 이 방법을 SAM2의 설계와 전혀 관련이 없는 다른 로봇 두뇌인 TrackAnything에도 테스트했습니다. 그들의 "하이퍼그래프" 교수법을 적용했을 때, 해당 모델도 더 똑똑해졌습니다. 이는 이 방법 자체가 핵심 비결이지, 특정 설계를 단순히 복제한 것이 아님을 시사합니다.

그들이 하지 않은 것

이 논문이 주장하지 않는 부분도 명확히 알아두어야 합니다. 그들은 MobileSAM2가 완벽하다거나 SAM2가 하는 모든 것을 할 수 있다고 말하지 않았습니다. 그들은 이 특별한 교수법 없이 작은 모델만 사용하는 것은 불가능하다고 명시적으로 밝혔습니다. 실험 결과, 이 "하이퍼그래프" 훈련 없이 작은 모델만 사용했을 때는 (LVOS에서 69.0점에 비해 훨씬 낮은 44.8점을 기록하며) 성능이 훨씬 떨어졌습니다.

또한, 이것이 모든 로봇을 위한 "해결된" 문제라고 주장하지도 않았습니다. 그들은 이 모델이 로봇 팔이 약 **21.8%**의 확률로 임무를 수행하는 데 도움을 준 특정 로봇 작업(LIBERO-PRO)에서 테스트했으며, 이는 다른 작은 모델들보다는 낫지만 여전히 개선의 여지가 남아 있음을 보여줍니다.

결론

이 논문은 사물의 시간과 세부 사항을 연결하는 "슈퍼 웹" 연결을 사용하여 작은 모델을 가르침으로써, 드디어 강력한 비디오 이해 두뇌를 우리 주머니 속에 넣을 수 있다는 것을 시사합니다. 이것이 모든 것을 완벽하게 만드는 마법 지팡이는 아니지만, 우리가 매일 사용하는 기기에 실제로 들어갈 수 있는 스마트한 로봇과 비디오 앱을 만들기 위한 중요한 진전입니다.

기술 요약: MobileSAM2: 공간 지능을 위한 경량화된 Segment Anything

문제 정의

Segment Anything Model 2 (SAM2)는 113.8K개의 비디오와 40.9M개의 마스크 주석(annotation)이 포함된 방대한 데이터셋을 활용하여 강력한 시계열 상관관계와 다중 입도(multi-granularity) 시각적 개념을 학습함으로써, 비디오 및 이미지 세그멘테이션 분야에서 중요한 진전을 이루었습니다. 그러나 SAM2의 거대한 파라미터 수(예: Hiera-L 백본은 212M 개 이상의 파라미터를 초과함)와 높은 계산 요구량은 모바일 폰, 노트북, 드론, 로봇과 같은 자원이 제한된 장치로의 배포를 저해합니다. 기존의 경량 세그멘테이션 모델들은 동적인 비디오 스트림에서 "segment anything" 작업을 수행하는 데 있어 SAM2를 효과적으로 만드는 포괄적인 시계열 일관성과 다층적 입도 이해력을 유지하는 데 종종 실패합니다. 핵심 과제는 SAM2의 일반화 가능한 지식을 시계열 세그멘테이션과 조-세(coarse-to-fine) 이해에서의 견고성을 희생하지 않으면서 경량 모델로 증류(distill)하는 것입니다.

방법론

1. 하이퍼그래프 지식 증류 (Hypergraphical Knowledge Distillation, HyperKD)

SAM2의 파라미터 내에 암시적으로 인코딩된 시계열 및 다중 입도 지식에 직접 접근하기 어려운 문제를 해결하기 위해, 저자들은 HyperKD를 제안합니다. 이 프레임워크는 이러한 특정 지식 유형을 명시적으로 모델링하고 전달하기 위해 지식 증류에 하이퍼그래프(hypergraph) 개념을 도입합니다. 전통적인 쌍별(pairwise) 그래프 구조와 달리, 하이퍼그래프는 단일 하이퍼엣지(hyperedge)가 여러 노드를 연결할 수 있게 하여 고차원적 연관성을 효과적으로 포착합니다.

HyperKD는 두 가지 별도의 구성 요소로 이루어집니다:

시계열 HyperKD (Temporal HyperKD): 이 구성 요소는 비디오 프레임 전반에 걸친 일반화 가능한 시계열 지식을 목표로 합니다.
- 추출: 두 가지 유형의 하이퍼그래프를 구축합니다: 패치 단위(Patch-wise) (그리드 패치를 노드로 취급) 및 인스턴스 단위(Instance-wise) (신뢰도가 높은 세그멘테이션 엔티티를 노드로 취급).
- 구축: 각 프레임에 대해, 중심 정점 주변의 $\epsilon$ -볼(ball) 거리 임계값을 통해 형성된 하이퍼엣지로 노드들을 연결합니다. 이렇게 생성된 로컬 하이퍼엣지들은 프레임 간에 융합되어 비디오 시퀀스 전체에서 관련 노드 간의 관계를 모델링하는 시계열 하이퍼그래프를 생성합니다.
- 증류: 학생 모델은 자신의 구축된 시계열 하이퍼그래프를 교사(SAM2)의 하이퍼그래프와 일치시키도록 훈련되며, 이때 두 모델의 인시던스 행렬(incidence matrices) 사이의 프로베니우스 노름(Frobenius norm) 거리를 최소화합니다.
입도 HyperKD (Granularity HyperKD): 이 구성 요소는 포괄적인 다중 입도 지식(객체, 부분, 하위 부분)을 목표로 합니다.
- 추출: 단일 입도 수준 내의 세그멘테이션 엔티티를 노드로 취급합니다.
- 구축: 서로 다른 입도 수준 간의 엣지를 융합하여 하이퍼엣지를 형성합니다 (예: 객체를 그 구성 요소인 부분 및 하위 부분과 연결).
- 증류: 시계열 구성 요소와 유사하게, 학생 모델은 자신의 입도 하이퍼그래프를 교사와 일치시켜 학생이 계층적이고 조-세(coarse-to-fine)적인 시맨틱 관계를 학습할 수 있도록 합니다.

전체 훈련 목적 함수는 표준 특징 정렬(FitNet)과 HyperKD 손실을 결합합니다:
$\text{Loss} = \|z^I_t - z^I_s\|_1 + \alpha \cdot \mathcal{L}_{THKD} + \beta \cdot \mathcal{L}_{GHKD}$

2. MobileSAM2 아키텍처 탐색

HyperKD를 기반으로, 저자들은 경량 모델 제품군인 MobileSAM2를 소개합니다. 이들은 대규모 Hiera-L 백본을 축소하기 위해 **점진적 모델 수축 전략(progressive model contraction strategy)**을 채택합니다.

임베딩 차원( $\Gamma_{Emb}$ ), 블록 수( $\Gamma_{Blk}$ ), 윈도우 크기( $\Gamma_{WinSiz}$ ), 어텐션 헤드 확장 비율( $\Gamma_{HExp}$ )과 같은 핵심 아키텍처 구성 요소에 대해 매개변수화된 탐색 공간을 정의합니다.
탐색 과정은 HyperKD 손실을 최소화하는 아키텍처를 반복적으로 식별하여, 결과적으로 더 작은 모델이 교사의 시계열 및 다중 입도 능력을 유지할 수 있도록 보장합니다.
세 가지 변형 모델이 제시됩니다: MobileSAM2-5M, MobileSAM2-10M, 그리고 MobileSAM2-23M.

주요 기여

하이퍼그래프 지식 증류: 본 논문은 비디오 세그멘테이션 지식 증류를 위해 하이퍼그래프를 적용한 첫 사례를 소개합니다. 이 접근 방식은 표준 쌍별 증류 방법으로는 포착하기 어려운 SAM2의 일반화 가능한 시계열 지식과 포괄적인 다중 입도 지식을 명시적으로 모델링하고 전달합니다.
MobileSAM2 제품군: 저자들은 모델 크기와 성능 사이의 유리한 트레이드오프를 달성하는 새로운 경량 SAM2 모델 제품군을 제시합니다. 이 모델들은 HyperKD 가이드 기반의 아키텍처 탐색을 통해 구체적으로 최적화되었습니다.
포괄적인 평가: 다양한 벤치마크(일반 비디오 객체 세그멘테이션(VOS), 장기 VOS, "segment anything in videos" 데이터셋 포함)를 통해 MobileSAM2를 검증하는 광범 والا한 실험을 수행했습니다. 이 모델들은 다른 경량 백본에 비해 Embodied AI 작업에서 우수한 일반화 성능을 보여줍니다.

실험 결과

저자들은 MOSE, DAVIS 2017, LVOS (long-term), SA-V-val, SA-V-test 등 5개의 데이터셋에서 MobileSAM2를 평가했습니다.

성능: MobileSAM2는 기존의 지식 증류 방법(FitNet, CIRKD, FAKD 등) 및 경량 베이스라인(SAM2-TinyViT)을 크게 상회합니다.
- LVOS 데이터셋에서 MobileSAM2-23M은 69.0의 J&F 점수를 달성하여, 차순위 방법(FAKD, 63.4)을 큰 차이로 앞질렀으며, 증류되지 않은 베이스라인(44.8)보다 훨씬 뛰어난 성능을 보였습니다.
- DAVIS 2017에서 MobileSAM2-23M은 FAKD의 65.0과 비교하여 72.1의 J&F를 기록했습니다.
- SA-V test에서 MobileSAM2-23M은 67.8의 J&F를 달성하여 FAKD의 62.7을 능가했습니다.
효율성: RTX 4060 모바일 GPU에서의 추론 테스트 결과, MobileSAM2는 파라미터를 획기적으로 줄이면서도 경쟁력 있는 FPS를 유지합니다. 예를 들어, MobileSAM2-23M(23.7M 파라미터)은 8.2 FPS로 동작하는 반면, 원래의 SAM2 Large(212M 파라미터)는 메모리 부족으로 실행이 불가능합니다.
절제 연구 (Ablation Studies):
- 시계열 또는 입도 HyperKD 중 하나라도 제거하면 성능이 크게 저하되어, 두 구성 요소 모두의 필요성을 확인했습니다.
- HyperKD는 전통적인 그래프 기반 증류(Context Matters, IntRA-KD)보다 우수한 성능을 보여, 고차원 시맨틱 관계를 포착하는 데 있어 하이퍼그래프의 우월성을 입증했습니다.
- 이 방법은 다른 파운데이션 모델(예: TrackAnything)에도 적용 가능함을 보여주었으며, 이는 이 성과가 특정 아키텍처의 공동 적응보다는 증류 목적 함수 자체에서 기인함을 시사합니다.
Embodied AI: LIBERO-PRO 벤치마크를 위한 CaP-Agent0에 통합되었을 때, MobileSAM2-23M은 **21.8%**의 평균 성공률을 달성하여 SAM2-TinyViT-21M 베이스라인(19.3%)을 능가했으며, 전체 SAM3 기반 에이전트(23.2%)의 성능에 근접했습니다.

의의

본 논문은 MobileSAM2가 고성능 대규모 비디오 파운데이션 모델의 능력과 모바일 및 로봇 플랫폼의 제약 사이의 간극을 성공적으로 메웠다고 주장합니다. HyperKD를 활용함으로써, 저자들은 복잡하고 고차원적인 시계열 및 계층적 지식을 압축된 모델로 증류하는 것이 가능하다는 것을 입증했습니다. 이를 통해 자원이 제한된 장치에서도 "segment anything" 기능을 구현할 수 있게 되어, 실시간 처리와 제한된 메모리가 중요한 자율 주행, 로보틱스, 모바일 비디오 편집 등의 응용 분야에서 실질적인 배포를 용이하게 합니다. 이 연구는 단순한 특징 정렬을 넘어 하이퍼그래프를 통한 지식의 명시적 구조 모델링으로 나아감으로써, 파운데이션 모델을 증류하는 새로운 패러다임을 구축했습니다.