기존 모델 (수동적 시각): 기존의 인공지능은 마치 눈이 가만히 있는 사람처럼 행동합니다. 고해상도 사진을 한 장 통째로 받아서, 모든 픽셀을 동시에 분석합니다.
비유: 거대한 벽화 전체를 한 번에 쳐다보며 "이게 뭐지?"라고 외치는 것 같습니다.
단점: 모든 것을 한 번에 보려고 하니까 컴퓨터 성능 (연산량) 을 엄청나게 많이 먹습니다. 또, 중요한 부분만 집중해서 보는 '눈의 움직임'을 모방하지 못합니다.
CanViT (능동적 시각): CanViT 는 마치 현장 수사를 하는 탐정이나 작은 창문으로 세상을 보는 사람과 같습니다.
비유: 탐정이 사건 현장 (이미지) 에 도착했다고 가정해 봅시다. 그는 한 번에 전체를 보지 않습니다. 대신 **작은 창문 (Glimpse)**을 통해 특정 부분만 들여다보고, 그 정보를 **수첩 (Canvas)**에 적어둡니다. 그다음 수첩을 보며 "아, 저기서 이상한 흔적이 있었지? 저쪽으로 창문을 옮겨보자"라고 생각하며 다음 장소를 봅니다.
핵심: 이 과정을 반복하며, 작은 조각들을 하나씩 모아 전체 그림을 완성합니다.
2. CanViT 의 핵심 기술: "캔버스 (Canvas)"와 "스마트 창문"
이 모델은 두 가지 주요 부위로 이루어져 있습니다.
작은 창문 (Glimpse):
현재 보고 있는 작은 부분의 이미지입니다.
이 모델은 이 작은 창문을 통해 고해상도 이미지의 일부를 잘라내어 봅니다.
기억의 캔버스 (Canvas):
이것이 CanViT 의 가장 큰 혁신입니다. 탐정이 가진 수첩이나 작업 공간과 같습니다.
이 캔버스는 장면 전체를 기억하는 공간입니다. 탐정이 창문을 옮겨가며 본 것들을 이 캔버스에 차곡차곡 쌓아둡니다.
중요한 점: 이 캔버스는 **비행기 (Backbone)**와 **수첩 (Canvas)**이 서로 대화하는 방식입니다. 비행기는 "지금 이 부분을 봤어"라고 말하고, 수첩은 "그래, 그 부분은 여기에 기록했어. 이제 저쪽을 봐야겠다"라고 답합니다.
이 방식 덕분에 모델은 매우 적은 계산량으로도 고해상도 이미지를 처리할 수 있습니다. (전체 벽화를 한 번에 보는 게 아니라, 필요한 부분만 하나씩 보니까요.)
3. 어떻게 배웠을까요? "선생님의 눈을 빌린 학습"
CanViT 는 처음부터 스스로 배운 것이 아닙니다. 이미 잘 훈련된 **거대 선생님 모델 (DINOv3)**을 스승으로 모시고 배웠습니다.
학습 방식:
선생님은 고해상도 사진을 한 번에 다 보고 정답을 맞춥니다.
CanViT 학생은 **작은 창문 (저해상도)**으로만 사진을 봅니다.
과제: "내가 작은 창문으로 본 것들을 조합해서, 선생님이 본 전체 그림과 똑같은 기억 (캔버스) 을 만들어봐!"
이 과정을 통해 CanViT 는 "작은 조각만 봐도 전체 그림을 상상할 수 있는 능력"을 익혔습니다.
특이점: 이 학습은 정답 (레이블) 없이도 가능합니다. "이게 고양이야"라고 알려주지 않아도, "이 조각과 저 조각을 합치면 선생님이 본 것과 비슷해"라는 원리로 학습합니다.
4. 왜 이것이 대단한가요?
이 논문은 몇 가지 놀라운 결과를 보여줍니다.
압도적인 효율성:
같은 성능을 내기 위해 기존 모델이 300 번의 연산을 해야 한다면, CanViT 는 15 번만 하면 됩니다. (약 20 배 더 빠르고 저렴함)
마치 고해상도 사진을 한 번에 처리하는 대신, 필요한 부분만 빠르게 훑어보는 것과 같습니다.
정확도:
처음 한 번의 창문 (저해상도) 으로만 봐도 기존 능동적 비전 모델들보다 훨씬 정확하게 사물을 인식하고 분할합니다.
창문을 더 많이 옮길수록 (추가 정보를 얻을수록) 정확도는 계속 올라갑니다.
유연성:
이 모델은 "어디를 봐야 할지"를 정해주는 정책 (Policy) 에 구애받지 않습니다. 탐정이 임의로 창문을 옮겨도, 혹은 체계적으로 옮겨도 잘 작동합니다.
5. 요약: CanViT 가 가져오는 변화
이 연구는 **"인공지능이 인간처럼 눈을 움직이며 세상을 이해하는 시대"**를 열었습니다.
과거: "모든 것을 한 번에 다 보자!" (무겁고 비쌈)
CanViT: "중요한 부분만 집중해서 보고, 기억해두자!" (가볍고 빠름)
이 기술은 앞으로 로봇이 실시간으로 환경을 인식하거나, 휴대폰에서 고해상도 영상을 실시간으로 분석하는 등, 계산 자원이 제한된 환경에서도 뛰어난 성능을 발휘하는 인공지능을 만드는 데 큰 역할을 할 것입니다. 마치 우리가 복잡한 미로를 통과할 때, 전체 지도를 다 외우지 않고 중요한 표지판만 보고 길을 찾는 것처럼 말이죠.
1. 문제 정의 (Problem)
기존의 컴퓨터 비전 모델은 대부분 **수동적 (Passive)**인 방식으로 작동합니다. 즉, 전체 이미지를 한 번에 입력받아 독립적으로 처리합니다. 반면, 인간의 시각 시스템은 **능동적 (Active)**으로 시선을 이동시키며 관심 영역 (ROI) 을 순차적이고 국소적으로 스캔 (Glimpse) 합니다.
현재의 한계:
확장성 부재: 기존 능동 비전 (Active Vision) 모델들은 단순한 분류 작업이나 고정된 줌 레벨에 국한되었으며, 대규모의 범용 아키텍처나 사전 학습 파이프라인이 부족했습니다.
밀집 예측 (Dense Prediction) 의 어려움: semantic segmentation(의미론적 분할) 과 같은 밀집 예측 작업에서 기존 능동 비전 모델들은 성능이 현저히 낮았습니다. (예: ADE20K 에서 27.6% mIoU)
RL 의존성: 기존 접근법은 주로 "어디를 볼 것인가 (Action Selection)"에 집중하여 강화학습 (RL) 에 의존했으나, 이는 학습의 복잡성을 높이고 실제 배포를 어렵게 만듭니다.
기초 모델 (Foundation Model) 의 부재: DINOv3 와 같은 수동적 비전 기초 모델은 뛰어난 일반화 능력을 갖췄지만, 국소적 시선 (Glimpse) 과 기억 (Memory) 개념이 없어 능동적 비전에는 적용되지 못했습니다.
2. 방법론 (Methodology)
저자들은 **CanViT (Canvas Vision Transformer)**라는 새로운 아키텍처를 제안하며, 이는 태스크 및 정책 (Policy) 에 무관한 (Task- and Policy-agnostic) 최초의 능동 비전 기초 모델 (AVFM) 입니다.
핵심 아키텍처: CanViT
이중 스트림 구조 (Dual-Stream Structure):
Backbone (시각 처리): 국소적인 'Glimpse'(이미지 잘라낸 조각) 을 처리하는 ViT 백본입니다.
Canvas (작업 기억): 장면 전체의 잠재적 표현 (Latent Workspace) 을 저장하는 공간적 기억입니다. 이는 장면의 좌표계 [−1,+1]2에 매핑된 패치 그리드로 구성됩니다.
Canvas Attention (비대칭 크로스 어텐션):
Backbone 과 Canvas 간의 효율적인 상호작용을 위한 새로운 메커니즘입니다.
Read: Backbone 이 Canvas 에서 정보를 읽어옵니다.
Write: Canvas 가 Backbone 의 정보를 업데이트합니다.
비대칭성 (Asymmetry): 계산 효율성을 위해 Canvas 측의 QKVO(Query, Key, Value, Output) 프로젝션 층을 제거했습니다. Canvas 토큰은 MLP 나 자체 어텐션 (Self-attention) 을 거치지 않고, 오직 Backbone 과의 상호작용을 통해만 업데이트됩니다. 이는 고해상도 장면에서도 저지연 추론을 가능하게 합니다.
장면 상대 회전 위치 임베딩 (Scene-Relative RoPE):
Glimpse 의 위치와 줌 레벨 (Scale) 을 고려하여, 시선 (Retinotopic) 과 장면 (Spatiotopic) 을 공통의 좌표계로 묶습니다. 이를 통해 다양한 줌 레벨과 위치에서 추출된 Glimpse 를 일관되게 처리할 수 있습니다.
시점 인코딩 토큰 (VPE Token):
현재 시점 (x,y,s)를 인코딩한 토큰을 추가하여, 모델이 시점의 변환에 민감하게 반응하도록 돕습니다.
사전 학습 전략: 정책 무관 수동 - 능동 밀집 잠재 분할 (Policy-Agnostic Passive-to-Active Dense Latent Distillation)
목표: 레이블이 없는 상태에서 Glimpse 시퀀스를 통해 전체 장면을 재구성하는 능력을 학습합니다.
교사 모델 (Teacher): 고해상도 전체 이미지를 처리하는 DINOv3를 사용합니다.
학생 모델 (Student): CanViT 는 저해상도 Glimpse 시퀀스를 입력받아 DINOv3 의 잠재 공간 (Latent Space) 에서 전체 장면의 특징을 재구성하도록 학습됩니다.
학습 데이터: ImageNet-21k 의 1,320 만 장 이미지에서 무작위 위치, 줌 레벨, 길이의 Glimpse 를 추출하여 10 억 개 이상의 Glimpse 로 학습했습니다.
정책 무관성: 학습 시 무작위 시선 (R-IID) 과 전체 장면 시선 (F-IID) 을 혼합하여, 모델이 특정 시선 전략에 의존하지 않고 일반화되도록 합니다.
3. 주요 기여 (Key Contributions)
CanViT 아키텍처 제안: 고해상도 장면에서도 확장 가능하고 저지연인 순환형 (Recurrent) 비전 트랜스포머 아키텍처를 최초로 소개했습니다.
새로운 학습 패러다임: 복잡한 강화학습 (RL) 없이, 수동적 기초 모델 (DINOv3) 의 지식을 능동적 모델로 전이하는 잠재 분할 (Latent Distillation) 방식을 제시했습니다.
성능과 효율성의 균형: 미세 조정 (Fine-tuning) 없이도 기존 능동 비전 모델들을 압도하는 성능을 보여주며, 계산 비용 (FLOPs) 을 획기적으로 줄였습니다.
범용성: 분할 (Segmentation), 분류 (Classification), 다양한 시선 정책 (Policy), 그리고 더 긴 시퀀스 및 고해상도 장면으로의 일반화 능력을 입증했습니다.
4. 실험 결과 (Results)
CanViT-B 모델은 단일 H100 GPU 에서 166 시간 동안 학습되었으며, 주요 결과는 다음과 같습니다.
ADE20K 의미론적 분할 (Semantic Segmentation):
단일 Glimpse: CanViT-B 는 128x128 해상도의 단일 Glimpse 만으로 38.5% mIoU를 달성했습니다. 이는 이전 최고 성능 모델 (AME, 27.6%) 보다 약 11.9%p 높으며, 19.5 배 적은 FLOPs 로 달성했습니다.
여러 Glimpse: 추가적인 Glimpse 를 통해 (C2F 정책 사용) 45.9% mIoU까지 성능이 향상되었습니다.
비교: DINOv3 교사 모델 (고해상도 전체 이미지 입력) 보다도 더 높은 효율성을 보였습니다.
ImageNet-1k 분류:
CanViT-B 는 미세 조정 없이 **81.2%**의 Top-1 정확도를 달성했습니다. 이는 기존 능동 비전 모델 중 두 번째로 좋은 성능입니다.
일반화 능력:
학습 시 보지 못한 정책 (예: Coarse-to-Fine, Entropy-guided) 에도 강력하게 일반화되었습니다.
학습 해상도 (512x512) 보다 높은 해상도 (1024x1024) 와 더 긴 시퀀스에서도 성능이 향상되었습니다.
효율성:
기존 능동 비전 모델들은 Glimpse 가 누적될 때마다 모든 패치를 다시 인코딩하여 계산 비용이 O(T2)로 증가했으나, CanViT 는 Canvas 메모리를 유지하여 계산 비용이 O(T)로 선형적으로 증가합니다.
5. 의의 및 결론 (Significance)
이 논문은 **능동 비전 기초 모델 (Active-Vision Foundation Models, AVFMs)**이라는 새로운 연구 축을 개척했습니다.
패러다임 전환: "어디를 볼 것인가 (Policy)"와 "무엇을 볼 것인가 (Perception)"를 분리함으로써, 복잡한 강화학습 없이도 능동 비전의 성능 한계를 극복할 수 있음을 증명했습니다.
실용성: CanViT 는 물리적 제약 (카메라 이동 범위 등) 이 있는 실제 환경에 적용하기 용이하며, 실시간 비디오 처리 및 embodied AI(신체화된 AI) 로의 확장에 유리한 저지연 아키텍처를 제공합니다.
미래 전망: 수동적 기초 모델의 지식을 능동적 시스템으로 전이하는 이 방식은 향후 더 큰 규모의 모델과 다양한 감각 (Sensory) 작업으로 확장될 수 있는 청사진을 제시합니다.
요약하자면, CanViT 는 효율성, 확장성, 그리고 뛰어난 일반화 능력을 통해 능동 비전 분야에서 새로운 기준 (SOTA) 을 제시하며, 기초 모델 시대의 능동 비전 연구에 중요한 이정표가 되었습니다.