🤖 AI

RADIO1D: Elastic Representations for Condensed Vision Modeling

이 논문은 지식 증류와 오토인코딩을 통해 이미지를 압축된 가변 길이의 1D 토큰 시퀀스로 변환함으로써, 고정된 2D 패치 기반 특징에 대한 의존성에 도전하고 유연한 정확도-효율성 트레이드오프와 시각-언어 모델에서의 탁월한 성능을 가능하게 하는 새로운 접근 방식인 RADIO1D를 소개한다.

원저자: Greg Heinrich, Mike Ranzinger, Collin McCarthy, Natan Bagrov, Eugene Khvedchenya, Bryan Catanzaro, Jan Kautz, Andrew Tao, Pavlo Molchanov

게시일 2026-07-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Greg Heinrich, Mike Ranzinger, Collin McCarthy, Natan Bagrov, Eugene Khvedchenya, Bryan Catanzaro, Jan Kautz, Andrew Tao, Pavlo Molchanov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: 사진 속의 너무 많은 "노이즈"

당신이 복잡한 장면(예: 번화한 거리)을 전화로 친구에게 설명하려고 한다고 상상해 보세요.

현재의 AI (기존 방식): 대부분의 시각-언어 모델(VLM)은 사진을 보고 그것을 수천 개의 작은 사각형으로 이루어진 딱딱한 격자 구조로 나눕니다(마치 픽셀화된 모자이크처럼). 사진을 설명하기 위해, AI는 이 모든 사각형에 대한 길고 상세한 목록을 "두뇌"(언어 모델)로 보내야 합니다. 이는 마치 "강아지가 있다"라고 말하기 위해 방 안의 배경 소음까지 포함된 1,000페이지 분량의 녹취록을 보내는 것과 같습니다.
문제점: 이 논문은 이것이 비효fficient하다고 주장합니다. "두뇌"는 모든 사각형을 필요로 하는 것이 아니라, 장면의 *핵심적인 맥락(gist)*을 필요로 합니다. 게다가, 이 논문은 이러한 AI 모델들이 대화하고 이해하도록 훈련됨에 따라, 정교한 격자 배치보다는 "전체적인 그림"의 의미에 더 집중하게 된다는 것을 발견했습니다.

해결책: RADIO1D ("탄력적인 요약")

저자들은 RADIO1D라는 새로운 방법을 만들었습니다. 이것을 고해상도 사진을 경직된 격자가 아닌, 유연하고 짧은 "핵심 포인트"(토큰)의 목록으로 바꾸는 스마트한 요약기라고 생각하면 됩니다.

작동 방식은 다음과 같습니다 (비유 활용):

1. "스마트 스퀴즈" (탄력적 압축)

옷이 가득 찬 여행 가방이 있다고 상상해 보세요.

기존 방식: 모든 아이템을 고정된 격자 패턴에 맞춰 담아야 합니다. 작은 티셔츠든 큰 코트든 똑같은 양의 "격자 공간"을 차지합니다.
RADIO1D 방식: 진공 압축팩을 사용합니다. 이미지가 단순하면(파란 하늘), 가방은 단 1개의 토큰(하나의 작은 패키지)으로 줄어듭니다. 이미지가 복잡하면(붐비는 시장), 가방은 256개의 토큰으로 확장됩니다.
이점: 원하는 만큼의 "공간"(컴퓨팅 파워)을 선택할 수 있습니다. 빠른 답변이 필요한가요? 1개 토큰을 사용하세요. 상세한 분석이 필요한가요? 256개를 사용하세요. 모델이 이미지의 복잡도에 따라 적응합니다.

2. "마스터 셰프" 훈련 (다중 교사 증류)

AI를 어떻게 이렇게 가르쳤을까요? 단순히 한 가지만 가르친 것이 아닙니다. 그들은 "마스터 셰프" 접근 방식을 사용했습니다.

그들은 세 가지 서로 다른 전문가 AI 모델(교사)을 가져왔습니다:
- 사진과 텍스트를 매칭하는 데 뛰어난 모델 (SigLIP2).
- 디테일과 질감을 포착하는 데 뛰어난 모델 (DINOv3).
- 물체의 경계선을 찾는 데 뛰어난 모델 (SAM3).
그들은 새로운 모델(학생)이 이 세 명의 교사 모두의 말을 동시에 듣도록 훈련했습니다. 학생은 한 교사로부터 얻은 "전역적 의미"와 다른 교사들로부터 얻은 "공간적 디테일"을 결합하여 초효율적인 요약본을 만드는 법을 배웠습니다.

3. "네스티드 드롭아웃(Nested Dropout)" (중요도의 계층 구조)

이것이 가장 영리한 부분입니다. 모델은 "네스티드 드롭아웃"이라는 게임을 통해 훈련됩니다.

플래시카드의 뭉치를 상상해 보세요. 맨 위 카드는 핵심 아이디어("강아지다")를 담고 있습니다. 다음 카드는 디테일("갈색이다")을 담고 있습니다. 맨 아래 카드들은 아주 작은 디테일("귀가 찢어졌다")을 담고 있습니다.
훈련 중에 AI는 무작위로 아래쪽 카드들을 버리도록 강요받습니다.
결과: AI는 **첫 번째 카드(첫 번째 토큰)**가 가장 중요한 정보를 담고 있어야 한다는 것을 배웁니다. 왜냐하면 그것이 유일하게 생존이 보장되는 카드이기 때문입니다. 이를 통해 "첫 번째 토큰은 전체 이미지의 강력한 요약본이 되고, 이후의 토큰들은 선택적인 디테일을 추가한다"는 계층 구조가 만들어집니다.

무엇을 발견했는가? (결과)

1. "핵심 맥락"에는 하나의 토큰이면 충분하다
이 논문은 RADIO1D가 단 하나의 토큰만으로도 장면을 이해할 수 있음을 보여줍니다.

비유: 사진의 흐릿한 썸네일만 보고도 즉시 "저건 케이크가 있는 파티네"라고 알아차리는 것과 같습니다.
테스트에서, 단 하나의 토큰만을 사용했을 때도 AI는 장면의 주요 물체를 놀라운 정확도로 식별해냈으며, 이는 동일한 작업을 수행하려는 기존 모델들보다 훨씬 뛰어난 성능이었습니다.

2. 속도와 정확도의 트레이드오프 (Trade-off)
토큰 수가 유연하기 때문에, 당신은 라디오 다이얼을 돌리듯 모델을 조절할 수 있습니다:

낮은 토큰 수 (빠름): AI가 밀리초 단위로 질문에 답하지만, 작은 디테일(사진 속 작은 표지판 읽기 등)을 놓칠 수 있습니다.
높은 토큰 수 (정확함): AI가 시간이 조금 더 걸리지만, 텍스트를 읽거나 미세한 디테일을 볼 수 있습니다.
논문은 RADIO1D가 거의 모든 설정에서 현재의 방식들보다 빠르고 정확하다는 것을 보여줍니다.

3. "장면 구성"에 더 능숙함
저자들은 AI가 단순히 무엇이 있는지를 넘어, 사물들이 어떻게 배치되어 있는지를 이해하는지 확인하기 위해 새로운 테스트를 만들었습니다.

비유: 만약 당신이 "고양이가 매트 위에 있나요, 아니면 테이블 아래에 있나요?"라고 묻는다면, 표준 AI는 그냥 "고양이, 매트, 테이블"이라고 답할 수 있습니다. 하지만 RADIO1D는 그 관계를 더 잘 이해합니다. 매우 적은 수의 토큰만 사용하더라도, 이전 모델들보다 "공을 쫓는 개"와 "개를 쫓는 공"의 차이를 더 잘 구분해 냈습니다.

핵심 요약

이 논문은 AI가 사진을 딱딱한 픽셀 격자로 바라봐야 한다는 관점에 도전합니다. 대신, RADIO1D는 AI가 이미지를 유연한 이야기처럼 다룰 때 더 효과적이라는 것을 증명합니다:

이미지를 가변 길이의 "핵심 아이디어" 목록으로 압축합니다.
가장 중요한 아이디어를 맨 앞에 두도록 학습합니다.
사용자가 실시간으로 속도와 디테일을 맞바꿀 수 있게 해줍니다.

저자들은 시각-언어 모델에 있어, 원시적인 디테일보다 요약(Summarization)이 더 중요하다고 결론짓습니다. AI는 모든 픽셀을 볼 필요가 없습니다. 그저 세상을 이해하기 위한 "적절한 요약 토큰"만 있으면 됩니다.

기술 요약: RADIO1D: 응축된 비전 모델링을 위한 탄성 표현(Elastic Representations)

1. 문제 정의

현재의 시각-언어 모델(VLM)은 주로 고정된 길이의 2D 그리드 기반 패치 표현(예: CLIP, SigLIP, SigLIP2)을 출력하는 비전 인코더에 의존합니다. 저자들은 이러한 경직된 2D 구조가 VLM에 최적인가라는 가정에 의문을 제기합니다. 이들의 분석은 두 가지 핵심적인 문제를 드러냅니다:

공간적 일관성 상실: VLM 미세 조정(fine-tuning) 과정에서 비전 표현은 점점 더 추상화되며 고유한 공간적 조직력을 상실합니다.
고정 그리드의 비효效率성: 자연 이미지는 강력한 공간적 상관관계를 나타내므로, 패치 기반 표현에는 상당한 중복성이 존재합니다. 고정된 2D 그리드는 이러한 구조를 효율적으로 압축하지 못하며, 이는 시퀀스 길이 및 연산 제약 조건 하에서 최적의 속도-왜곡(rate-distortion) 트레이드오프를 달성하는 데 실패하게 만듭니다.
목표의 불일치: SigLIP2와 같은 대조 학습 모델은 텍스트와는 잘 정렬되지만, 밀도 높은 공간적 일관성은 부족한 경우가 많습니다. 반대로 DINOv3와 같은 밀도 높은 모델은 공간적 일관성을 갖추고 있으나 VLM 백본으로 채택되는 경우는 드뭅니다. 이는 단순한 텍st 정렬이 VLM 성공의 유일한 결정 요인이 아니라, **요약 능력(summarization capability)**이 더 중요할 수 있음을 시사합니다.

2. 방법론: RADIO1D

저자들은 이미지를 압축된 가변 길이의 1D 토큰 시퀀스로 압축하는 방법인 RADIO1D를 제안합니다. 이 접근 방식은 정보 병목(Information Bottleneck) 원리에 기초하며, 표현의 엔트로피를 최소화하면서 표현과 타겟 작업 간의 상호 정보를 최대화하는 것을 목표로 합니다.

핵심 아키텍처

1D 탄성 시퀀스: 고정된 $N \times N$ 그리드를 출력하는 표준 ViT와 달리, RADIO1D는 가변 길이 $\ell$ 인 토큰 시퀀스를 생성합니다.
계층적 요약: 훈련 중 **중첩 드롭아웃(nested dropout)**을 통해 모델은 초기 토큰(예: 첫 번째 토큰)에 전역적이고 높은 수준의 의미론을 인코딩하고, 후속 토큰에 더 세밀한 디테일을 인코딩하도록 강제됩니다. 이를 통해 모델은 단 하나의 토큰만으로도 효과적으로 작동할 수 있습니다.
훈련을 위한 오토인코더 설계:
- 인코더: 순수 1D 인코더가 평탄화된 이미지 패치를 처리합니다. 이 모델은 시퀀스 길이를 줄이고 임베딩 차원을 높이기 위해 패치 병합(Patch Merging, pixel unshuffling) 블록을 백본에 직접 통합하여 추론 효율성을 개선합니다.
- 디코더: 훈련 중에만 사용되는 경량 비전 트랜스포머입니다. 이 디코더는 가변 길이의 1D 토큰과 복제된 학습 가능한 쿼리 토큰 세트를 사용하여 2D 패치 그리드를 재구성합니다. 이를 통해 핵심 1D 표현에 2D 구조를 강제하지 않으면서도 2D 티처(teacher) 모델과 정렬할 수 있습니다.
다중 티처 지식 증류(Multi-Teacher Knowledge Distillation): 학생 모델은 여러 파운데이션 모델(SigLIP2, DINOv3, SAM3)로부터 집합적 증류를 통해 훈련됩니다. 어댑터는 학생의 특징을 티처의 임베딩 공간으로 투영하며, 유사도 손실(MSE 또는 코사인 유사도)이 계산됩니다. 이는 다양한 시각적 지식(전역 정렬, 밀도 높은 공간 특징, 세그멘테이션 개념)을 통일된 학생 모델로 통합합니다.

훈련 전략

확률적 슬라이싱(Stochastic Slicing): 훈련 중에 몇 개의 토큰을 유지할지 결정하기 위해 분포(예: 삼각 분포)에서 길이 $\ell$ 을 샘플링합니다. 이는 정보의 계층적 순서를 강제합니다.
다운스케일링 통합: 모델은 2D 국소성을 가정하는 사후 처리 방식에 의존하는 대신, 학습 가능한 패치 병합을 통해 내부적으로 특징을 다운스케일링하는 법을 배웁니다.

3. 주요 기여

비전 특징 분석: 본 논문은 표준 인코더의 VLM 미세 조정이 공간적 일관성을 저하시킨다는 점을 입증합니다. 또한 이미지-텍스트 정렬 모델(예: SigLIP2)이 이미지 콘텐츠를 요약하는 특수한 "전역" 토큰 세트를 자연스럽게 발달시킨다는 점을 식별하였으며, RADIO1D는 이 특성을 명시적으로 활용합니다.
RADIO1D 아키텍처: 다중 티처 증류와 오토인코더 형태의 훈련 루프를 사용하여 이미지를 유연한 1D 시퀀스로 압축하는 새로운 방법을 제시합니다.
강력한 요약 능력: 모델은 매우 적은 수의 토큰(종종 단 하나의 토큰)만으로도 정확한 장면 이해를 달성하며, 필수적인 시각적 콘텐츠의 효과적인 압축을 보여줍니다.
구성 인식 검색 메트릭(Composition-Aware Retrieval Metric): 저자들은 이미지 검색에서 객체의 존재뿐만 아니라 공간적 배치(크기 및 위치)를 평가하는 새로운 평가 메트릭을 도입하였으며, 여기서 RADIO1D가 표준 인코더보다 우수한 성능을 보임을 입증했습니다.
유연한 VLM 통합: RADIO1D는 토큰 수를 조절함으로써 정확도-효율성 트레이드오프를 조정할 수 있게 하여, 계산 오버헤드를 줄이면서 다양한 멀티모달 벤치마크에서 경쟁력 있는 성능을 제공합니다.

4. 실험 결과

요약 능력: ImageNet-1k에서 RADIO1D의 첫 번째 토큰은 **85.0%**의 k-NN Top-1 정확도를 달성하여 마지막 토큰을 크게 앞질렀습니다. ADE20K 시맨틱 세그멘테이션의 경우, 첫 번째 토큰만 사용했을 때 mIoU가 40.23에 달했으며, 이는 마지막 토큰의 8.05와 대조적입니다.
속도-왜곡 성능: RADIO1D는 모든 토큰 예산(특히 낮은 레이트 영역/적은 토큰 상황)에서 고정 그리드 베이스라인(SigLIP2, DINOv3, C-RADIOv4)보다 일관되게 낮은 왜곡을 보입니다.
VLM 성능: 9B Nemotron LLM와 결합했을 때, RADIO1D 변체들은 더 적은 토큰을 사용하고도 베이스라인(SigLIP2, C-RADIOv4)보다 우수한 성능을 보였습니다.
- 1 토큰: 10개 VLM 벤치마크에서 평균 정확도 51.5% 달성.
- 128 토큰: 평균 정확도 **71.64%**를 달성하여, 동일한 토큰 예산의 C-RADIOv4+ToMe(70.31%) 및 C-RADIOv4+CDPruner(69.05%)를 능가함.
- 256 토큰: 평균 정확도 **73.29%**에 도달하여 풀 해상도 베이스라인과 경쟁함.
태스크 민감도: 모델은 전체적인 이해가 필요한 태스크(예: MMMU, LongVideoBench)에 대해서는 강력한 압축에도 견고하며, 1개 토큰에서도 성능 저하가 10% 미만입니다. 그러나 정밀한 읽기 작업(OCR, DocVQA)의 경우 128개 토큰 미만에서 성능이 급격히 저하되어, 미세한 텍스트 해상도를 위한 높은 용량이 필요함을 보여줍니다.
프루닝(Pruning)과의 비교: RADIO1D는 동일한 토큰 예산에서 추론 시점의 토큰 프루닝 방법(Token Merging, CDPruner)보다 우수한 성능을 보이며, 특히 읽기 작업에서의 공간적 근거(spatial grounding)를 보존하는 데 탁월합니다.
구성 검색(Composition Retrieval): RADIO1D는 MS-COCO(0.5158)와 nuImages(0.4294)에서 구성 기반 검색 점수(Comp@1)가 가장 높았으며, DINOv3, SigLIP2, C-RADIOv4를 능가했습니다.

5. 의의 및 주장

본 논문은 탄성적이고 요약에 집중된 표현이 VLM이 진정으로 원하는 정렬 방식이지, 상세한 2D 로컬 표현이 아니라고 주장합니다. 고정된 2D 그리드를 버리고 가변 길이의 1D 시퀀스를 채택함으로써, RADIO1D는 다음과 같은 이점을 제공합니다:

유연한 정확도-지연 시간 트레이드오프를 제공하여, 토큰 수 조절만으로 다양한 제약 조건이 있는 하드웨어에 배포가 가능하게 합니다.
멀티모달 태스크의 성능을 유지하거나 향상시키면서 계산 오버헤드를 줄입니다.
밀도 높은 비전 전문가와 언어 정렬 인코더 사이의 간극을 메우는 새로운 VLM 백본 패러다임을 제시합니다.

저자들은 자신들의 연구가 고정된 패치 특징에 대한 의존성에 도전하며, 미래의 VLM이 경직된 공간 그리드보다 계층적 요약과 정보 압축을 우선시하는 표현으로부터 이득을 얻을 수 있음을 강조합니다. 모델은 허용적인 라이선스 하에 공개됩니다.