💻 computer science

SpiralFovea: Input-Adaptive Foveated Tokenization as a Third Lever of Resource-Adaptive Inference

SpiralFovea는 표준 고정 그리드 패치를 국부적 시각 엔트로피에 기반한 콘텐츠 주도형 다중 스케일 나선형 링으로 동적으로 대체함으로써, 파운데이션 모델의 정확도와 처리량을 크게 높이는 동시에 계산 비용을 절감하는 파라미터 프리(parameter-free) 방식의 입력 적응형 토큰화 방법을 도입한다.

원저자: Kyan Mahajan, Mohammad Saqlain

게시일 2026-07-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kyan Mahajan, Mohammad Saqlain

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 단 한 장의 사진을 바탕으로 미스터리를 해결해야 하는 아주 똑똑하고 고도로 훈련된 탐정(AI 모델)을 고용한다고 상상해 보십시오.

과거의 방식 (표준 AI):
현재 대부분의 AI 시스템은 모든 사진을 196개의 작고 동일한 퍼즐 조각으로 이루어진 격자로 취급합니다. 그들은 내용에 상관없이 탐정에게 196개의 조각을 모두 건네줍니다.

만약 사진 속의 대상이 나무 위의 새라면, 탐정은 새의 깃털을 분석하는 것만큼이나 빈 하늘, 흐릿한 잎사귀, 그리고 멀리 있는 울타리를 분석하는 데에도 똑같이 많은 시간을 소비합니다.
이는 마치 탐정에게 특정 문장을 찾기 위해 500페이지짜리 책의 모든 페이지를 다 읽으라고 요구하는 것과 같습니다. 설령 그 문장이 10페이지만에 있더라도 말이죠. 탐정은 지치게 되고(컴퓨터 자원을 더 많이 사용함) 시간도 오래 걸리지만, 그 추가적인 페이지들은 사건을 해결하는 데 아무런 도움이 되지 않았습니다.

새로운 아이디어 (SpiralFovea):
이 논문의 저자인 Kyan Mahajan과 Mohammad Saqlain은 우리가 큰 기회를 놓치고 있다고 주장합니다. 단순히 탐정을 더 똑똑하게 만들거나 더 빨리 읽게 만드는 것이 아니라, 애초에 탐정에게 무엇을 건네줄 것인가를 바꿔야 한다는 것입니다.

그들은 이를 효율성의 "세 번째 레버(Third Lever)"라고 부릅니다.

레버 1: 탐정이 근무하는 시간을 줄입니다 (Early Exit).
레버 2: 탐정이 읽는 도중 특정 페이지를 건너뛰게 합니다 (Sparse Attention).
레버 3 (그들의 혁신): 실제로 단서가 포함된 페이지만을 탐정에게 건네줍니다.

SpiralFovea의 작동 원리: "사람의 눈" 비유

이 시스템은 사람의 눈을 본떠 이름이 붙여졌습니다. 당신의 눈에서 중심부(황반, fovea)는 선명하고 세밀한 이미지를 보는 반면, 주변부는 흐릿하며 움직임만을 감지합니다. 당신의 뇌는 흥미로운 대상에 즉각적으로 날카로운 시선을 집중합니다.

SpiralFovea도 AI를 위해 이와 똑같은 일을 수행하지만, 이를 위해 별도로 "학습"할 필요는 없습니다. 대신 '엔트로피(entropy, 시각적 혼란이나 디테일의 척도)'라는 간단한 수학적 기법을 사용합니다.

정찰병 (The Scout): AI 탐정이 사진을 보기 전, 아주 작은 무료 도구가 이미지를 스캔합니다. 이 도구는 다음과 같이 묻습니다. "어디에 가장 흥미로운 것들이 있는가?"
- 예시: 회화 작품 사진의 경우, 화려하고 세밀한 얼굴을 찾아냅니다. 숲 사진의 경우, 새를 찾아냅니다. 그리고 단조롭고 균일한 파란 하늘이나 어둡고 텅 빈 배경은 무시합니다.
나선 (The Spiral): 흥미로운 지점(hotspots)을 찾으면, 단순히 그 부분만 잘라내는 것이 아닙니다. 그 주변으로 퍼즐 조각의 나선을 구축합니다.
- 바로 중심부의 흥미로운 지점에는? 아주 작고 매우 세밀한 조각들을 배치합니다.
- 바깥쪽으로 나아갈수록? 맥락을 포착할 수 있도록 약간 더 큰 조각들을 배치합니다.
결과: 전체 이미지를 커버하는 196개의 조각 대신, 단 78개의 조각만을 탐정에게 건넵니다.
- 결정적으로, 전달되는 모든 조각은 유용합니다. 지루한 배경은 아예 처리조차 되지 않습니다.

마법의 숫자들

저자들은 이 논문에서 네 가지 다른 유형의 어려운 이미지 퍼즐(특정 조류 종이나 예술 양식을 식별하는 것 등)을 대상으로 테스트했습니다. SpiralFovea를 사용했을 때 다음과 같은 결과가 나타났습니다.

더 똑똑해짐: AI가 "노이즈(빈 배경)"에 의해 방해받지 않았기 때문에 더 높은 정확도(약 2% 향상)를 기록했습니다.
더 빨라짐: 탐정이 196개의 조각 대신 78개의 조각만 보면 되기 때문에, 컴퓨터는 사고 과정의 매 단계마다 84% 적은 작업량(수학적 계산)을 수행했습니다.
더 신속해짐: 시스템이 이미지를 처리하는 속도가 18%에서 29%까지 빨라졌습니다.

왜 중요한가 (The "Why" Section)

저자들은 이 방식이 AI가 특정한 격자 패턴을 기대하도록 "훈련"되지 않았을 때 가장 잘 작동한다고 설명합니다.

만약 AI가 엄격한 격자 구조(표준 지도 학습 모델과 같이)로 훈련되었다면, 갑자기 이상한 나선형 모양의 단서들을 받게 될 때 혼란을 느낄 수 있습니다.
하지만 레이블 없이 수백만 개의 이미지를 살펴보며 학습하는 현대적인 AI 모델(자기 지도 학습 모델)의 경우, 이 방식은 완벽하게 들어맞습니다. 이러한 모델들은 "아, 새가 여기 있구나, 저기에 집중하자"라고 말할 수 있을 만큼 유연하며, "새는 반드시 나의 196개 조각 격자 중심에 있어야 해"라고 고집하지 않습니다.

결론

SpiralFovea를 AI 앞에 놓인 스마트한 필터라고 생각하십시오. 이 필터는 AI의 뇌를 바꾸는 것이 아니라, 입력값 자체를 바꿉니다. 필터는 이렇게 말합니다. "빈 하늘을 보느라 시간을 낭비하지 마세요. 여기 실제로 중요한 78개의 조각이 있습니다. 가서 미스터리를 해결하세요."

이렇게 함으로써 그들은 더 빠르고, 비용이 적게 들며, 동시에 더 정확한 "윈-윈(win-win)"을 달성했습니다.

기술 요약: SpiralFovea: 입력 적응형 포비에이티드 토큰화 (Input-Adaptive Foveated Tokenization)

1. 문제 정의

현재 파운데이션 모델을 위한 적응형 추론(adaptive-inference) 기술은 주로 두 가지 확립된 "레버(levers)"를 기반으로 작동합니다:

아키텍처/깊이(Architecture/Depth): 조기 종료(early exit), Mixture-of-Experts (MoE) 라우팅, 그리고 동적 깊이(dynamic depth).
어텐션/KV-캐시(Attention/KV-Cache): 희소 어텐션(sparse attention), 변형 가능한 어텐션(deformable attention), 그리고 KV-캐시 압축.

그러나 이러한 방법들은 고정된 그리드 입력 토큰화를 대상으로 합니다. 이미지 콘텐츠와 상관없이, 표준 Vision Transformer (ViT)는 $224 \times 224$ 이미지를 래스터 순서(raster order)에 따라 $N=196$ 개의 균일한 패치로 분할합니다. 이 접근 방식은 최적의 용량 할당이 국소적 정보 밀도에 비례해야 한다는 **율-왜곡 원리(rate-distortion principle)**를 위반합니다. 균일한 토큰화는 저엔트로피 배경 영역과 고엔트로피 변별 영역에 동일한 계산 자원을 할당하며, 어떠한 적응이 일어나기도 전에 모든 트랜스포머 레이어에서 불필요한 비용을 발생시킵니다.

토큰 프루닝(token pruning, Lever-1 기술)은 토큰 수를 줄여주기는 하지만, 구조적으로는 다릅니다. 프루닝은 먼저 전체 균일 그리드를 형성하고 투영한 뒤, 최소 하나의 트랜스포머 블록을 통과시킨 다음에 토크를 제거하기 때문입니다. 즉, 무의미한 토큰을 처리하는 비용은 이미 지불된 상태입니다.

공백(The Gap): 여기에는 새로운 "세 번째 레버"인 **입력 적응형 토큰화(Input-Adaptive Tokenization)**가 존재합니다. 이 레버는 어떤 토큰이 존재해야 하는지를 백본(backbone) 파라미터를 쿼리하기 전, 즉 형성된 이후에 제거하는 것이 아니라, 특정 이미지에 대해 사전에 결정하는 것을 의미합니다.

2. 방법론: SpiralFovea

저자들은 국소적 시각 엔트로피(local visual entropy)를 기반으로 가변 길이의 토큰 세트를 생성하는 파라미터 프리(parameter-free) 방식의 입력 적응형 토크너인 SpiralFovea를 제안합니다. 이 과정은 백본의 포워드 패스(forward pass)가 시작되기 전 단계에서 완전히 수행됩니다.

핵심 파이프라인

엔트로피 맵 생성:
- 입력 이미지 $I$ 를 휘도(luminance, BT.601)로 변환하고, $D \times D$ 로 다운샘플링한 후, $B$ 개의 빈(bin)으로 양자화합니다.
- 슬라이딩 윈도우를 사용하여 경험적 빈 확률(empirical bin probabilities)을 계산하고, 이를 통해 국소 섀넌 엔트로피 맵 $E(x, y)$ 를 도출합니다.
- 이 계산은 $O(HW)$이며 파라미터가 필요하지 않고, 단일 트랜스포머 블록 비용의 2% 미만입니다.
핫스팟 앵커 선택 (Hotspot Anchor Selection):
- 이미지를 $S$ 개의 스트립(strip)으로 나눕니다.
- 각 스트립 내에서 최대 엔트로피가 발생하는 위치를 앵커( $c_s$ )로 선택하여 수평적 다양성을 보장합니다.
- 앵커들은 정규화되며, 반경 임계값( $\tau_{dedup}$ )을 기준으로 중복을 제거합니다.
다중 스케일 나선형 링 추출 (Multi-Scale Spiral Ring Extraction):
- 유지된 각 앵커 주변에 $K=4$ 개의 동심원 링을 배치합니다.
- 링 0 (Ring 0): 단일 포비얼(foveal) 패치.
- 링 $k > 0$ : 반지름과 패치 크기가 증가하는 나선 패턴으로 배열된 $n_k$ 개의 패치를 포함합니다.
- 이 스케줄은 간격 없이 공간을 채우도록 설계되었습니다. $224 \times 224$ 이미지와 4개의 활성 스트립을 기준으로 할 때, 이론적 최대치는 116개 패치이지만, 경계 외 필터(out-of-bounds filter)를 적용하면 최종적으로 $\le 78$ 개의 패치로 감소합니다 (표준 196개 대비 약 60% 감소).
토큰 획득 및 임베딩:
- 바이리니어 그리드 샘플링(bilinear grid sampling)을 통해 패치를 샘플링합니다.
- 임베딩: 패치들을 백본의 동결된(frozen) patch_embed.proj를 사용하여 투영합니다.
- 위치 인코딩 (PE): 표준 래스터 사인형(sinusoidal) PE를 **폴라 PE(Polar PE)**로 대체합니다. 학습된 2계층 MLP가 극좌표 $(\hat{c}_s, k, \theta)$ 를 임베딩으로 매핑합니다. 이는 패치들의 기하학적 근접성(링 인덱스와 상관없이 공간적으로 인접함)과 나선의 회전 대칭성을 존중합니다.
- 백본 처리: 가변 길이 시퀀스(및 CLS 토큰)가 동결된 트랜스포머 스택을 통과합니다.
- CNN 적응: CNN 백본의 경우, 패치들은 공유된 ResNet-18 트렁크에 의해 인코딩되며, 가변 시퀀스 길이를 효율적으로 처리하기 위해 Mamba 블록(상태 공간 모델)을 통해 융합됩니다.

3. 주요 기여

개념적 프레임워크: 입력 적응형 토큰화를 아키텍처나 어텐션 수정과는 별개인, 자원 적응형 추론을 위한 구별되고 상호 보완적인 "세 번째 레버"로 위치시켰습니다.
SpiralFovea 구현: 엔트로피 유도형 $O(HW)$ 방식의 파라미터 프리 토크너를 구현하였으며, 이는 보장된 앵커 커버리지와 다중 스케일 나선형 추출을 제공합니다. 선택 과정은 백본의 어떤 파라미터도 평가되기 전에 완료됩니다.
이론적 동기: 율-왜곡 이론(정보 밀도에 용량을 할당)과 생물학적 시각(포비얼 센트럴리스 및 주변부 돌출성)을 통해 설계를 정당화합니다.
실증적 성능: 4개의 세밀한 벤치마크와 4개의 백본 제품군에 대해 엄격한 파레토 개선(Pareto improvement)을 입증했습니다.
배포 진단: 이 방법이 가장 효과적인 경계 조건을 식별했습니다: 이 방법은 **약하거나 태스크 불가지론적인 전체 이미지 위치 사전 지식(weak or task-agnostic whole-image positional priors)**을 가진 백본(예: DINO와 같은 자기 지도 학습 모델)에서 가장 높은 이득을 얻는 반면, 강한 고정 래스터 사전 지식을 가진 모델(예: 지도 학습된 ViT-S/16)에서는 이득이 감소하거나 역전됩니다.

4. 실험 결과

이 방법은 네 가지 벤치마크(WikiArt [GAN-Genre, Style], Oxford Flowers-102, PatchCamelyon, CUB-200-2011 [Genus grouping])에서 평가되었습니다.

정확도 vs 효율성: SpiralFovea는 **엄격한 우위의 파레토 개선(strict-dominance Pareto improvement)**을 달성합니다.
- 토큰 감소: 입력 토큰을 196개에서 $\le 78$ 개로 감소시킵니다 ( $\sim 60\%$ 감소).
- 정확도 이득: 매칭된 정적 베이스라인 대비 Top-1 정확도에서 **+1.7 ~ +2.1 퍼센티지 포인트(pp)**의 향상을 보입니다.
- 연산 감소: 모든 트랜스포머 레이어에서 셀프 어텐션 FLOPs를 84% 감소시킵니다 (어텐션 행렬 크기는 토큰 수의 제곱에 비례하므로, $78^2$ vs $196^2$ ).
- 처리량(Throughput): Tesla T4 GPU에서 처리량을 18–29% 증가시킵니다.
절제 연구 (Ablation Studies):
- 앵커 배치: 엔트로피 유도형 앵커가 필수적입니다. 무작위 핫스팟을 사용하면 -1.5 pp의 하락이 발생합니다.
- 토큰 선택: 어떤 패치를 선택하느냐가 개수보다 중요합니다. 무작위 78개 패치 서브셋은 전체 196개 패치 베이스라인보다 성능이 떨어집니다.
- 설계 선택 사항: 다중 스케일 링(+1.1 pp), 나선형 레이아웃(+0.9 pp), 그리고 폴라 PE(+0.5 pp) 모두가 기여합니다.
경계 분석 (CUB-Genus):
- 이득은 백본의 사전 학습된 위치 사전 지식의 강도와 반비례합니다.
- 최고 이득: 자기 지도 학습 모델인 DINO-ViT-S (+0.93 pp) 및 ResNet-18 (+0.9 pp).
- 최저/음수 이득: 지도 학습된 ViT-S/16 (-0.28 pp). 저자들은 이를 모델의 사전 학습이 균일한 래스터 그리드에 "전념(committed)"되어 있어, 희소 토큰으로의 교체가 해롭고 성능이 이미 포화 상태에 도달했기 때문이라고 설명합니다.

5. 의의 및 주장

본 논문은 SpiralFovea가 파운데이션 모델이 시각적 입력을 처리하는 방식에 대한 근본적인 변화를 나타낸다고 주장합니다. 입력을 토큰 세트로 취급함으로써, 무의미한 영역을 처리하는 데 드는 "낭비"를 방지합니다.

구성 가능성 (Composability): 이 방법은 Lever-1(아키텍처) 및 Lever-2(어텐션) 기술과 직교(orthogonal)합니다. 저자들은 이러한 레버들을 결합하면 (예: 조기 종료나 MoE 라우팅을 위한 더 짧은 시퀀스 생성) 절감 효과가 승수적으로 나타날 것이라고 주장합니다.
대상 영역: 본 연구는 자기 지도 학습 파운데이션 모델을 입력 적응형 토큰화가 가장 가치 있는 영역으로 격리합니다. 이 모델들은 엄격한 위치 사전 지식을 결여하고 있기 때문입니다.
실질적 영향: 고정된 백본에 전달되는 토큰을 줄임으로써 GPU 메모리와 에너지 소비를 비례적으로 절감하며, 이는 추론의 탄소 비용을 낮춥니다. 이 방법은 특히 변별적 신호가 공간적으로 집중되어 있는 세밀한 인식(fine-grained recognition) 및 의료 영상(PatchCamelyon) 분야에 적합합니다.

저자들은 "세 번째 레버"가 거의 탐구되지 않았음을 강조하며, 입력 적응과 다른 적응형 추론 기술을 결합하는 구성적 파레토 경계(compositional Pareto frontier)를 조사하고, 이를 비이미지 모달리티에도 적용할 수 있도록 커뮤니티의 연구를 촉구하며 결론을 맺습니다.