기술 요약: 생성형 모델에서 토큰 감소는 효율성을 넘어 나아가야 한다

1. 문제 제기

트랜스포머 기반 생성 모델에서 입력은 이산적인 토큰(예: 서브워드, 이미지 패치)으로 분할됩니다. 이러한 구조의 셀프 어텐션 메커니즘은 시퀀스 길이 $N$에 대해 이차 복잡도($O(N^2)$)를 유발합니다. 생성 모델이 초장기 컨텍스트, 멀티모달 데이터, 에이전트 워크플로우를 처리하기 위해 규모를 키룸에 따라, 결과적으로 발생하는 토큰 수는 메모리 사용량, 추론 지연 시간, 그리고 학습 안정성의 병목 현상을 초래합니다.

현재 토큰 감소(토큰 프루닝, 병합 또는 압축)는 주로 사후적인 효율성 최적화 전략으로 간주됩니다. 본 논문은 이러한 "효율성 중심"의 사고방식이 근본적으로 제한적이라고 주장합니다. 나이브한(naive) 감소 방식은 정보가 담긴 토큰을 버리거나, 의미적 정렬을 저해하고, 추론 과정에서의 "과잉 사고(overthinking)"를 유발하며, 비전, 언어 및 멀티모달 도메인의 핵심적인 구조적 과제를 해결하지 못하는 경우가 많습니다. 핵심 문제는 토큰 감소를 단순한 속도 향상 기술이 아니라, 모델의 견고성, 의미적 무결성 및 작업 성능을 향상시키는 근본적인 설계 원칙으로 재정의해야 한다는 것입니다.

2. 방법론 및 프레임워크

본 논문은 단일한 새로운 알고리즘을 제안하는 것이 아니라, 새로운 관점으로 재평가된 기존 방법론들의 포괄적인 개념적 프레임워크를 제시합니다.

방법론의 분류

저자들은 토큰 감소 기술을 네 가지 기능적 유형으로 분류합니다:

1. 토큰 프루닝(Token Pruning): 중요하지 않은 토큰을 완전히 제거함 (예: DynamicViT, Power-BERT).
2. 토큰 병합(Token Merging): 여러 토큰의 정보를 더 적고 밀도 높은 토큰들로 융합함 (예: ToMe, SPViT).
3. 하이브리드 전략(Hybrid Strategies): 통합된 프레임워크 내에서 프루닝과 병합을 결합함.
4. 토큰 증류(Token Distillation): 긴 시퀀스나 다중 모달리티로부터 풍부한 정보를 응축된 토큰으로 통합함 (예: AutoCompressors).

핵심 과제 및 메커니즘

논문은 현대 생성 시스템의 다섯 가지 핵심 과제를 식별하고, 원칙에 기반한 토큰 감소가 이를 어떻게 해결하는지 보여줍니다:

• 정보가 풍부한 시각적 표현 획득: MLLM은 종종 노이즈가 섞인 시각적 입력과, 텍스트 토큰이 무관한 이미지 영역에 불균형적으로 어텐션을 집중하는 현상으로 인해 어려움을 겪습니다. 토큰 감소는 표현 학습(representation-learning)의 최적화로서, 시각적 다양성과 작업 관련 특징을 보존하기 위해 고가치 토큰을 선택하는 역할을 합니다 (예: 클러스터링 또는 KL-다이버전스 기준 활용).
• 더 나은 멀티모달 토큰 정렬: 표준적인 고정 크기 패치 토큰화는 일관된 시각적 개체를 파편화합니다. 시각적 특징을 의미적 중요도에 따라 클러스터링하는 감소 전략(예: SeTok)은 더 압축된 토큰 세트를 생성하여 언어적 표현과 더 잘 정렬되게 하며, 개념 수준의 이해를 개선합니다.
• 추론에서의 과잉 사고(Overthinking) 감소: LLM과 MLLM은 빈번하게 장황하고, 중복되거나, 자기 모순적인 추론 체인을 생성합니다. 토킨 감소 기술(예: CoT-Influx, Token-Skip)은 추론 궤적에서 불필요한 단계를 제거함으로써, 모델이 핵심적인 단계에 집중하도록 강제하고 오류 누적을 줄입니다.
• 학습 안정성 개선: 추론뿐만 아니라, 토큰 감소는 사전 학습(pre-training) 단계에도 통합될 수 있습니다. 학습 과정에서 노이즈가 많거나 정보가 낮은 토큰을 필터링함으로써(예: Rho-1, UPFT), 모델은 더 빠르게 수렴하고 더 견고한 표현을 학습하며, 잘못되거나 복잡한 중간 데이터의 영향을 피할 수 있습니다.
• 장기 컨텍스트 및 비디오 이해 향상: 긴 시퀀스의 경우, 감소 기술은 광범한 입력을 압축된 요약 벡터나 대표 토큰으로 증류합니다. 이는 핵심 사건과 테마를 보존하는 동시에 "중간 부분 상실(lost-in-the-middle)" 현상을 완화하고 에이전트 시스템의 인지 부하를 줄입니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 분류 및 패러다임 전환: 기존 토큰 감소 방법들을 기능적 목적에 따라 분류하고, 효율성 중심의 최적화에서 비전, 언어, 멀티모달 도메인 전반에 걸친 **작업 인식형 강화(task-aware enhancements)**로의 패러다임 전환을 식별했습니다.
2. 과제 완화: 토큰 감소 전략을 불충분한 시각적 표현, 의미적 불일치, 추론의 중복성, 학습 불안정성 등 핵심적인 현대적 과제 해결과 명시적으로 연결했습니다.
3. 미래 로드맵: 단순한 프루닝을 넘어 다음과 같은 차세대 토큰 감소를 위한 연구 의제를 제시합니다:
   • 알고리즘 설계: 더 나은 중요도 지표, 구성적 압축(constructive compression), 교차 모달 가이드 프루닝.
   • 추론 중심 압축: 프롬프트 압축에서 나아가, 논리적 명확성을 높이기 위해 중간 추론 체인을 압축하는 방향으로 전환.
   • 강화 학습(RL) 가이드: 작업 난이도에 따라 토큰 예산을 동적으로 할당하고 계층적 토큰 선택을 감독하기 위해 RL을 사용.
   • 하드웨어-알고리즘 공동 설계: 메모리 병목 현상을 극복하기 위해 토큰 희소성 패턴을 특화된 하드웨어(예: Processing-in-Memory)와 통합.
   • 도메인 특화 애플리케이션: 밀집 예측(자율 주행), 장기 비디오 이해, 에이전트 시스템, 과학적 AI(생물 의학적 토큰화)를 위한 맞춤형 감소 기술.

4. 결과 및 근거

본 논문은 포지션 페이퍼(position paper)로서 새로운 실험 결과를 제시하는 대신, 자신의 주장을 뒷받침하기 위해 광범위한 선행 연구(예: FastV, ToMeSD, Rho-1, S2-MAD)의 증거를 합성합니다. 인용된 "결과"는 제안된 프레임워크를 통해 바라본 기존 방법들의 입증된 능력입니다:

• 효율성: Power-BERT 및 DynamicViT와 같은 방법들은 이차 비용을 $O(M^2)$로 성공적으로 줄입니다.
• 성능: VisPruner 및 SeTok과 같은 기술은 선택적 토큰 유지가 단순 프루닝에 비해 다운스트림 작업 성능과 정렬을 개선함을 보여줍니다.
• 안정성: Rho-1과 같은 접근법은 학습 중 토큰을 필터링하는 것이 더 빠른 수렴과 향상된 모델 견고성으로 이어진다는 것을 입증합니다.
• 추론: CoT-Influx 및 Token-Skip은 추론 체인을 압축하는 것이 솔루션의 품질을 저하시키지 않으면서 수학적 추론 정확도를 높이고 토큰 소비를 줄일 수 있음을 보여줍니다.

5. 의의 및 주장

본 논문은 토큰 감소가 "사후적 효율성 측정 도구"에서 핵적 설계 원칙으로 진화해야 한다고 주장합니다. 그 의의는 다음과 같습니다:

• 패러다임 재정의: 토큰 선택을 단순히 계산량을 절약하는 방법이 아니라, 의미적 일관성, 해석 가능성 및 정렬을 향상시키는 메커즘으로 바라볼 것을 커뮤니티에 촉구합니다.
• 시스템적 결함 해결: 사려 깊은 토큰 선택이 과잉 사고로 인한 환각(hallucination)이나 장기 컨텍스트에서의 의미적 표류(semantic drift)와 같은 특정 실패 모드를 해결하는 데 필수적이라고 상정합니다.
• 확장성 확보: 토큰을 동적으로 최적화해야 하는 유한한 자원으로 취급함으로써, 토큰 감소가 에이전트 시스템, 과학적 발견 및 실시간 애플리케이션을 위한 생성형 AI의 지속 가능한 확장에 결정적이라고 주장합니다.

저자들은 향arian 연구가 단순한 제거(dropping)보다는 **구성적 압축(merging)**과 강화 학습 가이드 선택에 집중해야 한다고 결론지으며, 확장성과 효과성 및 해석 가능성 사이의 균형을 맞추기 위해 정보 대역폭을 자율적으로 최적화하는 시스템을 구축하는 것을 목표로 해야 한다고 강조합니다.