기술 요약: 동적 멀티모달 인컨텍스트 학습을 위한 태스크 인식 구조적 메모리 (TASM)

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 특히 성능이 데모(demonstration)의 수에 따라 확장되는 "Many-Shot" 환경에서 빠른 태스크 적응을 위해 인컨텍스트 학습(ICL)에 의존합니다. 그러나 이러한 확장성은 다음 두 가지 요인에 의해 심각하게 제한됩니다:

1. 유한한 컨텍스트 윈도우 및 KV 캐시 비용: 수천 개의 이미지와 텍스트 토큰을 처리하는 것은 막대한 키-값(Key-Value, KV) 캐시를 생성하여 GPU 메모리를 압박하고 지연 시간을 증가시키며, 종종 메모리 부족(OOM) 오류를 유발합니다.
2. 기존 압축 방식의 한계: 기존의 메모리 압축 방법(예: EMLoC, SnapKV)은 일반적으로 경직된 토큰 제거(hard pruning) 또는 샘플 의존적 중요도 추정(예: 정답 인식 어텐션)에 의존합니다. 이러한 접근 방식은 세 가지 결정적인 구조적 실패를 초래합니다:
   • 샘플 특정 편향(Sample-Specific Bias): 특정 데모의 정답에 과적합되어, 테스트 쿼리에 중요한 컨텍스트를 폐기할 가능성이 있습니다.
   • 위상적 파괴(Topological Destruction): 하드 프루닝은 시각적 토큰의 2D 공간 매니폴드를 깨뜨려, 로컬라이제이션(localization) 및 그라운딩(grounding)과 같은 작업에 필수적인 공간적 관계를 파괴합니다.
   • 정적 메모리 경직성(Static Memory Rigidity): 일단 압축되면, 복잡한 쿼리가 미세한 세부 사항을 요구하더라도 버려진 정보를 복구할 수 없어 "컨텍스트 포화"와 성능 저하를 초래합니다.

2. 방법론: TASM 프레임워크

저자들은 의미적 구조를 보존하면서 압축을 수행하고 동적 검색을 가능하게 하는 훈련 불필요(training-free) 프레임워크인 **TASM (Task-Aware Structured Memory)**을 제안합니다. 이 프레임워크는 서포트 세트(support set)의 오프라인 압축과 동적 검색을 포함한 온라인 추론의 두 단계로 작동합니다.

2.1 태스크 벡터 가이드 중요도 추정

단순한 일반 어텐션 점수나 정답 신호에 의존하는 대신, TASM은 소수의 샷 데모 내에서 질문에서 정답으로 가는 변환 방향을 나타내는 글로벌 **태스크 벡터($\tau$)**를 추출합니다.

• 추출: 이 벡터는 질문 표현의 의미적 중심점(semantic centroids)과 정답 표현의 중심점 사이의 정규화된 차이로 계산됩니다 ($\tau = \frac{\mu_A - \mu_Q}{\|\mu_A - \mu_Q\|}$).
• 스코어링: 토큰의 중요도는 이 태스크 벡터로 키 임베딩을 투영함으로써 결정됩니다. 이를 통해 태스크 방향과 직교하는 노이즈를 필터링합니다.
• 레이어 적응형 게이팅(Layer-Adaptive Gating): 얕은 레이어는 국소적 특징(구문, 에지)을 처리하고 깊은 레이어는 글로벌 세맨틱을 처리한다는 점을 인식하여, TASM은 로컬 어텐션 점수와 글로벌 태스크 점수 사이를 보간하는 게이팅 메커니즘($\lambda(l)$)을 채택합니다. 이는 초기 레이어에서 로컬 시각 컨텍스트가 보존되도록 하는 동시에, 깊은 레이어에서는 태스크 관련성이 압축을 유도하도록 보장합니다.

2.2 세맨틱 인식 토큰 병합 (Semantics-Aware Token Merging)

하드 프루닝에 의한 위상적 파괴를 피하기 위해, TASM은 토큰 제거를 세맨틱 인식 토큰 병합으로 대체합니다.

• 그래프 매칭: 압축 문제를 이분 그래프 매칭(bipartite graph matching) 문제로 정형화합니다. 점수가 낮은 "소스(Source)" 토큰들은 점수가 높은 "싱크(Sink)" 토큰들로 병합됩니다.
• 공간 제약: 공간적 정규화(spatial regularizer)는 시각적 토큰이 자신의 수용 영역(receptive field) 내의 공간적 이웃과만 병합되도록 보장하여, 비전 작업에 필수적인 2D 매니폴드 구조를 유지합니다.
• 집계: 압축된 상태는 클러스터의 가중 중심점(weighted centroid)이 되며, 이는 정보를 단순히 버리는 것이 아니라 정보를 응축하는 동적 풀링 레이어로서 기능합니다.

2.3 정보 기하학적 동적 검색

TASM은 메모리를 컴팩트한 코어 메모리(GPU 상주)와 더 큰 레이턴트 뱅크(CPU 오프로딩)로 구성된 계층 구조로 구성합니다.

• 트리거 메커니즘: 현재 어텐션 분포와 이전 단계의 분포 사이의 **젠슨-샤논(JS) 발산(Divergence)**을 기반으로 동적 검색 게이트가 활성화됩니다. 높은 발산은 현재 쿼리가 새로운 서브스페이스를 주목하고 있음을 나타내며, 이는 과거 토큰을 검색해야 한다는 신호입니다.
• 희소 검색(Sparse Retrieval): 트리거가 발생하면, 시스템은 레이턴트 뱅크에서 관련 토큰을 가져와 현재 스텝의 유효 캐시를 확장합니다. 이를 통해 모델은 전체 히스토리를 VRAM에 유지하지 않고도 쿼리의 복잡성에 적응할 수 있습니다.

3. 주요 기여

1. 태스크 벡터 가이드 압축: 메모리 압축을 특정 샘플로부터 분리하여, 공유된 추론 패턴을 포착하고 샘플 편향을 줄이는 새로운 접근 방식을 제시합니다.
2. 구조 보존 병합: 이분 그래프 매칭을 통한 세맨틱 인식 토큰 병합을 도입하여, 시각적 표현의 공간적 위상을 유지함으로써 멀티모달 작업에서의 하드 프루닝 문제를 해결합니다.
3. 동적 계층적 메모리: 분포 변화가 발생할 때만 레이턴트 뱅크에서 동적으로 검색함으로써 효율성과 적응성 사이의 균형을 맞추는 쿼리 적응형 아키텍처를 제공합니다.

4. 실험 결과

ImageNet-100, ScreenSpot, MME-RealWorld, IllusionVQA, VideoMME를 포함한 9개의 벤치마크에서 Qwen2-VL, LLaVA-NeXT, InternVL 등의 모델을 사용하여 평가를 수행했습니다.

• 성능 대비 압축률: TASM은 풀 컨텍스트(Full-context) Many-Shot ICL과 대등한 성능을 달성하면서도 메모리 사용량을 최대 **80-85%**까지 줄였습니다. 예를 들어, 200개의 예시가 있는 ImageNet-100에서 TASM은 평균 컨텍스트 길이를 16,264(Full Context)에서 3,485 토큰으로 줄이면서도 우수한 정확도를 보였습니다.
• 공간 및 시간적 강건성: 위상적 파괴로 인해 공간(ScreenSpot) 및 시간(YouCook2) 작업에서 성능 저하를 겪는 EMLoC와 달리, TASM은 이러한 능력을 보존합니다. ScreenSpot에서 TASM은 EMLoC(19.5 vs 18.3)보다 우수한 성능을 보였고, YouCook2에서는 풀 컨텍스트 베이스라인(109.5 vs 108.8)을 능가했습니다.
• 시각적 바늘 찾기 (Visual Needle-in-a-Haystack, V-NIAH): TASM은 긴 방해 시퀀스에서 미세한 세부 사항을 검색하는 데 탁면한 회복력을 보여주었습니다. 200개의 이미지 조건에서 TASM은 45.5%의 정확도를 달 기록하며, EMLoC(18.9%)의 두 배 이상의 성능을 보였고, FastV(7.1%)와 같은 정적 프루닝 방식보다 훨씬 뛰어난 성능을 보였습니다.
• 확장성: TASM은 A800 GPU에서 높은 디코딩 처리량(~43.8 tok/s)과 낮은 메모리 풋프린트(32k 컨텍스트에서 11.5 GB)를 유지하는 반면, 풀 컨텍스트 추론은 32k 토큰에서 OOM 오류에 도달합니다.
• 전이 가능성: 태스크 벡터는 강력한 제로샷 전이성을 보여줍니다. 소스 클래스에서 계산된 태스크 벡터가 서로 다른 타겟 클래스에 대해 64.2%의 정확도를 달성함으로써, 이것이 특정 샘플에 과적합되지 않고 일반적인 태스크 세맨틱을 인코딩함을 확인시켜 주었습니다.

5. 의의 및 주장

본 논문은 TASM이 모델 재학습 없이 멀티모달 ICL의 메모리 확장성에 대한 근본적인 병목 현상을 해결한다고 주장합니다. 샘플 의존적인 경직된 프루닝에서 태스크 인식, 구조 보존 및 동적으로 접근 가능한 메모리 구축으로 전환함으로써, TASM은 소비자급 하드웨어에서도 강력한 롱 컨텍스트 적응을 가능하게 합니다.

저자들은 태스크 관련성과 세맨틱 위상에 기반하여 메모리를 구조화하는 것이 효율성과 적응성 사이의 균형을 맞추는 핵심임을 입증합니다. 이를 통해 MLLM은 계산 비용을 획기적으로 줄이면서도 풀 컨텍스트 성능에 필적하거나 이를 능가하며 "Many-Shot" 환경을 효과적으로 활용할 수 있습니다. 이 프레임워크는 다양한 MLLM 아키텍처에 적용 가능한 일반화된 솔루션으로 제시됩니다.