ResAdapt: 효율적인 멀티모달 추론을 위한 적응형 해상도 (Adaptive Resolution for Efficient Multimodal Reasoning) 기술 요약

이 논문은 멀티모달 대규모 언어 모델 (MLLM) 이 고해상도 시각 입력을 처리할 때 발생하는 계산 비용과 긴 시간적 컨텍스트 (Long Temporal Context) 유지 간의 모순을 해결하기 위해 제안된 ResAdapt 프레임워크에 대해 다룹니다.

1. 문제 정의 (Problem)

MLLM 은 입력의 충실도 (Fidelity) 를 높일수록 시각적 이해 능력이 향상되지만, 이로 인해 생성되는 시각 토큰 (Visual Tokens) 의 수가 급증합니다. 이는 고해상도 공간 정보와 긴 시간적 컨텍스트를 동시에 유지하는 것을 불가능하게 만듭니다.
기존의 효율성 향상 전략들은 다음과 같은 한계가 있습니다:

• 모델 측 토큰 압축 (Model-side Token Compression): 인코딩 후 토큰을 압축하거나 제거하는 방식입니다. 이는 미세한 시각적 증거 (fine-grained evidence) 가 손실되면 복구할 수 없으며, 최적화된 추론 커널 (inference kernels) 을 방해할 수 있습니다.
• 출력 측 에이전트 추론 (Output-side Agentic Reasoning): 반복적인 검색이나 줌인 (Zoom-in) 을 수행하는 방식입니다. 이는 지연 시간 (latency) 을 증가시키고, 초기 시야가 너무 거칠 경우 결정적인 단서를 놓칠 수 있습니다.

저자들은 병목 현상이 인코딩 후 표현을 어떻게 압축하느냐가 아니라, 인코더가 처음에 몇 개의 픽셀을 수신하느냐에 있다고 주장하며, 인코딩 전 (Input-side) 에 시각 예산을 재분배하는 새로운 접근법을 제시합니다.

2. 방법론 (Methodology)

ResAdapt 은 인코딩 전에 프레임별 시각 예산 (Visual Budget) 을 동적으로 할당하는 Input-side Adaptation 프레임워크입니다.

핵심 구성 요소

1. Allocator (할당기):

   • 경량의 신경망으로, 거친 시각 특징 (coarse visual features) 과 텍스트 쿼리를 입력받아 각 프레임에 할당할 해상도 비율 (resize factor) 을 예측합니다.
   • 이 할당은 Contextual Bandit 문제로 공식화되며, Beta 분포를 통해 연속적인 액션 공간에서 탐색을 가능하게 합니다.
   • 예측된 할당은 리사이즈 (Resize) 또는 프레임 선택과 같은 비차분 가능한 연산자 (Operator) 를 통해 실제 입력에 적용됩니다.

2. Cost-Aware Policy Optimization (CAPO):

   • 할당 공간이 연속적이고 연산자가 미분 불가능하며, 정확도 - 비용 (Accuracy-Cost) 트레이드오프를 학습하기 어렵다는 문제를 해결하기 위해 제안된 강화 학습 알고리즘입니다.
   • 비대칭 학습 신호: 정답을 맞춘 저비용 롤아웃에는 보상을, 틀린 고비용 롤아웃에는 강력한 패널티를 부여하여 정책이 최소 예산으로 수렴하는 것을 방지합니다.
   • 동적 비용 피벗 (Dynamic Cost Pivot): 고정된 임계값 대신 그룹 내 평균 비용과 고정된 목표를 혼합하여 적응적인 기준점을 설정합니다.

3. Temporal Similarity Regularizer (시간적 유사성 정규화):

   • 인접한 유사한 프레임에 불필요하게 높은 예산이 할당되는 것을 방지합니다.
   • 인접 프레임 간의 시각적 유사도가 높을 때, 한쪽에만 높은 예산을 할당하도록 유도하여 콘텐츠 인식형 (Content-aware) 할당을 촉진합니다.

4. 아키텍처 통합:

   • ResAdapt 은 MLLM 백본 (Backbone) 의 구조를 변경하지 않습니다. Allocator 가 예측한 대로 입력을 변환한 후, 백본은 기존에 최적화된 토큰 인터페이스와 하드웨어 가속 (FlashAttention 등) 을 그대로 사용합니다.

3. 주요 기여 (Key Contributions)

1. ResAdapt 프레임워크 도입: MLLM 의 네이티브 아키텍처와 하드웨어 최적화를 유지하면서, 인코딩 전 동적 프레임별 시각 예산 할당을 컨텍스트 밴딧 문제로 공식화했습니다.
2. CAPO 및 정규화 제안: 수동 휴리스틱 없이 정확도와 비용을 동시에 최적화할 수 있는 안정적인 비대칭 학습 신호 (CAPO) 와 시간적 유사성 정규화를 제안했습니다.
3. 성능 검증: 비디오 QA 및 시간적 그라운딩 (Temporal Grounding) 벤치마크에서 ResAdapt 이 효율성 - 정확도 파레토 프론티어 (Pareto Frontier) 상에 위치함을 입증했습니다. 특히 고압축 조건에서 추론 중심 벤치마크에서 큰 성능 향상을 보였습니다.

4. 실험 결과 (Results)

• 효율성 - 정확도 트레이드오프: Qwen2.5-VL-7B 모델에서 시각 토큰을 약 10~12% 로 압축했을 때, 기존 방법들 (Random Drop, ToMe, VisionZip 등) 보다 VideoMMMU 와 같은 추론 중심 벤치마크에서 더 높은 정확도를 달성했습니다.
• 시간적 컨텍스트 확장: 동일한 시각 예산 내에서 ResAdapt 은 기존 모델보다 16 배 더 많은 프레임을 처리할 수 있으며, 이는 약 15% 이상의 성능 향상을 가져옵니다. 즉, 공간적 해상도를 줄여 얻은 계산 자원을 시간적 컨텍스트 확장에 재투자할 수 있습니다.
• 지연 시간 (Latency): 긴 비디오 (128 프레임 이상) 의 경우, 토큰 감소로 인한 백본 계산 비용 절감이 Allocator 의 오버헤드를 상쇄하여 전체 End-to-End 지연 시간을 최대 50% 이상 단축합니다.
• 적응형 지각 (Active Perception): 학습된 정책은 정답에 중요한 정보 (텍스트 오버레이, 장면 전환, 빠른 움직임 등) 가 포함된 프레임에 고해상도를 집중시키고, 관련 없는 프레임은 압축하는 '개방 루프 활성 지각 (Open-loop Active Perception)' 행동을 보였습니다.

5. 의의 및 결론 (Significance)

ResAdapt 은 멀티모달 추론의 효율성 문제를 해결하는 새로운 패러다임을 제시합니다.

• 실용성: 백본 모델의 구조를 변경하지 않고 플러그인 (Plug-and-play) 방식으로 적용 가능하여, 기존 최적화된 추론 엔진과의 호환성을 유지합니다.
• 효율성: 고해상도 입력의 계산 비용을 줄이면서도 중요한 시각적 단서를 보존하여, 긴 비디오 이해 및 복잡한 추론 작업에서 기존 토큰 압축 방법보다 우월한 성능을 보입니다.
• 미래 방향: 입력 측 적응 (Input-side adaptation) 이 긴 컨텍스트 비디오 추론을 위한 실용적이고 효과적인 경로임을 입증했습니다.

결론적으로, ResAdapt 은 "어떻게 토큰을 줄일 것인가"가 아니라 "어디에 더 많은 픽셀을 할당할 것인가"에 초점을 맞춤으로써, 제한된 계산 자원 하에서도 고품질의 멀티모달 추론을 가능하게 합니다.