기술 요약: ReToken

문제 정의

시각 언어 모델(VLM)은 이미지 컬렉션이나 한 시간 길이의 비디오와 같은 긴 시각적 문맥을 처리할 때 상당한 어려움에 직면합니다. 두 가지 주요 문제가 발생합니다:

1. 성능 저하: 방해되는 이미지나 프레임의 수가 증가함에 따라, 관련 정보가 방대한 무관한 데이터 속에 파묻히면서 모델의 성능이 떨어집니다.
2. 계산적 불가능성: 모든 시각적 토큰을 동시에 처리하는 것은 종종 GPU 메모리 제약을 초과하여, 긴 비디오에 대한 전체 문맥 추론을 불가능하게 만듭니다.

기존 솔루션은 모델의 내부 어텐션 점수(query-key 상호작용)를 사용하여 관련 프레임을 선택하는 **어텐션 기반 검색(attention-based retrieval)**에 의존하는 경우가 많습니다. 그러나 저자들은 사전 학습된 VLM에서 이러한 어텐션 신호가 시각적 검색에는 신뢰할 수 없다는 점을 지적합니다. 어텐션 점수와 쿼리 관련성 사이의 상관관계는 약하며, 이는 낮은 재현율(예: QAEgo4DTest-MC 벤치마크의 레이어별 Recall@1이 5.1%에 불과함)로 이어집니다. 더욱이 표준 어텐션 메커니즘은 특정 시각적 입력을 선택하기 위해서가 아니라 다음 토큰 예측을 위해 학습되었으며, 쿼리를 형성하기 위해 질문 토큰을 평균 내는 방식은 노이즈를 유입시켜 검색 성능을 더욱 저하시킵니다.

방법론: ReToken

본 논문은 전통적인 query-key 공간이 아닌 트랜스포머의 value 공간 내에서 작동하도록 설계된 가볍고 학습 가능한 검색 메커니즘인 ReToken을 제안합니다.

핵심 통찰

• Value 공간의 우월성: 저자들은 query-key 점수는 노이즈가 심하지만, value 프로젝션이 어텐션을 통해 전달되는 실제 콘텐츠를 담고 있다는 점을 관찰했습니다. value 벡터를 풀링(pooling)하는 것이 텍스트 기반 시각적 검색에 더 변별력 있는 신호를 제공합니다.
• 타겟팅된 검색: 모든 질문 토kn을 평균 내어 노이즈를 유입시키는 대신, ReToken은 질문 프롬프트에 추가되는 단일 학습 가능한 임베딩을 사용합니다. 이 토큰은 명시적으로 검색 타겟 역할을 하도록 학습됩니다.

아키텍처 및 학습

• 학습 가능한 토큰: 단일 학습 가능한 임베딩($X_r$)이 입력 질문 토큰에 추가됩니다.
• 프로젝션: 경량 프로젝션 행렬($W_r$)은 ReToken의 최종 레이어 출력을 검색 쿼리 벡터($Z_r$)로 매핑합니다.
• 스코어링 메커니즘: 각 프레임 $f$에 대해, 모델은 VLM의 최종 레이어로부터 평균 value 벡터($\bar{v}_f^{(N)}$)를 계산합니다. 검색 점수는 프로젝션된 ReToken과 프레임의 평균 value 벡터 사이의 코사인 유사도입니다.
• 손실 함수: 시스템은 정답 관련성 레이블에 대해 클래스 균형 이진 교차 엔트로피 손실(class-balanced binary cross-entropy loss)을 사용하여 감독됩니다. 이 손실은 관련 프레임에 대해서는 높은 점수를, 방해 요소에 대해서는 낮은 점수를 갖도록 유도합니다.
• 학습 체계: 기본적으로 VLM 백본은 **동결(frozen)**됩니다. 오직 ReToken 임베딩과 프로젝션 행렬만 업데이트됩니다. 일부 레이어를 튜닝하는 부분 미세 조정(partial fine-tuning) 변형도 탐색되었으나, 비디오 전이(video transfer)에는 효과가 덜한 것으로 나타났습니다.

추론 파이프라인

ReToken은 두 단계의 retrieve-then-answer(검색 후 답변) 파이프라인을 채택합니다:

1. 캐싱(Cache): 비디오는 한 번 인코딩되며, 레이어별 Key-Value(KV) 캐시는 영구적인 캐시에 저장됩니다.
2. 검색 (Pass 1): 질문이 주어지면 ReToken이 추가되고, 모델은 캐시된 시각적 문맥에 대해 순방향 패스(forward pass)를 실행합니다. 최종 레이어는 상위 $K$개의 관련 프레임을 선택하기 위해 검색 점수를 계산합니다.
3. 답변 (Pass 2): 두 번째 순방향 패스는 선택된 상위 $K$개 프레임의 KV 캐시에만 어텐션을 수행하며 답변을 생성합니다. 이를 통해 생성 과정이 (최종 레이어에서 검색이 결정된) 학습 분포와 일치하도록 보장합니다.

주요 기여

1. 어텐션의 한계 진단: 본 논문은 사전 학습된 VLM에서 어텐션 기반 검색(query-key)이 비효적이며, 반면에 value 공간이 시각적 정보를 검색하는 데 훨씬 더 강력한 신호를 제공함을 입증했습니다.
2. ReToken 메커니즘: 모델 전체를 다시 학습할 필요 없이 사전 학습된 VLM이 관련 시각적 정보를 더 효과적으로 식별할 수 있도록 하는 단일 학습 가능 토큰을 도입했습니다.
3. 제로샷 전이(Zero-Shot Transfer): 다중 이미지 질의응답(QA) 데이터로만 학습된 ReToken이 추가적인 비디오 특화 학습 없이도 긴 비디오 이해 벤치마크로 성공적으로 일반화됨을 보여주었습니다.

실험 결과

이 방법은 이미지 및 비디오 벤치마크에서 평가되었으며, 베이스라인 대비 일관된 개선을 보였습니다:

• Visual Haystacks (이미지 검색):
  • Visual Haystacks 벤치마크에서 ReToken은 50개의 방해 이미지가 있는 상황에서 Qwen3VL-8B를 13.4 포인트, InternVL3.5를 12.4 포인트(상대적 20% 이상 이득) 향상시켰습니다.
  • 2-이미지 작업에서 88.5%의 Recall@1을, 50-이미지 작업에서 64.7%를 달성하여 어텐션 기반 리트리버(ReKV) 및 외부 임베딩 모델(SigLIP2)을 크게 앞질렀습니다.
• 긴 비디오 이해:
  • QAEgo4DTest-MC: 엄격한 검색 예산($K=1$) 하에서, ReToken은 균등 샘플링(uniform sampling)보다 6.8 포인트 높은 성능을 보였으며 어텐션 기반 검색보다 우수한 성능을 기록했습니다.
  • LVBench: ReToken은 긴 비디오(평균 길이 1시간 이상)로 제로샷 전이되어, Qwen3VL-8B의 정확도를 8.0 포인트 높였습니다.
  • Video-MME: 중간 및 긴 비디오 분할에서 상당한 이득이 관찰되었으나, 짧은 비디오(2분 미만)는 검색 입력 예산 미달로 인해 이득이 없었습니다.
• 효율성:
  • 학습 및 긴 비디오 추론 모두 단일 H100 GPU에서 수행 가능합니다.
  • 검색 패스는 질문당 약 0.4초의 지연 시간만을 추가하며, 비용이 많이 드는 비디오 인코딩은 비디오당 한 번만 수행됩니다.

의의 및 주장

본 논문은 ReToken이 확장 가능한 긴 문맥 멀티모달 추론을 향한 실질적인 경로를 제공한다고 주장합니다. query-key 공간보다 value 공간이 텍스트와 정렬된 더 강한 신호를 담고 있음을 밝힘으로써, 저자들은 복잡한 외부 리트리버나 전체 모델 미세 조정을 피할 수 있는 간단하고 가벼운 솔루션을 제시했습니다.

본 연구의 핵심은 다음과 같습니다:

• Value 공간에서의 검색은 query-key 공간에서의 검색보다 노이즈가 섞인 쿼리에 더 강건합니다.
• 단일 학습 가능 토큰이 복잡한 검색 파이프라인을 효과적으로 대체할 수 있습니다.
• 짧은 문맥의 다중 이미지 QA에서 학습된 기술이 긴 비디오 이해로 전이될 수 있으며, 이는 텍스트와 시각적 콘텐츠를 정렬하는 근본적인 능력이 동결된 모델에서도 유지됨을 시사합니다.

저자들은 한계점도 인정했습니다. ReToken은 현재 비디오 전체에 분산된 증거를 요구하는 질문(예: 요약)을 처리하는 데 어려움을 겪고 있으며, 비디오의 시간적 구조를 더 잘 포착하기 위해 비디오 데이터로 학습한다면 비디오 작업 성능이 향잡될 수 있다고 언급했습니다. 그러나 이미지에서 비디오로의 현재 제로샷 전이는 효율적인 긴 문맥 VLM을 위한 중요한 진전으로 제시되었습니다.