기술 요약: 멀티모달 대규모 언어 모델을 위한 시선 주의 (Gaze Attention)

문제 제기

현재의 멀티모달 대규모 언어 모델 (MLLM) 은 모든 생성 단계에서 시각적 토큰에 균일하게 주의를 기울이며 시각적 입력을 처리합니다. 이러한 "밀집 주의 (dense attention)" 메커니즘은 두 가지 주요 문제를 초래합니다:

1. 희석된 집중: 모델은 작업과 관련된 영역과 무관한 시각적 영역을 모두 처리하여, 의도된 설명과 관련된 영역에 동적으로 시선을 고정하는 인간의 시각적 지각의 선택적 특성을 모방하지 못합니다.
2. 계산 오버헤드: 전체 시각적 토큰 시퀀스 (고해상도 이미지나 긴 비디오의 경우 방대할 수 있음) 에 주의를 기울이는 것은 특히 키 - 값 (KV) 캐시에서 상당한 계산 및 메모리 부담을 초래합니다.

토큰 압축이나 KV 캐시 제거와 같은 기존 완화 접근 방식은 일반적으로 생성이 시작되기 전에 (예: 입력 질문에 대한 일회성 관련성 추정에 기반하여) 어떤 시각적 정보를 유지할지 결정합니다. 이러한 정적 방법은 종종 세밀한 디테일을 버리거나, 후속 생성 단계가 이전에 버려진 다른 영역의 정보를 필요로 할 때 적응하지 못합니다. 이들은 각 디코딩 단계에서 시각적 영역을 동적으로 선택할 능력이 부족합니다.

방법론: 시선 주의 (Gaze Attention)

저자들은 MLLM 이 생성 과정에서 작업과 관련된 시각적 영역에 동적으로 선택적으로 주의를 기울일 수 있게 하는 시선 주의 (Gaze Attention) 메커니즘을 제안합니다. 이 방법은 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 시선 영역 및 기술자

시각적 토큰을 평평한 시퀀스로 취급하는 대신, 이 방법은 시각적 키 벡터 (KV 캐시에서 유래) 를 공간적으로 그룹화하여 컴팩트한 시선 영역으로 만듭니다.

• 분할: 시각적 키는 원래의 공간적 (비디오의 경우 시간적) 레이아웃으로 재구성되어 $r_h \times r_w \times r_t$ 크기의 영역으로 분할됩니다.
• 기술자: 각 영역은 해당 영역 내의 키 벡터를 평균 풀링하여 얻은 경량 기술자 ($d_g$) 로 요약됩니다. 이는 전체 토큰 시퀀스에서 영역 수준으로 후보 집합을 축소합니다.
• 동적 라우팅: 각 디코딩 단계 $j$에서, 쿼리 토큰 $q_j$는 모든 영역 기술자와 유사성 점수를 계산합니다. 모델은 가장 관련성이 높은 상위 $K$개의 영역 ($G_j$) 을 선택하고, 주의 메커니즘이 오직 이러한 선택된 영역 내의 키 - 값 쌍에만 주의를 기울이도록 제한합니다.
• 안정성: 처음부터 희소 주의를 학습하는 과정에서 내재된 학습 불안정성을 해결하기 위해, 점진적 Top-K 스케줄이 사용됩니다. 학습은 모든 영역을 선택하는 밀집 설정으로 시작하여 학습이 진행됨에 따라 $K$를 점차 줄여, 모델이 조기 희소 결정으로 강요받지 않고도 차별화된 라우팅 신호를 학습할 수 있도록 합니다.

2. 학습 가능한 컨텍스트 토큰

국소화된 주의로 인해 발생하는 전역 장면 정보의 손실을 방지하기 위해, 저자들은 학습 가능한 컨텍스트 토큰을 도입합니다.

• 학습 가능한 소수의 토큰이 LLM 입력에 각 이미지 또는 비디오 프레임에 추가됩니다.
• 이러한 토큰은 생성 과정에서 특정 시선 영역이 선택되는지와 관계없이 전체적으로 가시적으로 남는 컴팩트한 요약 키 ($K_C$) 를 형성합니다.
• 이는 모델이 국소 영역에 세밀하고 선택적인 주의를 기울이는 동안 전역 컨텍스트를 유지하는 전체적인 시각적 인식을 유지하도록 보장하며, 이는 인간이 세부 사항에 초점을 맞추기 전에 장면을 전체적으로 지각하는 방식과 유사합니다.

3. 통합 주의 공식

최종 주의 메커니즘은 임의의 쿼리에 대해 세 가지 소스의 키 - 값 쌍을 결합합니다:

1. 텍스트 토큰.
2. 전역 컨텍스트 토큰 ($K_C$).
3. 동적으로 선택된 시선 영역의 시각적 토큰 ($K_{selected}$).

이 공식은 모델이 언어적 일관성과 전역 시각적 인식을 유지하면서 시각적 계산 예산의 대부분을 작업과 관련된 영역에 할당할 수 있게 합니다.

주요 기여

• 동적 선택적 주의: 사전 계산된 중요도 점수에 기반하여 시각적 주의를 고정하는 이전 방법과 달리, 시선 주의는 생성의 매 단계에서 쿼리를 관련 영역으로 라우팅하여 생성되는 텍스트의 진화하는 요구 사항에 적응합니다.
• 전역 손실 없는 효율성: 이 방법은 학습 가능한 토큰을 통해 전역 컨텍스트를 보존하면서 주의 범위를 부분집합으로 제한함으로써 상당한 계산 절감을 달성하며, 토큰 압축이나 정적 제거 방법에서 흔히 발생하는 디테일의 "흐림" 또는 "폐기"를 방지합니다.
• 발현된 시선 행동: 모델은 명시적인 시선 감독 없이 다음 토큰 예측을 통해서만 생성된 토큰의 주제에 맞춰 "시선"을 이동하는 법을 학습합니다 (예: "개"라는 단어를 생성할 때 개에 초점을 맞춤).

결과

저자들은 밀집 주의 베이스라인 및 기존 KV 캐시 제거 방법 (예: InfiniPot-V, HERMES) 과 비교하여 13 개의 이미지 및 6 개의 비디오 이해 벤치마크에서 시선 주의를 평가했습니다.

• 성능: 시선 주의는 모든 벤치마크에서 밀집 주의 베이스라인과 일치하거나 능가합니다. 일부 경우, KV 캐시 크기가 현저히 축소되었음에도 베이스라인을 능가합니다.
• 효율성: 이 방법은 주의 계산에 관여하는 시각적 KV 엔트리의 수를 최대 **90%**까지 줄입니다.
  • 이미지 작업에서는 밀집 주의 FLOPs 의 약 16% 만으로도 성능을 유지합니다.
  • 비디오 작업에서는 동일한 KV 예산으로 제한된 밀집 주의 베이스라인을 능가합니다.
• 제거 방법과의 비교: 기존 제거 방법 (InfiniPot-V, HERMES) 은 생성이 시작된 후 선택을 적응할 수 없기 때문에, 특히 단일 이미지 설정에서 KV 캐시 크기를 공격적으로 줄일 때 상당한 성능 저하를 겪습니다. 시선 주의는 유사하거나 더 공격적인 압축 하에서도 견고하게 유지됩니다.
• 시각화: 주의 맵 시각화는 시선 주의가 관련 객체에 초점을 맞춘 집중적이고 해석 가능한 주의 패턴을 생성하는 반면, 밀집 주의는 확산되고 모호한 패턴을 산출함을 확인시켜 줍니다.

중요성 및 주장

이 논문은 MLLM 이 관련 시각적 영역에 선택적으로 주의를 기울이게 하는 것이 밀집 주의에 대한 유망한 대안이라고 주장합니다. 현재 생성 단계에 기반하여 초점을 동적으로 이동하는 인간의 시선 행동을 모방함으로써, 시선 주의는 다음과 같은 경로를 제공합니다:

1. 계산 비용 절감: 성능을 희생하지 않으면서 FLOPs 및 메모리 사용량을 크게 낮춥니다 (주의 FLOPs 약 80% 감소, KV 캐시 메모리 약 80% 감소).
2. 해석 가능성 향상: 생성된 텍스트의 의미론적 내용과 일치하는 집중된 주의 맵을 생성합니다.
3. 적응성 강화: 모델이 생성의 다른 단계에서 다른 시각적 세부 사항에 접근할 수 있게 하여, 정적이고 사전 계산된 시각적 선택의 한계를 극복합니다.

저자들은 이 접근 방식이 일반적으로 텍스트에 대해 연구되는 효율적인 주의 메커니즘과 멀티모달 이해를 위한 선택적 시각적 주의 사이의 간극을 해소하며, 처리된 시각적 컨텍스트의 일부만으로 높은 성능을 달성할 수 있음을 보여준다고 지적합니다.