Beyond Sequential Distance: Inter-Modal Distance Invariant Position Encoding

이 논문은 긴 컨텍스트에서 발생하는 시각적 페이드 현상을 해결하기 위해, 텍스트와 시각 토큰 간의 거리 의존성을 제거하고 상호작용을 고정된 근접성으로 유지하는 새로운 '모달 간 거리 불변 위치 인코딩 (DIPE)'을 제안합니다.

핵심

📸 1. 문제: "긴 이야기를 하면 사진이 흐려진다?"

상상해 보세요. 친구가 당신에게 한 장의 사진을 보여주고, 그 사진에 대해 수천 마디의 긴 이야기를 해달라고 요청했다고 가정해 봅시다.

• 짧은 대화 (Short Context): 사진 바로 옆에서 "이 사진에서 개가 뭐 하고 있니?"라고 물으면, AI 는 사진 속 개를 정확히 보고 답합니다.
• 긴 대화 (Long Context): 하지만 친구가 사진을 보여준 뒤, 수천 마디의 잡담을 한 뒤에 다시 "아까 사진에서 개가 뭐 하고 있었지?"라고 물으면, AI 는 사진을 잊어버리고 엉뚱한 답을 하거나 아예 사진을 못 본 척합니다.

이 현상을 논문에서는 **"시각적 소실 (Visual Fading)"**이라고 부릅니다. AI 가 텍스트가 길어질수록, 처음에 본 이미지의 중요도가 점점 줄어들어 잊어버리는 것입니다.

🧠 2. 원인: "거리가 멀어지면 소리가 안 들리는 이유"

왜 이런 일이 일어날까요? 기존 AI 는 **'RoPE (회전 위치 인코딩)'**라는 기술을 썼습니다. 이 기술은 문장에서 "단어 A 와 단어 B 가 얼마나 멀리 떨어져 있는가"를 계산할 때, 거리가 멀어질수록 그 단어의 중요도를 급격히 낮추는 성질이 있습니다.

• 문장 안에서는: "내가 어제 먹은 밥"과 "내가 어제 먹은 국"은 가깝지만, "내가 어제 먹은 밥"과 100 줄 뒤에 나오는 "내일 할 일"은 멀기 때문에, AI 는 '밥'과 '일'의 연결을 약하게 봅니다. (이건 문법적으로 맞습니다.)
• 문장과 사진 사이에서는: 하지만 사진은 처음부터 끝까지 계속 보고 있어야 하는 '상수'입니다. 그런데 AI 는 텍스트가 길어질수록 "아, 이 사진은 내가 지금 말하고 있는 단어로부터 너무 멀리 떨어져 있구나"라고 착각합니다. 그래서 사진을 점점 더 멀리 밀어내버리는 것입니다. 마치 친구가 사진을 들고 있는데, 친구가 말을 길게 늘어놓을수록 그 사진이 친구의 손에서 점점 멀어져서 안 보이게 되는 것과 같습니다.

💡 3. 해결책: "DIPE (거리 불변 위치 인코딩)"

저자들은 이 문제를 해결하기 위해 DIPE라는 새로운 방법을 고안했습니다. 핵심 아이디어는 "내부 대화"와 "외부 대화"를 다르게 처리하는 것입니다.

🏠 비유: "집안일"과 "외부 손님"

• 내부 대화 (Intra-modal): 같은 언어끼리 대화할 때는 (예: 문장 안의 단어들) 거리가 멀어질수록 소리가 작아지는 게 자연스럽습니다. (기존 방식 유지)
• 외부 대화 (Inter-modal): 사진과 텍스트가 대화할 때는 상황이 다릅니다. 사진은 항상 우리 눈앞에 고정된 상태여야 합니다.

DIPE 의 방식:

1. 텍스트끼리 대화할 때: 기존처럼 거리가 멀어지면 중요도를 낮춥니다. (자연스러운 흐름)
2. 텍스트가 사진을 볼 때: "아, 이 텍스트는 사진과 항상 1 미터 거리에 있는 것처럼" 처리합니다. 텍스트가 100 줄을 써도, 1,000 줄을 써도 사진과의 거리는 변하지 않는다고 고정해버리는 것입니다.

이를 통해 AI 는 텍스트가 아무리 길어져도, 사진은 항상 눈앞에 선명하게 존재한다고 믿게 됩니다.

🚀 4. 결과: "긴 이야기에서도 사진을 잊지 않아요"

실험 결과를 보면:

• 기존 AI: 텍스트가 길어질수록 사진에 대한 관심이 0 에 수렴하며, 엉뚱한 답을 합니다.
• DIPE 적용 AI: 텍스트가 3 만 자 (32K 토큰) 가 되어도 사진을 잊지 않고 정확한 답을 합니다.

또한, 짧은 대화 (일상적인 질문) 에서도 성능이 떨어지지 않고 오히려 더 좋아졌습니다. 마치 새로운 안경을 끼는 것처럼, 기존 능력은 유지하면서 긴 대화라는 새로운 능력을 얻은 셈입니다.

📝 요약

이 논문은 **"AI 가 긴 이야기를 할 때 사진을 잊어버리는 병"**을 발견하고, **"사진과 텍스트의 거리는 항상 일정하게 유지되게 하는 새로운 규칙 (DIPE)"**을 만들어 이를 치료했습니다.

이제 AI 는 수천 줄의 긴 보고서나 책장을 넘기면서도, 처음에 본 그림을 잊지 않고 정확하게 기억할 수 있게 되었습니다! 🎉

기술 요약

1. 문제 정의: 멀티모달 대규모 언어 모델 (MLLM) 의 '시각적 소실 (Visual Fading)'

• 현상: 멀티모달 LLM 은 짧은 컨텍스트에서는 이미지와 텍스트 간의 연결을 잘 유지하지만, 텍스트 시퀀스 길이가 길어지는 긴 컨텍스트 (Long-Context) 상황에서는 시각적 정보가 점차 희미해지거나 무시되는 '시각적 소실 (Visual Fading)' 현상이 발생합니다.
• 원인:
  • 기존 MLLM 은 Multimodal RoPE (MRoPE) 를 사용하여 텍스트와 이미지 토큰의 위치 정보를 인코딩합니다.
  • MRoPE 는 텍스트 생성이 진행됨에 따라 생성된 텍스트 토큰과 고정된 이미지 토큰 간의 상대적 거리 (Inter-modal distance) 가 선형적으로 증가하도록 설계되어 있습니다.
  • RoPE 의 본질적인 특성인 장기 감쇠 (Long-term decay) 메커니즘은 거리가 멀어질수록 어텐션 (Attention) 점수를 감소시킵니다. 이는 언어적 국소성 (Linguistic locality) 을 위해 설계된 것이지만, MLLM 에서는 생성된 텍스트가 많아질수록 모델이 이미지에서 시선을 떼게 만드는 구조적 편향 (Inductive bias) 으로 작용합니다.
  • 인간의 인지 메커니즘은 이미지를 계속 보고 있을 때 과거의 단어처럼 시각적 참조가 멀어지지 않는 것과 대조적입니다.

2. 방법론: 인터-모달 거리 불변 위치 인코딩 (DIPE)

저자들은 시각적 소실을 해결하기 위해 DIPE (Inter-Modal Distance Invariant Position Encoding) 를 제안합니다. 이는 위치 인코딩을 모달리티 간 상호작용 (Inter-modal) 과 모달리티 내 상호작용 (Intra-modal) 에 따라 분리하여 처리하는 핵심 아이디어를 기반으로 합니다.

• 핵심 메커니즘:

  1. 모달리티 내 어텐션 (Intra-modal Attention): 텍스트 - 텍스트 또는 이미지 - 이미지 간의 상호작용에는 기존 순차적 위치 인코딩 (SPE, Sequential Position Encoding) 을 유지합니다. 이는 언어적 국소성과 이미지의 2 차원 공간 구조를 보존하기 위함입니다.
  2. 모달리티 간 어텐션 (Inter-modal Attention): 텍스트 - 이미지 간의 상호작용에는 고정된 위치 인코딩 (APE, Anchored Position Encoding) 을 도입합니다.
     • 텍스트 토큰 (쿼리) 이 이미지 토큰 (키) 을 참조할 때, 텍스트 토큰의 위치 인덱스를 생성 단계에 따라 증가시키는 대신, 이미지 세그먼트의 첫 번째 토큰 위치를 고정된 '앵커 (Anchor)' 로 사용합니다.
     • 이를 통해 생성되는 텍스트의 길이에 상관없이 텍스트와 이미지 간의 지각적 거리 (Perceptual distance) 를 일정하게 유지합니다.

• 구현 방식:

  • 이중 쿼리 뷰 (Dual Query Views): 어텐션 계산 시 쿼리 벡터를 두 가지 버전으로 생성합니다. 하나는 SPE 를 적용한 것 (모달리티 내용), 다른 하나는 APE 를 적용한 것 (모달리티 간용).
  • 분리된 어텐션 커널: FlashAttention 과 호환되도록 모달리티 마스크를 사용하여 두 가지 어텐션 (Intra/Inter) 을 병렬로 계산합니다.
  • LogSumExp 병합: 두 어텐션 결과를 LogSumExp 통계량을 활용하여 수학적으로 엄밀하게 정규화하여 병합합니다.
  • KV 캐시 호환성: DIPE 는 쿼리 측의 개입만 필요하므로 기존 KV 캐시 구조를 변경하지 않고도 추론 시 seamless 하게 통합 가능합니다.

3. 주요 기여점

1. 시각적 소실의 근본 원인 규명: MRoPE 의 거리 기반 감쇠가 긴 컨텍스트에서 시각적 어텐션을 약화시키는 주된 원인임을 이론적으로 증명했습니다.
2. 간단하고 효과적인 메커니즘 제안: 추가 파라미터 없이 기존 RoPE 변형 (MRoPE 등) 과 호환되는 DIPE 를 제안하여, 시각적 신호가 컨텍스트 길이에 관계없이 일관되게 유지되도록 했습니다.
3. 광범위한 실험 검증: 19 개의 벤치마크 (지각, 문서 이해, 일반 VQA) 를 통해 짧은 컨텍스트와 긴 컨텍스트 모두에서 성능을 입증했습니다.

4. 실험 결과

• 긴 컨텍스트 성능 (Long-Context VQA):
  • 텍스트와 이미지 간 거리를 0K 에서 32K 토큰까지 확장하는 스트레스 테스트에서, 기존 MRoPE 는 성능이 급격히 저하되었으나 DIPE 를 적용한 모델은 성능이 안정적으로 유지되었습니다.
  • 19 개 벤치마크 평균으로 MRoPE 기준 4.10% 의 정확도 향상을 기록했습니다. (특히 HRBench, POPE 등 시각적 지각이 중요한 태스크에서 큰 개선).
  • 시각적 어텐션 가중치가 깊이에 관계없이 복원되어, 초기 레이어에서도 시각적 정보를 잘 포착함을 확인했습니다.
• 짧은 컨텍스트 성능 (Short-Context VQA):
  • 기존 벤치마크 (단순 VQA 등) 에서 DIPE 를 적용한 모델은 베이스라인과 동등한 성능을 유지하여, 제안된 방법이 기존 능력을 해치지 않는 비파괴적 개선 (Non-destructive enhancement) 임을 입증했습니다.
• 모델 규모 및 아키텍처 일반화:
  • Qwen2.5-3B, 0.5B, Qwen3-1.7B 등 다양한 크기의 모델에서 일관된 성능 향상을 보였습니다. 특히 경량 모델 (0.5B) 에서 시각적 소실에 더 취약했기에 DIPE 적용 시 개선 폭이 더 컸습니다.
  • 이미지 - 텍스트가 교차된 (Interleaved) 복잡한 시나리오에서도 순서 보존 능력을 유지하며 효과적이었습니다.

5. 의의 및 결론

이 논문은 MLLM 의 긴 컨텍스트 처리 능력 향상을 위해 위치 인코딩의 설계 철학을 재고해야 함을 강조합니다. 기존에는 모든 토큰을 단일 시퀀스로 간주하여 거리를 계산했으나, 모달리티 간 상호작용에서는 거리를 불변 (Invariant) 으로 유지해야 시각적 정보가 텍스트 생성 과정에서 소실되지 않는다는 통찰을 제공합니다.

DIPE 는 추가적인 학습 비용이나 복잡한 구조 변경 없이, 기존 MLLM 아키텍처에 쉽게 통합하여 긴 문서나 대화에서 이미지의 정확한 이해와 추론을 가능하게 하는 실용적인 솔루션을 제시했습니다. 이는 향후 멀티모달 모델의 컨텍스트 길이 확장 및 시각적 grounding 능력 향상을 위한 중요한 기초가 될 것입니다.