기술 요약: 대규모 확산 비전 - 언어 모델에서의 마스크 사전 편향 드리프트 및 위치적 주의력 붕괴 완화

문제 제기

대규모 확산 비전 - 언어 모델 (LDVLMs) 은 효율성을 위한 병렬 디코딩과 전역 컨텍스트를 위한 양방향 주의력을 제공하며, 자기회귀 모델에 대한 유망한 대안으로 부상했습니다. 그러나 본 논문은 장형 멀티모달 생성 과정에서 성능을 저하시키는 두 가지 근본적인 실패 모드를 식별합니다.

1. 마스크 사전 편향 드리프트 (반복적 생성): LDVLM 은 모든 생성 토큰을 공유된 마스크 토큰 ($M$) 으로 초기화합니다. 저자들은 생성이 진행됨에 따라 이러한 토큰들의 은닉 표현이 공유된 사전 방향 (어휘 평균 임베딩과 밀접하게 정렬됨) 으로 점진적으로 드리프트하는 것을 관찰합니다. 이 수렴은 의미적 다양성을 제한하여, 입력 컨텍스트와 관계없이 모델이 특정 기능 토큰 (예: "the", ",", "\n") 을 반복적으로 생성하게 만듭니다. 추론 속도를 높이기 위해 생성 단계 수를 줄일 때 이 문제는 더욱 악화됩니다.
2. 위치적 주의력 붕괴 (열화된 시각적 근거): LDVLM 은 일반적으로 상대적 위치를 인코딩하기 위해 회전 위치 임베딩 (RoPE) 을 사용합니다. 논문은 RoPE 의 내재적 국소성 편향과 반복적인 마스크 제거 과정이 결합되어 주의력이 근처의 의미적으로 불완전한 마스크 토큰 쪽으로 붕괴된다는 것을 발견합니다. 결과적으로 멀리 떨어진 정보 풍부한 시각 토큰에 대한 주의력이 억제되어 장형 설명에서 시각적 근거가 약화되고 환각이 발생합니다.

방법론

이러한 문제를 재학습 없이 해결하기 위해 저자는 추론 시 두 가지 기법을 제안합니다.

1. 마스크 사전 억제 (MPS)

이 기법은 생성 토큰의 은닉 상태를 편향 제거하여 공유된 사전으로 붕괴되는 것을 방지하는 것을 목표로 합니다.

• 메커니즘: 이 방법은 지배적인 붕괴 방향에 대한 컨텍스트 무관한 대리 변수인 평균 어휘 임베딩 ($\hat{e}$) 을 사용하여 마스크 토큰 사전을 근사화합니다.
• 구현:
  • 어휘 평균을 트랜스포머 레이어를 통과시켜 레이어별 평균 표현을 얻습니다.
  • 이러한 표현에 주성분 분석 (PCA) 을 수행하여 저차원 "사전 부분 공간"을 정의합니다.
  • 최종 은닉 상태의 각 생성 토큰에 대해, 이 사전 부분 공간과 정렬된 성분을 코사인 유사도에 기반하여 적응적으로 억제합니다.
  • 이 수정은 최소한으로 이루어져 소수의 차원 (예: 4096 개 중 3 개) 만 영향을 받으며, 표현적 붕괴를 방지하면서도 모델이 학습한 역동성을 유지합니다.

2. 단조 RoPE 스케일링 (MRS)

이 기법은 LDVLM 의 전역 시각적 접근 필요성과 RoPE 의 국소성 편향 사이의 불일치를 해결합니다.

• 메커니즘: 표준 RoPE 는 모든 주파수 성분을 균일하게 처리합니다. 저자들은 고주파수 성분이 단거리 주의력 (마스크 간) 을 지배하는 반면, 저주파수 성분이 장거리 상호작용 (생성 - 시각 간) 에 필요하다는 것을 관찰합니다.
• 구현:
  • RoPE 회전 각도에 주파수 인식 스케일링 함수를 적용합니다.
  • 저주파수 성분 (장거리 위치 관계와 연관됨) 은 시그모이드 기반 단조 스케일링 일정을 사용하여 점진적으로 증폭됩니다.
  • 고주파수 성분은 대부분 보존됩니다 (스케일링 인자 $\approx 1$).
  • 이 조정은 국소적 일관성에 필요한 상대적 거리 구조를 방해하지 않으면서 멀리 떨어진 시각 토큰에 대한 주의를 강화합니다.

주요 기여

1. 체계적 분석: 본 논문은 LDVLM 의 반복적 생성이 어휘 평균으로 향하는 "마스크 사전 편향 드리프트"에서 비롯되며, 열화된 시각적 근거는 RoPE 의 국소성 편향으로 인한 "위치적 주의력 붕괴"에 의해 발생한다는 것을 밝혀내는 상세한 실증 분석을 제공합니다.
2. 학습 없는 솔루션: 저자는 파라미터 업데이트, 재학습 또는 추가 데이터가 필요 없는 플러그 - 앤 - 플레이 추론 기법인 MPS 와 MRS 를 도입합니다.
3. 종합적 평가: 이 방법들은 일반 추론, 시각적 근거, 장형 생성을 다루는 다양한 벤치마크와 다양한 LDVLM 아키텍처 (LLaDA-V, LaViDa) 에서 검증되었습니다.

결과

실험은 기존 LDVLM 대비 일관된 개선을 보여줍니다.

• 시각적 근거: RefCOCOg, Ferret, GQA 벤치마크에서 유의미한 향상을 보였습니다. 예를 들어, LaViDa 에서 RefCOCOg 정확도는 36.9 에서 44.0 으로, Ferret 는 25.9 에서 35.7 로 향상되었습니다.
• 장형 생성: LLaVA-Bench, DetailCaps, MIA 에서 토큰 반복이 크게 감소하고 어휘 다양성 (Distinct-n) 이 증가했습니다. 이 방법들은 특히 생성 단계 수가 적을 때 기존 모델들을 괴롭히는 "반복 비율"을 효과적으로 완화합니다.
• 환각 감소: 이 접근법은 객체 환각 (CHAIR 및 AMBER-G 로 측정) 을 줄이면서 객체 재현율을 유지하여, 개선이 보수적 생성이 아닌 더 나은 시각적 근거에서 비롯됨을 나타냅니다.
• 효율성: 이 방법들은 추론 지연 오버헤드를 거의 증가시키지 않으며 (예: 64 단계당 0.1 초 미만 증가), 기본 모델 가중치를 수정하지 않고 작동합니다.

중요성 및 주장

본 논문은 식별된 실패 모드 (마스크 사전 편향 드리프트 및 주의력 붕괴) 가 현재 LDVLM 패러다임에 내재되어 있으며, 표현 및 위치 수준에서 경량화된 원칙 있는 개입을 통해 효과적으로 해결될 수 있다고 주장합니다.

• 일반화 가능성: 저자들은 그들의 접근 방식이 다양한 LDVLM 백본과 통합 비전 - 언어 아키텍처 (예: MMaDA, Lumina-DiMOO) 전반에 걸쳐 일반화된다는 것을 입증합니다.
• 직교성: 제안된 방법은 표현 및 위치 수준에서 작동하므로 구조적 개입 (예: 마스크 제거 일정 변경) 과는 대부분 직교하며 기존 학습 프레임워크와 호환됩니다.
• 적은 범위: 저자들은 명시적으로 그들의 분석이 실증적이며 어휘 평균이 마스크 토큰 붕괴의 모든 비선형 역학을 완전히 특징짓지는 않는다고 밝힙니다. 또한, 이 방법들은 표준 전체 접미사 반복적 마스크 제거 설정을 위해 설계되었으며, 대안적 디코딩 패러다임 (예: 준 자기회귀 또는 블록 단위 확산) 에서의 효과는 추가 조사가 필요합니다. 이 작업은 이러한 기법들이 안정성과 신뢰성을 향상시키지만 사전 학습된 모델의 잠재력 이상의 새로운 생성 능력을 도입하지는 않는다는 점을 강조합니다.