Selective LoRA for Visual Tokens and Attention Heads

다음은 "시각 토큰 및 어텐션 헤드에 대한 선택적 LoRA (Image-LoRA)" 논문에 대한 상세한 기술 요약입니다.

문제 제기

표준 저랭크 적응 (Low-Rank Adaptation, LoRA) 은 대규모 모델의 매개변수 효율적 미세 조정 (PEFT) 에 널리 사용되는 방법입니다. 그러나 비전 - 언어 모델 (VLM) 에 적용될 때, 표준 LoRA 는 약한 구조적 사전 지식을 부과합니다. 즉, 모든 토큰 위치 (시스템 텍스트, 사용자 텍스트, 시각 토큰, 출력 토큰) 와 모든 어텐션 헤드에 동일한 저랭크 업데이트를 적용합니다.

저자들은 이러한 "모든 토큰, 모든 헤드" 접근 방식이 VLM 에 비효율적이며 잠재적으로 해로울 수 있다고 주장합니다. 그 이유는 다음과 같습니다:

1. 이질성: VLM 입력은 서로 다른 모달리티를 혼합합니다. 선행 연구에 따르면 시각 작업 (그라운딩, 지시) 에는 특정 어텐션 헤드만 중요하며, 나머지는 언어를 처리합니다.
2. 불필요한 교란: 순수 텍스트를 포함한 모든 토큰을 적응시키면, 멀티모달 데이터가 사용되더라도 동결된 언어 백본에서 계승된 강력한 언어 추론 능력을 불필요하게 교란시킬 수 있습니다.
3. 비효율성: 시각 정보가 없는 프롬프트 텍스트와 답변 토큰에 업데이트를 적용하는 것은 학습 중 계산 자원 (FLOPs) 과 매개변수를 낭비합니다.

방법론: Image-LoRA

저자들은 LoRA 를 토큰 수준의 잔차 업데이트 ($Y = XW + X\Delta W$) 로 간주하고, 이 업데이트를 세 가지 형태의 선택성에 따라 제한하는 비전 지향 PEFT 레시피인 Image-LoRA를 제안합니다.

1. 토큰 선택성 (시각 전용)
어댑터를 전체 시퀀스에 적용하는 대신, Image-LoRA 는 시각 토큰 범위 ($I_v$) 에만 잔차 업데이트를 주입합니다.

• 순수 텍스트 입력 ($I_v = \emptyset$) 의 경우 어댑터는 비활성화되며, 모델은 동결된 기본 네트워크를 정확히 따릅니다.
• 이는 모델의 텍스트 전용 추론 능력을 보존하고, 프롬프트 및 답변 토큰에 대한 계산을 건너뛰어 학습 FLOPs 를 줄입니다.

2. 헤드 선택성 (어텐션 헤드의 부분집합)
Image-LoRA 는 모든 헤드가 아닌 어텐션 헤드의 컴팩트한 부분집합만 업데이트합니다. 선택은 **한 번의 통과 영향 추정 (one-pass influence estimate)**에 의해 결정됩니다.

• 각 헤드에는 경량 랭크 -1 프로브 (시각 토큰 전용) 가 연결됩니다.
• 시스템은 프로브 세트에 대한 단일 순방향 - 역방향 통과를 실행하여 각 헤드의 업데이트에 대한 손실의 민감도 (영향 점수) 를 계산합니다.
• 헤드는 이 점수에 따라 순위가 매겨집니다. 다양성을 보장하기 위해 그래디언트에서 파생된 다양성 특징에 대해 "코사인 가장 먼 순서 (cosine farthest-first)" 선택이 적용됩니다.
• 전역 예산 ($K_{sel}$) 은 각 레이어의 집계 중요도를 얼마나 엄격하게 따를지 제어하는 온도 매개변수 ($\tau$) 에 따라 레이어 간에 분배됩니다.

3. 투영 선택성 (값 전용)
선택된 헤드 내에서 적응은 값 (Value, V) 투영에만 제한됩니다.

• 근거: 텍스트 토큰의 관점에서 시각 키는 어디에 주의를 기울일지 결정하는 반면, 시각 값은 무엇 콘텐츠를 검색할지 결정합니다. 시각 값을 업데이트하면 주입 위치에서 비시각 토큰 표현을 직접 수정하지 않고도 언어 모델이 소비하는 시각적 증거를 변경합니다.
• 제거 실험 (Ablation studies) 은 이 "V 전용" 설계가 Q, K 또는 O 투영이나 이들의 조합을 적응시키는 것보다, 특히 이미지 중심 환경에서 더 우수함을 보여줍니다.

추가 메커니즘:

• 매개변수 공유: LoRA 분해 ($\Delta W = AB$) 의 행렬 $A$는 레이어 내의 모든 선택된 헤드 간에 공유되는 반면, $B$는 헤드별로 유지됩니다. 이는 학습 가능한 매개변수를 크게 줄입니다.
• 선택 크기 정규화: 선택된 헤드의 수가 레이어마다 다르므로, 스케일링 인자에 정규화 인자 $\nu(N_{chosen}) = 1/\sqrt{N_{chosen}}$이 적용됩니다. 이는 레이어별 업데이트의 크기를 안정화시키고, 선택된 헤드의 수가 증가함에 따라 합산된 증가분이 커지는 것을 방지합니다.

주요 기여

• Image-LoRA 프레임워크: 적응을 시각 토큰, 선택된 어텐션 헤드의 부분집합, 그리고 값 경로로 제한하는 새로운 PEFT 방법입니다.
• 효율성: 표준 LoRA 에 비해 학습 가능한 매개변수와 어댑터 전용 학습 FLOPs 를 크게 줄입니다.
• 텍스트 추론 보존: 텍스트 토큰을 적응에서 제외함으로써, 시각 작업 미세 조정 후에도 순수 텍스트 추론 능력 (예: GSM8K) 이 보존되도록 합니다.
• 정보 병목: 저자들은 더 엄격한 구조적 제약이 유익한 정보 병목으로 작용하여, 모델이 피상적인 텍스트 단서가 아닌 시각적 증거에 의존하도록 만든다고 주장합니다.

실험 결과

저자들은 Qwen2.5-VL(7B 및 72B), LLaVA-NeXT-7B, InternVL3-8B 를 여러 벤치마크에서 평가했습니다.

• 시각 로컬라이제이션 (ScreenSpot-Pro, RefCOCO):
  • Image-LoRA 는 표준 LoRA(모든 토큰/헤드에 Q 및 V 투영을 적응) 의 정확도와 일치하거나 근접합니다.
  • 이미지 토큰이 많은 환경 (예: 텍스트:이미지 비율 1:5) 에서 Image-LoRA 는 유리한 트레이드오프를 보여주며, 훨씬 적은 매개변수와 FLOPs 로 동등한 정확도를 달성합니다.
  • Qwen2.5-VL-7B 의 ScreenSpot-Pro 에서 Image-LoRA 는 표준 LoRA 보다 약 매개변수의 1/4을 사용하며 FLOPs 도 현저히 적습니다.
• 일반화 (TextVQA, VideoQA):
  • 이 방법은 텍스트가 풍부한 이미지 QA 및 비디오 QA 로 일반화되어 표준 LoRA 와 비교 가능한 성능을 유지합니다.
• 텍스트 전용 보존 (GSM8K):
  • 시각 작업으로 미세 조정 후 Image-LoRA 모델은 GSM8K(수학 추론) 에서 원래 성능을 유지하는 반면, 표준 LoRA 모델은 약간의 저하를 보였습니다.
• 정보 병목 (ViLP):
  • 언어 사전 지식 대 시각적 증거에 대한 의존성을 테스트하도록 설계된 ViLP 벤치마크에서 Image-LoRA 는 표준 LoRA 보다 7.67% 더 우수한 성과를 거두어, 이 방법이 언어 사전 지식을 통한 "단축 (shortcutting)"을 성공적으로 줄였음을 시사합니다.

의의 및 주장

이 논문은 Image-LoRA 가 VLM 을 위한 더 표적화되고 효율적인 적응 전략을 제공한다고 주장합니다. VLM 입력의 이질적인 성격을 인정함으로써 이 방법은 다음과 같습니다:

1. 효율성 향상: 시각 작업 성능을 희생하지 않으면서 미세 조정의 계산 비용 (어댑터 전용 FLOPs) 과 학습 가능한 매개변수 수를 극적으로 줄입니다.
2. 언어 능력 보호: 모든 토큰을 적응할 때 종종 발생하는 텍스트 전용 추론 기술의 저하를 방지합니다.
3. 시각 그라운딩 강화: 더 엄격한 정보 병목은 모델이 언어 사전 지식보다 시각적 증거에 더 의존하도록 도와, 언어 사전 지식이 오해의 소지가 될 수 있는 작업에서 성능을 향상시킵니다.

저자들은 추론 중 시각 토큰의 동적 라우팅을 처리하기 위한 효율적인 커널 수준의 최적화가 필요하다는 점과, 현재 특정 헤드 선택 휴리스틱에 의존하고 있으며 이는 더 탐구될 수 있다는 한계를 지적합니다.