기술 요약: 시각적 작업을 위한 디노이징 어텐션 (Denoising Attention, DnA)

1. 문제 정의

Vision Transformer(ViT) 및 기타 시각적 인지 모델의 표준 어텐션 메커니즘은 가중치를 정규화하기 위해 softmax 활성화 함수에 의존합니다. Softmax는 이론적으로 최대 엔트로피 원리에 근거하고 있지만, 저자들은 이것이 시각적 작업에서 다음과 같은 구체적인 한계를 초래한다고 주장합니다:

• 비대칭성 및 노이즈: Softmax는 지배적인 양수 점수는 증폭시키는 반면, 음수 또는 낮은 크기의 점수는 0으로 압축합니다. 이러한 비대칭성은 유익한 "음수" 상호작용(예: 객체와 밀접하게 연관되어 있으나 다른 적대적 클래스에 속하는 특징)을 억제할 수 있습니다.
• 어텐션 할당 오류: 모든 상호작용을 단일 서브스페이스 내에서 처리함으로써, 표준 어텐션은 종종 관련 있는 특징을 노이즈가 섞인 컨텍스트로 희석시킵니다. 예를 들어, 주요 객체를 식별할 때 모델은 (예: 흉갑을 식별할 때 사람이나 투구를 식별하는 것처럼) 보조적인, 적대적인 객체에 부주의하게 어텐션을 기울일 수 있습니다. 이는 Softmax 메커니즘이 "관련 있는" 특징과 "밀접하게 연관되어 있지만 무관한" 특징을 명시적으로 구분할 수 없기 때문입니다.
• 서브스페이스의 한계: 이론적 분석에 따르면, 분류 오차는 클래스 서브스페이스 간의 주각(principal angles)에 반비례합니다. 표준 어텐션은 모든 상호작용을 단일 값 서브스페이스($V$)로 투영하며, 이는 양수 및 음수 토큰 상호작용을 판별하는 데 필요한 기하학적 분리를 제한합니다.

2. 방법론: 디노이징 어텐션 (DnA)

저자들은 두 개의 구별되는, 준직교(quasi-orthogonal)하는 서브스페이스를 통해 양수 및 음수 토큰 상호작용을 명시적으로 모델링함으로써 기존의 멀티 헤드 셀프 어텐션(MHSA)을 대체하는 **디노이징 어텐션 (DnA)**을 제안합니다.

핵심 설계 원칙

1. 이중 쿼리 메커니즘: 단일 쿼리 대신, DnA는 동일한 키(key)에 대해 두 세트의 쿼리를 사용합니다:
   • 양수 쿼리 ($Q^+$): 올바른 클래스에 속하는 특징을 식별합니다.
   • 음수 쿼리 ($Q^-$): 올바른 클래스와 밀접하게 연관되어 있지만 무관한 특징(적대적이거나 방해되는 요소)을 식별합니다.
2. 이중 활성화 함수:
   • 양수 브랜치는 지배적인 양수 점수를 증폭하기 위해 softmax를 사용합니다.
   • 음수 브랜치는 강력한 음수 상호작용을 증폭하여 표준 softmax가 억제하는 대비 구조를 포착하기 위해 softmin ($\sigma(-z)$로 정의됨)을 사용합니다.
3. 서브스페이스 분리:
   • 양수 및 음수 브랜치의 상호작용은 두 개의 별개 값 서브스페이스 ($V^+$ 및 $V^-$)로 투영됩니다.
   • 이론적 동기(Theorem 2)에 따르면, 이들 서브스페이스 사이의 주각이 클수록 분류 오차가 감소합니다.
   • 아키텍처는 매 반복마다 엄격한 직교성을 강제하기보다는 초기화 및 학습 역학을 통해 $V^+$와 $V^-$ 사이의 준직교성을 강제합니다.
4. 수학적 공식화:
   주어진 헤드 $h$에 대해, DnA 출력은 다음과 같이 계산됩니다:
   $$\mathcal{A}^{Q^{\pm}V^{\pm}}_h = \boldsymbol{\sigma}\left(\frac{Q_h^{+} K_h^\top}{\sqrt{d}}\right)V_h^{+} + \alpha_h\boldsymbol{\hat{\sigma}}\left(\frac{Q_h^{-} K_h^\top}{\sqrt{d}}\right)V_h^{-}$$
   여기서 $\boldsymbol{\sigma}$는 softmax, $\boldsymbol{\hat{\sigma}}$는 softmin이며, $\alpha_h$는 학습 가능한 균형 파라미터입니다.

통합

• 이미지 분류: DnA는 표준 ViT 백본(예: ViT-B)의 MHSA를 대체합니다.
• 비디오 이해:
  • 비디오 트랜스포머: DnA는 TimeSformer와 같은 모델의 공간 및 시간 셀프 어텐션 메커니즘 모두를 대체합니다.
  • 비디오 LLM: DnA는 시각적 프로브(예: VisCoP/VideoLLaMA3의 경우)의 크로스 어텐션 모듈에 통합되어, LLM에 시각적 단서를 전달하기 전에 해로운 토큰 상호작용을 필터링할 수 있도록 합니다.

3. 주요 기여

• 이론적 통찰: 본 논문은 서브스페이스 분리(주각)와 분류 오차 사이의 관계를 확립하여, 양수 및 음수 상호작용을 별도의 서브스페이스로 분리하는 동기를 부여했습니다.
• 아키텍처 혁신: 시각적 특징을 명시적으로 디노이징하기 위해 이중 쿼리, 이중 값, 이중 활성화(softmax/softmin) 프레임워크를 사용하는 DnA를 도입했습니다.
• 경험적 검증: 이미지 및 비디오 작업 전반에서 DnA가 표준 어텐션 및 기타 대안(예: Differential Attention)보다 우수한 성능을 보임을 광범위한 실험을 통해 입증했습니다.
• 서브스페이스 분석: "침입 차원(intruder dimension)" 분석 및 프로베니우스 내적 측정을 통한 정량적 증거를 통해, DnA 브랜치가 단일 서브스페이스 대안들에 비해 더 직교하는 서브스페이스에서 작동하며, 이를 통해 더 나은 노이즈 억제를 달성함을 확인했습니다.

4. 실험 결과

저자들은 여러 벤치마크에서 DnA를 평가하였으며, 베이스라인 대비 절대적 이득을 보고했습니다:

• 이미지 분류 (ImageNet-1K):

  • ViT-B 백본을 사용할 때, DnA는 베이스라인 ViT-B(81.1%) 대비 0.8%의 절대적 이득인 Top-1 정확도(81.9%)를 달성했습니다.
  • Differential Attention 및 Cog Attention을 사용하는 모델보다 우수한 성능을 보였습니다.
  • 강건성: DnA는 ImageNet-A(적대적 예시)에서 더 높은 신뢰도(AURRA)와 낮은 캘리브레이션 오차(RMSE)를 달성하며 우수한 성능을 보여주었습니다.

• 비디오 이해:

  • 행동 인식: Toyota Smarthome에서 DnA는 TimeSformer 대비 1.3%(Cross-Subject) 및 4.0%(Cross-View)의 성능 향상을 보였습니다. NTU RGB+D 60에서는 **1.2%**의 이득을 달혔습니다.
  • 비디오 LLM: VideoLLaMA3에 통합되어 Ego-in-Exo PerceptionMCQ 벤치마크를 수행했을 때, DnA는 베이스라인인 VisCoP 대비 특히 행동 이해 및 인간-객체 상호작용 작업에서 0.5%의 절대적 이득을 기록했습니다.

• 정성적 분석:

  • 어텐션 시각화를 보면, 표준 softmax 어텐션은 종종 분산되거나 적대적인 배경 객체에 집중하는 반면, DnA는 주요 객체에 날카롭게 집중합니다.
  • 음수 브랜치($AQ^-V^-$)는 무관한 배경 영역을 효과적으로 억제하여, 클래스 특징과 노이즈 사이에 명확한 대비를 생성합니다.

5. 의의 및 주장

본 논문은 DnA가 표준 softmax가 관련 있는 특징과 밀접하게 연관되어 있지만 무관한 노이즈를 구분하지 못하는, 어텐션 기반 시각 모델의 근본적인 한계를 해결한다고 주장합니다.

• 디노이징 효과: 양수 및 음수 상호작용을 명시적으로 모델링하고 이를 별도의 서브스페이스로 투영함으로써, DnA는 모델이 적대적이거나 방해되는 시각적 단서에 의해 현혹되는 것을 방지하는 "디노이징" 필터 역할을 합니다.
• 기하학적 정당성: 성능 향상은 양수 및 음수 토큰 상호작용의 기하학적 분리에 기인하며, 이는 이론적 분석에서 예측된 대로 분류 오차 경계(error bounds)를 감소시킵니다.
• 일반화 가능성: DnA 메커니즘은 표준 이미지 분류뿐만 아니라 미세한 행동 인식 및 비디오-언어 추론을 포함한 복잡한 비디오 이해 작업에서도 효과적임이 입증되었습니다.
• 효율성: DnA는 추가적인 파라미터(Video LLM의 경우 약 3%, Video Transformer의 경우 최대 23%)를 도입하지만, 저자들은 이러한 파라미터가 병렬화 가능한 어텐션 헤드에 존재하여 베이스라인 모델과 유사한 처리량(throughput)을 유지한다고 언급했습니다.

결론적으로, 저자들은 DnA가 트랜스포머 아키텍처를 완전히 개편하지 않고도 서브스페이스 분리를 활용하여 시각적 작업을 위한 원칙적인 대안을 제공하며, 이를 통해 변별력과 강건성을 개선한다고 결론짓습니다.