기술 요약: 확산 트랜스포머의 어텐션 싱크: 인과적 분석

문제 제기

자기회귀형 대규모 언어 모델 (LLM) 에서 "어텐션 싱크 (attention sinks)"—즉, 의미적 중요도와 무관하게 불균형적으로 많은 어텐션 질량을 축적하는 특정 토큰이나 위치—는 기능적으로 중요한 구조로 널리 해석됩니다. 이들은 키 - 값 (key-value) 캐싱을 위한 안정적인 앵커 역할을 하고, 어텐션 엔트로피 붕괴를 방지하며, 잔여 정보를 위한 암시적 레지스터로 작용할 것으로 추측됩니다. 따라서 자기회귀 모델에서 이러한 싱크를 방해하면 생성 품질이 저하되는 경우가 많습니다.

그러나 이러한 직관이 **확산 트랜스포머 (Diffusion Transformers, DiTs)**에도 적용되는지는 여전히 불분명합니다. 인과적 마스킹 하에 토큰 단위로 진행되는 자기회귀 디코딩과 달리, 확산 모델은 여러 디노이징 (denoising) 단계에 걸쳐 비인과적 양방향 어텐션을 수행하며 모든 위치를 동시에 정제합니다. 이러한 설정에서 어텐션은 이전 컨텍스트를 위한 지속적 메모리 앵커로 명확히 기능하지 않습니다. 이러한 구조적 차이는 근본적인 질문을 제기합니다: 텍스트 - 이미지 확산에서 고품질 생성을 위해 어텐션 싱크가 기능적으로 필수적인가, 아니면 단순히 교체 가능한 라우팅 패턴에 불과한가? 인과적 증거가 없다면, DiT 의 어텐션 희소화 및 압축을 위한 설계 선택은 어떤 고질량 수신자를 보존해야 하는지에 대한 근거 있는 이해가 부족합니다.

방법론

저자들은 관찰 연구를 넘어 개입적 테스트로 나아가 확산 트랜스포머의 어텐션 싱크에 대한 체계적인 인과적 분석을 제시합니다.

1. 동적 싱크 정의

자기회귀 모델에서 싱크가 고정된 위치 (예: 시퀀스 시작 토큰) 와 일치하는 것과 대조적으로, 저자들은 싱크를 동적으로 정의합니다. 각 어텐션 헤드, 레이어, 디노이징 타임스텝마다 들어오는 어텐션 질량이 가장 큰 상위-$k$개 키 위치를 식별합니다. 이 정의는 확산 모델에서 지배적인 수신자가 구조적 토큰 (예: 인덱스 0) 에 고정되는 것이 아니라 타임스텝과 레이어에 따라 변한다는 점을 인정합니다.

2. 인과적 개입

이 연구는 추론 중에 이러한 싱크의 필요성을 테스트하기 위해 학습이 필요 없는 페어 (paired) 개입을 사용합니다. 개입은 두 가지 독립적인 경로를 따라 적용됩니다:

• 스코어 경로: 소프트맥스 연산 전에 싱크 토큰의 로짓에 로그 편향 ($\log \eta$) 을 추가하여 어텐션 확률을 효과적으로 조정합니다. $\eta=0$으로 설정하거나 (또는 큰 음수 편향을 추가) 어텐션 질량을 효과적으로 0 으로 만듭니다.
• 값 경로: 싱크 토큰의 값 벡터를 대안 (영벡터, 평균 값, 또는 선형 보간) 으로 대체합니다.

3. 실험 설정

• 모델: 주 실험은 Stable Diffusion 3 (SD3)(이미지/텍스트 토큰에 대한 결합 어텐션) 에서 수행되었으며, SDXL(별개의 자기/교차 어텐션을 가진 U-Net) 에서 검증되었습니다.
• 프롬프트: GenEval 벤치마크의 553 개 프롬프트와 SDXL 검증을 위한 5,000 개의 COCO 캡션이 추가되었습니다.
• 프로토콜: 샘플링 변동성에서 개입 효과를 분리하기 위해 엄격한 시드 일치 페어 생성을 수행했습니다. 결과는 95% 부트스트랩 신뢰구간과 함께 보고됩니다.
• 지표:
  • 정렬 (Alignment): CLIP-T(텍스트 - 이미지 의미 정렬).
  • 선호도 (Preference): ImageReward 및 HPS-v2(인간 선호도 대리 지표).
  • 지각/분포적 (Perceptual/Distributional): LPIPS(지각 거리) 및 FIDshift(기준선과 개입 출력 간의 분포적 거리).
  • 동등성 마진: 경험적 노이즈 바닥에 기반하여 CLIP-T 에 대해 $|\Delta| < 0.002$의 실용적 동등성 마진이 설정되었습니다.

주요 결과

1. 어텐션 싱크의 역학

• 고정되지 않은 위치: 동적으로 식별된 상위 1 개 싱크와 고정된 인덱스 0 위치 간의 겹침은 미미합니다 (<0.2%). 이는 확산 싱크가 자기회귀 LLM 과 같이 구조적 토큰에 앵커되지 않음을 확인시켜 줍니다.
• 단계 의존성: 어텐션 집중은 초기 디노이징 단계 (고잡음 영역) 에서 정점을 찍고 후기 단계로 갈수록 감소합니다.
• 레이어 분포: 중간 레이어 (예: SD3 의 레이어 12) 에서 가장 강한 집중을 보이며, 최대 들어오는 질량은 약 9.5% 에 달하고 엔트로피는 가장 낮습니다.
• 모달리티: SD3 의 결합 어텐션에서 동적으로 식별된 싱크의 99.9% 이상이 텍스트 조건부 토큰에 해당하며, 시각 잠재 토큰이 아닙니다.

2. 의미 정렬을 위한 인과적 필요성

• 표준 강도에서의 저하 없음: 동적으로 식별된 싱크 (상위 1 개, 단일 또는 다중 레이어) 를 제거해도 의미 정렬 (CLIP-T) 이나 선호도 지표 (ImageReward, HPS-v2) 가 저하되지 않습니다. 지표 변화에 대한 모든 95% 신뢰구간은 0 을 포함합니다.
• 강도에 대한 강건성: 더 강력한 개입 (상위 5 개 제거) 하에서도 CLIP-T 는 강건하게 유지됩니다. HPS-v2 는 상위 5 개 제거 시 작은 부정적 변화를 보이지만, 그 크기는 미미하며 (<1%) 실용적 동등성 경계 근처에 있어, 근본적인 품질 붕괴가 아닌 지표 의존적 트레이드오프를 시사합니다.
• 교차 아키텍처 유효성: 결과는 SD3(결합 어텐션) 과 SDXL(교차 어텐션) 모두에서 유효하며, 교차 어텐션은 약간 더 큰 지각적 드리프트를 유발하지만 정렬 손실은 없습니다.

3. 지각 및 분포적 변화

• 싱크별 교란: 정렬은 유지되지만, 싱크를 억제하면 상당한 지각적 변화가 발생합니다. 기준선과 싱크 제거 출력 간의 LPIPS 거리는 동등한 예산의 무작위 마스킹보다 약 6 배 더 큽니다.
• 해석: 이는 싱크가 시각적 구현 (레이아웃, 스타일, 시점) 에 영향을 미치는 구조화된 궤적 수준의 정보를 담고 있지만, 프롬프트와의 의미 정렬을 유지하는 데 필수적이지는 않음을 나타냅니다. 개입은 분포를 붕괴시키지 않고 모델의 출력 매니폴드 내에서 샘플을 이동시킵니다.

4. 용량 - 반응 및 경계 조건

• 평탄한 반응 곡선: 억제 비율 ($\eta \in [0, 1]$) 과 값 대체에 대한 용량 - 반응 스윕은 정렬 지표에서 유의한 저하 없이 균일하게 평탄한 곡선을 보입니다.
• 지표 의존적 경계: 매우 강력한 개입 ($k \ge 10$) 하에서 HPS-v2 는 무작위 마스킹과 비교하여 싱크별 저하를 보이지만, CLIP-T 는 안정적으로 유지됩니다. 이는 싱크가 단순 정렬 대리 지표로 포착되지 않는 선호도 지향적 차원에 기여할 수 있음을 시사합니다.

중요성 및 주장

본 논문은 표준 추론 설정에서 확산 트랜스포머의 어텐션 싱크가 의미 정렬을 위해 기능적으로 필수적이지 않다는 최초의 인과적 증거를 제공한다고 주장합니다.

• 질량과 필요성의 분리: 이 발견은 높은 들어오는 어텐션 질량이 기능적 필요성을 나타낸다는 가정에 도전합니다. 확산 트랜스포머에서 지배적인 수신자는 시각적 궤적을 크게 변경하더라도 텍스트와 이미지 간의 정렬을 저하시키지 않고 억제될 수 있습니다.
• 설계 시사점: 효율적인 확산 어텐션 설계 (예: 희소화, 토큰 가지치기) 에 있어 이는 고질량 수신자가 보존을 위해 하드코딩된 특권 토큰으로 취급될 필요가 없음을 시사합니다. 목표 지표 (정렬 대 지각적 일관성) 를 모니터링하는 한, 예산이 할당된 제거 대상 후보로 간주할 수 있습니다.
• 자기회귀 직관과의 차별화: 이 연구는 자기회귀 싱크 직관을 확산 모델로 전이하는 것을 명시적으로 경계합니다. 자기회귀 생성에서 싱크의 "앵커" 역할은 확산의 양방향 반복적 정제에는 적용되지 않는 것으로 보입니다.
• 한계: 저자들은 그들의 주장이 널리 사용되는 대리 지표 (CLIP-T, HPS-v2) 에 국한되며, 세분화된 구성적 충실도 (검출기 기반 벤치마크가 필요할 수 있음) 나 엔드 - 투 - 엔드 효율성 향상 (속도/FLOPs, 이는 여전히 공학적 과제임) 에 대해서는 다루지 않는다고 명시합니다.

요약하자면, 본 논문은 확산 트랜스포머의 어텐션 싱크가 구조화된 지각적 드리프트를 유발하지만 의미 정렬을 유지하는 데는 불필요함을 입증함으로써, 생성형 확산 모델의 어텐션 압축 및 가속화를 위한 새로운 이론적 기반을 제시합니다.