Balancing Fidelity and Diversity in Diffusion Models via Symmetric Attention Decomposition: Hopfield Perspective

기술 요약: 대칭적 어텐션 분해를 통한 확산 모델의 충실도와 다양성 균형

문제 제기
확산 모델은 어텐션 메커니즘이 글로벌 컨텍스트를 통합하고 장기 의존성을 모델링할 수 있는 능력에 크게 힘입어 이미지 생성의 선도적 패러다임이 되었습니다. 그러나 이러한 글로벌 연결성은 근본적인 트레이드오프를 초래합니다. 즉, 혁신성과 다양성을 향상시키는 반면, 서로 다른 객체 간의 재료를 혼합하는 등 불일치하는 특징들의 "부적절한 혼합 (spurious mixing)"을 일으키기 쉽다는 점입니다. 유익한 컨텍스트 통합과 해로운 의미적 누출 (semantic leakage) 을 구별하는 것은 비자명합니다. 왜냐하면 이 둘이 동일한 근본 메커니즘을 공유하기 때문입니다. 현재 분석들은 어텐션을 단순히 토큰 단위 검색 메커니즘으로만 취급하여 어텐션 행렬 자체에 인코딩된 풍부한 상호작용 역학을 포착하지 못합니다. 그 결과, 어텐션이 비일관적인 "메타안정적 혼합 (metastable mixtures)"에 정착하는 시기를 식별하고, 충실도–다양성 트레이드오프를 항해하기 위해 이 행동을 제어하는 원칙적인 방법론이 부족합니다.

방법론
저자들은 프리-소프트맥스 (pre-softmax) 어텐션 행렬 $QK^\top$을 쌍별 특징 연관성을 인코딩하는 동적 연관 기억으로 특징짓는 프레임워크를 제안합니다. 트랜스포머 자기 어텐션이 현대 홉필드 네트워크의 업데이트 규칙을 근사한다는 통찰에 기반하여, 논문은 어텐션 행렬을 두 가지 뚜렷한 구성 요소로 분해합니다:

1. 대칭 구성 요소 ($M_{sym}$): 에너지 지형을 나타냅니다. 이는 검색된 특징의 안정성을 지배하며, 낮은 에너지는 연관 기억에 의해 강력하게 지지되는 상태에 해당합니다.
2. 반대칭 구성 요소 ($M_{skew}$): 순환 역학을 나타냅니다. 실수 값 상태에 대해 반대칭 행렬은 0 의 2 차 에너지를 기여하므로, 이 구성 요소는 순환을 유도하는 방향성 힘으로 작용하여 메타안정적 상태를 교란시킬 수 있습니다.

이 분해에 기반하여 저자들은 검색 품질을 정량화하는 홉필드 스타일 안정성 측정치를 유도합니다:

• 에너지 ($E_X$): 대칭 상호작용에 의해 상태가 얼마나 강력하게 지지되는지를 나타내는 글로벌 측정치.
• 불안정 분율 ($r_X$): 국부적 필드가 현재 상태와 충돌하는 공간적 위치의 분율을 식별하는 로컬 측정치.
• 정렬 점수 ($Align_X$): 검색된 특징과 유도된 국부적 필드 간의 글로벌 방향적 합의를 정량화하는 코사인 유사도 측정치.

생성 과정을 제어하기 위해 저자들은 학습이 없는 개입 메커니즘을 제안합니다. 그들은 스칼라 제어 매개변수 $\alpha$(순환 규모) 를 통해 반대칭 구성 요소를 조절하고, 결과적으로 교란된 검색을 매개변수 $\beta$를 사용하여 기준선 검색과 혼합합니다. 이를 통해 근본적인 에너지 지형을 변경하지 않으면서 메타안정적 혼합을 깨기 위한 "순환 주도 드리프트 (circulation-driven drift)"를 주입할 수 있습니다. 더 나아가, 각 샘플의 어텐션 행렬에 대한 실현된 기능적 대칭 지수 ($\eta_M$) 에 기반하여 주입 강도를 조절하는 적응형 제어 변형을 도입하여 이미 고품질인 생성물의 과도한 교란을 방지합니다.

주요 기여

• 연관 기억 프레임워크: 논문은 어텐션 행렬 내에 쌍별 특징 연관성을 인코딩하는 프레임워크를 확립하여, 에너지 기반 안정성과 순환 주도 드리프트를 분리하는 대칭/반대칭 분해를 도입합니다.
• 안정성 측정치: 대칭 구성 요소를 활용하여 저자들은 특징 안정성을 정량화하는 홉필드 스타일 안정성 측정치 ($E_X$, $r_X$, $Align_X$) 를 유도합니다. 이들은 내부 측정치와 외부 충실도–다양성 트레이드오프 간의 강력한 상관관계를 입증합니다.
• 제어 가능한 순환 조절기: 저자들은 테스트 시간 개입을 위한 조절 가능한 조절기 (knob) 로 반대칭 구성 요소를 사용하는 것을 제안합니다. 방향성 드리프트를 주입함으로써 이 방법은 메타안정적 혼합을 교란하여 구조적 일관성을 복원하며, 충실도와 다양성을 균형 있게 조절하는 메커니즘을 제공합니다.

결과
제안된 방법은 1,000 개의 COCO2014 프롬프트를 사용하여 SDXL 에서 평가되었습니다. 주요 발견 사항은 다음과 같습니다:

• 품질과의 상관관계: 제안된 안정성 측정치는 외부 지표와 일관된 상관관계를 보입니다. 높은 정렬 점수 ($Align_X$) 는 더 높은 미적 점수와 더 낮은 LPIPS 다양성 (구조적 일관성を示唆) 과 상관관계가 있으며, 낮은 정렬은 더 높은 다양성과 상관관계가 있지만 구조적 비일관성과 아티팩트가 증가합니다.
• 영역 의존적 효과: 개입은 상태 의존적 행동을 보입니다. "불안정 (저품질)" 하위 집합에서는 순환 주입이 부적절한 혼합을 깨뜨림으로써 미적 점수와 ImageReward 를 크게 향상시킵니다. 반면, "안정 (고품질)" 하위 집합에서는 과도한 순환이 일관된 구조를 방해하여 지표를 저하시킬 수 있습니다.
• 적응형 제어: 샘플의 실현된 대칭 지수 ($\eta_M$) 에 기반하여 교란을 조절하는 적응형 변형은 정적이고 과도한 교란 하에서 고품질 샘플에서 관찰된 저하를 성공적으로 완화합니다. 이는 저품질 샘플에서의 이득을 유지하면서 고품질 샘플에서의 성능을 유지합니다.
• 글로벌 템퍼링과의 비교: 전역 어텐션 온도 스케일링은 상호작용을 무분별하게 선명하게 하거나 감쇠시켜 (종종 팔이 중복되는 등의 아티팩트 생성) 반면, 제안된 순환 제어는 약하게 지지되는 혼합 아티팩트를 선택적으로 억제하면서 지배적인 구조적 지지는 보존합니다.

의의 및 주장
본 논문은 어텐션을 단순한 토큰 혼합 연산자가 아닌, 명확한 에너지 지지 구성 요소와 순환 주도 구성 요소를 가진 상호작용 행렬로 분석하는 원칙적인 렌즈를 제공한다고 주장합니다. 부적절한 혼합을 메타안정적 상태에 갇히는 것으로 재해석함으로써, 이 작업은 충실도–다양성 트레이드오프를 항해하기 위한 진단 도구 (안정성 측정치) 와 제어 메커니즘 (순환 조절) 을 제공합니다. 저자들은 이 관점이 확산 모델을 넘어 대규모 언어 모델과 같은 다른 트랜스포머 아키텍처로 확장될 수 있으며, 어텐션 역학을 연구하는 새로운 방식을 제공할 수 있다고 제안합니다. 이 방법은 어텐션 메커니즘에서 의미적 누출의 근본 원인을 해결함으로써 생성 시스템의 신뢰성과 제어 가능성을 향상시키는 학습이 없는 사후 개입으로 제시됩니다.