기술 요약: 텍스트 템플릿 토큰은 확산 트랜스포머(Diffusion Transformer) 내의 암묵적 시맨틱 레지스터이다

문제 정의

현대의 텍스트-이미지 생성 기술은 U-Net 아키텍처에서 텍스트와 이미지 토큰이 결합 어텐션(joint attention)을 통해 상호작용하는 확산 트랜스포머(DiT)로 전환되었습니다. 이와 동시에, 텍스트 컨디셔닝은 고립된 인코더(예: CLIP, T5)에서 사용자 프롬프트를 시스템, 사용자, 어시스턴트 및 구분자(delimiter) 토큰이 포함된 채팅 템플릿으로 직렬화하는 대규모 언어 모델(LLM)로 진화했습니다.

사용자 프롬프트의 시맨틱(semantic) 내용은 명확하지만, 구조적 템플릿 토큰(구분자와 같은 포맷팅 잔여물)의 역할은 여전히 제대로 이해되지 않고 있습니다. 결합 어텐션 기반의 DiT에서 모든 컨디셔닝 토큰은 이미지 스트림을 위한 키(key)로서 경쟁합니다. 이러한 구조적 토큰들이 단순한 포맷팅 잔여물로 남는지, 투명한 컨디셔닝 역할을 하는지, 혹은 더 깊은 계산적 역할을 획득하는지는 미해결 과제로 남아 있습니다. 나아가 DiT의 기계론적 조직화에 대한 광범위한 간극이 존재합니다. 구체적으로, 어떤 레이어가 시맨틱 콘텐츠를 확정하는지, 어떤 헤드(head)가 생성에 인과적인 영향을 미치는지, 그리고 텍스트-이미지 어텐션이 디노이징 궤적 전반에 걸쳐 어떻게 컨디셔닝을 매개하는지에 대한 이해가 필요합니다.

방법론

저자들은 디노이징 과정 동안 컨디셔닝 정보가 어디에서 읽히고, 라우팅되며, 저장되는지를 추적하기 위해 설계된 **인과적 해석 가능성 프레임워크(causal interpretability framework)**를 도입합니다. 이 프레임워크는 다음 네 가지 특정 기법을 결합합니다:

1. 토큰 수준 어텐션 분해(Token-level Attention Decomposition): 이미지-투-텍스트(I2T) 어텐션 질량을 분석하여 이미지 쿼리가 특정 텍스트 토큰 스팬(시맨틱 vs. 구조적)에 얼마나 많은 어텐션을 유도하는지 정량화합니다.
2. 스팬 수준 컨디셔닝 개입(Span-level Conditioning Interventions): 교차 프롬프트 스왑(cross-prompt swaps)과 구조적 토큰의 평균화(averaging)를 수행하여 이들이 프롬프트 특유의 시맨틱을 운반하는지 테스트합니다.
3. 교차 궤적 헤드 이식(Cross-trajectory Head Transplantation): 두 가지 서로 다른 생성 궤적(예: "사과" vs. "바나나") 사이에서 어텐션 프로젝션($q, k, v$)을 점진적으로 교체하여, 어떤 헤드가 객체의 정체성을 인과적으로 결정하는지 식별합니다.
4. 레이어별 인과적 마스킹(Layer-wise Causal Masking): 특정 레이어에서 어텐션 흐름(예: 레지스터 $\to$ 시맨틱 또는 레지스터 $\to$ 이미지)을 마스킹하여 정보 흐름의 방향을 결정합니다.

본 연구는 주로 Qwen-Image 제품군(이중 스트림 MMDiT)을 활용하며, 다양한 벤치마크(GenEval, DPG-Bench, Qwen-Image-Bench)와 언어(영어 및 중국어)에 걸쳐 평가를 수행합니다.

주요 결과

1. 지배적 어텐션 싱크로서의 구조적 토큰

분석 결과, 구조적 템플릿 토큰(예: <|im_start|>와 같은 구분자)은 지배적인 어텐션 싱크(attention sinks) 역할을 한다는 것이 밝혀졌습니다.