🤖 AI

Selective Aggregation of Attention Maps Improves Diffusion-Based Visual Interpretation

이 논문은 텍스트-이미지 생성 모델의 다양한 어텐션 헤드 중 목표 개념과 가장 관련성이 높은 헤드의 어텐션 맵을 선택적으로 집계함으로써 기존 방법보다 향상된 시각적 해석 가능성과 분할 정확도를 달성할 수 있음을 보여줍니다.

원저자: Jungwon Park, Jungmin Ko, Dongnam Byun, Wonjong Rhee

게시일 2026-04-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jungwon Park, Jungmin Ko, Dongnam Byun, Wonjong Rhee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎨 1. 배경: 인공지능 화가와 '수백 명의 조수들'

생각해 보세요. 인공지능 (T2I 모델) 이 "고양이"라는 명령을 듣고 그림을 그릴 때, 사실은 그 안에는 **수백 명의 조수 (Attention Heads)**들이 각자 다른 역할을 하고 있습니다.

기존 방식 (DAAM): 모든 조수들이 "고양이"에 대해 생각한 내용을 다 모아서 평균을 냅니다. 마치 회의실에서 모든 사람의 의견을 다 적어보고 "그냥 다 합쳐보자"고 하는 것과 비슷하죠.
문제점: 모든 조수가 고양이 그림에 똑같이 집중하는 건 아닙니다. 어떤 조수는 고양이의 귀를 그리는 데 집중하고, 어떤 조수는 배경의 나무를 그리는 데 집중할 수도 있어요. 다 합치면 중요한 정보가 흐려지거나, 엉뚱한 곳에 초점이 맞춰질 수 있습니다.

🔍 2. 이 연구의 핵심: "가장 잘 아는 조수만 뽑아라!"

이 논문은 **"모든 조수의 의견을 다 합치는 대신, 고양이 그림에 가장 전문적인 조수들만 골라서 그 의견만 모으자"**고 제안합니다.

선택적 집계 (Selective Aggregation): 인공지능이 "고양이"를 그릴 때, 실제로 고양이 특징을 가장 잘 파악하고 있는 상위 20~25% 의 조수들만 선별합니다.
비유: "고양이 그림을 그리려면, 고양이 전문 화가 30 명만 불러모아 의견을 듣고, 나머지 100 명은 무시하자"는 거죠.

📊 3. 결과: 더 정확한 그림과 설명

이 방법을 적용했을 때 어떤 일이 일어났을까요?

더 정확한 위치 파악 (IoU 점수 상승):
- 기존 방식 (DAAM) 은 고양이의 위치를 대략적으로만 잡거나, 배경까지 포함하는 경우가 많았습니다.
- 하지만 이 연구의 방식은 고양이가 정확히 어디에 있는지를 훨씬 더 정확하게 찾아냈습니다. (수학적으로 'IoU'라는 점수가 더 높게 나왔습니다.)
- 비유: 기존 방식은 "여기 고양이 있네?"라고 대충 손가락으로 가리켰다면, 이 방식은 "여기, 이 고양이 눈과 귀가 딱 여기 있네!"라고 정밀하게 지시하는 것과 같습니다.
실수 찾기 (오해 진단):
- 인공지능이 명령을 오해할 때 (예: "마우스"라고 했을 때 '쥐'와 '컴퓨터 마우스'를 동시에 그리는 경우), 이 방법을 쓰면 어떤 조수가 무엇을 잘못 이해했는지를 찾아낼 수 있습니다.
- 비유: "쥐"를 그릴 때, '동물 전문 조수'는 진짜 쥐만 보고, '전자제품 전문 조수'는 컴퓨터 마우스만 봅니다. 둘을 따로 보면 인공지능이 왜 혼란스러워했는지 바로 알 수 있습니다.

💡 4. 결론: 왜 이 연구가 중요할까요?

이 연구는 **"무조건 다 합치는 것보다, 상황에 맞는 전문가만 뽑아 쓰는 것이 더 낫다"**는 것을 증명했습니다.

이해하기 쉬워짐: 인공지능이 왜 이런 그림을 그렸는지 그 이유를 훨씬 명확하게 설명할 수 있습니다.
조절 가능해짐: 나중에 인공지능을 더 잘 제어하고, 원하는 대로 그림을 수정하는 데 큰 도움이 될 것입니다.

한 줄 요약:

"인공지능이 그림을 그릴 때, 모든 사람의 의견을 다 듣기보다 가장 잘 아는 전문가들만 뽑아 의견을 모으면, 그림도 더 정확해지고 그 이유도 더 잘 이해할 수 있다!"

이처럼 이 연구는 인공지능의 '머릿속'을 더 투명하게 들여다보고, 우리가 더 잘 통제할 수 있게 해주는 중요한 첫걸음입니다.

1. 연구 배경 및 문제 정의 (Problem)

배경: 텍스트 - 이미지 (T2I) 생성 모델 (Stable Diffusion, Imagen 등) 은 크로스 어텐션 (Cross-Attention) 맵을 활용하여 이미지 생성 과정을 해석하거나 편집, 다중 개념 생성 등의 작업을 수행합니다. 기존 방법인 DAAM (Diffusion-based Attention Activation Maps) 은 특정 토큰에 해당하는 모든 어텐션 헤드의 맵을 평균화하여 시각화합니다.
문제점:
- 기존 연구들은 다양한 어텐션 헤드가 생성된 이미지의 특정 개념에 대해 서로 다른 역할을 수행한다는 사실을 간과했습니다.
- 모든 헤드의 어텐션 맵을 무차별적으로 평균화 (DAAM 방식) 하면, 관련성이 낮은 헤드의 노이즈가 포함되어 개념의 시각적 해석 정확도가 떨어질 수 있습니다.
- 특정 개념에 가장 밀접하게 연관된 헤드를 식별하고 이를 선택적으로 활용하는 연구는 상대적으로 부족했습니다.

2. 제안 방법론 (Methodology)

저자들은 선택적 어텐션 맵 집계 (Selective Aggregation) 기법을 제안합니다. 핵심 흐름은 다음과 같습니다.

헤드 관련성 점수 산출 (HRV 활용):
- 기존 연구인 HRV (Head Relevance Vector) [7] 를 활용하여 각 어텐션 헤드가 특정 시각적 개념 (예: '동물') 과 얼마나 관련이 있는지 점수를 매깁니다.
- CLIP 텍스트 인코더를 통해 개념별 대표 단어들을 인코딩하고, 이를 각 헤드의 키 (Key) 공간에 투영하여 어텐션 맵을 계산한 후, 공간 차원을 평균화하여 헤드의 관련성 벡터를 도출합니다.
헤드 선택 및 집계:
- 계산된 관련성 점수를 기준으로 가장 높은 점수를 가진 상위 20~25% (실험에서는 30 개) 의 어텐션 헤드를 선택합니다.
- 선택된 헤드의 크로스 어텐션 맵만 시간 단계 (timestep) 와 헤드를 따라 평균화하여 새로운 집계 맵 ( $\hat{M}^{Ours}$ ) 을 생성합니다.
- 기존 DAAM 은 전체 헤드를 평균화하는 반면, 제안 방법은 관련성이 높은 헤드의 서브셋만 사용합니다.
평가 지표:
- 생성된 이미지에 대한 Grounded-SAM 을 이용한 Ground-truth 시멘틱 분할 맵과 비교하여 평균 IoU (Intersection over Union) 점수를 계산합니다.
- 다양한 임계값 (0.3, 0.4, 0.5) 을 적용하여 이진 마스크로 변환한 후 IoU 를 측정합니다.

3. 주요 기여 및 발견 (Key Contributions & Findings)

향상된 시각 해석성 및 정확도:
- 제안된 방법은 널리 사용되는 DAAM 방법보다 더 높은 평균 IoU 점수를 기록했습니다. 이는 선택적으로 집계된 어텐션 맵이 실제 객체 영역과 더 정확하게 일치함을 의미합니다.
- 관련성이 높은 헤드는 개념별 특징을 정확하게 포착하는 반면, 관련성이 낮은 헤드는 객체 외부 영역에 집중하는 경향이 있음을 발견했습니다.
프롬프트 오해 (Misinterpretation) 진단 능력:
- T2I 모델이 모호한 용어 (예: 'mouse'가 동물인지 전자제품인지) 를 오해하여 하나의 이미지 내에 여러 개념을 생성할 때, 선택적 집계는 이를 시각적으로 진단할 수 있게 합니다.
- '동물' 관련 헤드로 집계하면 동물 마우스에만 집중되고, '전자제품' 관련 헤드로 집계하면 전자 마우스에만 집중되는 것을 확인하여, 모델의 오류 원인을 헤드 수준에서 규명할 수 있음을 보였습니다.
헤드 수에 대한 애블레이션 연구:
- Stable Diffusion v1.4 의 128 개 어텐션 헤드 중 30 개를 선택했을 때 최적의 성능을 보였습니다.

4. 실험 결과 (Results)

정량적 평가 (Table 1 & 2):
- 'Animals' 카테고리 기준 100 개의 생성 이미지를 대상으로 실험했습니다.
- DAAM vs 제안 방법: 모든 임계값 (0.3, 0.4, 0.5) 에서 제안 방법이 DAAM 보다 높은 IoU 를 기록했습니다. (예: 임계값 0.4 기준 DAAM 0.7540 vs 제안 방법 0.7765).
- 가장 관련성 높은 헤드 vs 가장 관련성 낮은 헤드: 관련성이 높은 30 개 헤드를 사용한 경우 (IoU 0.7765) 와 관련성이 낮은 30 개 헤드를 사용한 경우 (IoU 0.6172) 사이에 큰 성능 격차가 발생하여, 헤드 선택의 중요성을 입증했습니다.
정성적 평가 (Fig 1, 2, 3):
- DAAM 은 원하지 않는 영역에 초점을 맞추거나 집중이 부족한 경우가 많았으나, 제안 방법은 대상 객체를 더 정확하게 강조했습니다.
- 'mouse'와 같은 다의어에 대한 모델의 혼란을 선택적 어텐션 맵을 통해 시각적으로 명확하게 분리하여 보여주는 사례를 제시했습니다.

5. 의의 및 결론 (Significance & Conclusion)

해석 가능성의 새로운 방향: T2I 생성 모델의 어텐션 헤드를 무작위로 평균화하는 것이 아니라, 개념별 관련성에 따라 선택적으로 집계하는 것이 시각적 해석성과 제어 가능성을 크게 향상시킨다는 것을 증명했습니다.
모델 행동 진단 도구: 선택적 어텐션 집계는 모델이 프롬프트를 어떻게 해석하는지, 혹은 오해하는지 진단하는 강력한 도구로 활용될 수 있습니다.
미래 전망: 현재 Stable Diffusion v1.4 와 '동물' 개념에 국한되었으나, 이 원리는 다른 T2I 아키텍처와 다양한 시각 개념으로 확장 가능할 것으로 기대됩니다.

요약하자면, 이 논문은 모든 어텐션 헤드를 동일하게 취급하는 기존 방식의 한계를 지적하고, 특정 개념에 가장 민감하게 반응하는 어텐션 헤드를 선별하여 집계하는 전략이 생성 모델의 해석 정확도와 오류 진단 능력을 획기적으로 개선함을 실증적으로 보였습니다.