Making Training-Free Diffusion Segmentors Scale with the Generative Power

이 논문은 기존 훈련 없는 확산 분할기들이 강력한 생성 모델의 성능을 충분히 활용하지 못하는 두 가지 한계 (주의 맵의 불일치와 점수 불균형) 를 식별하고, 자동 집계와 픽셀 단위 재조정 기법을 통해 이를 해결하여 분할 성능과 적용 범위를 확장하는 방법을 제안합니다.

핵심

🎨 1. 배경: 요리사의 실력이 늘었는데, 비평가의 눈은 왜 멀어졌나?

최근 Stable Diffusion 같은 AI 는 정말 놀랍습니다. "고양이가 풀밭에 앉아 있다"라고 말하면, 마치 화가가 그린 것처럼 아주 사실적인 그림을 그려냅니다. 이걸 **생성 능력 (Generative Power)**이라고 합니다.

그런데 재미있는 현상이 생겼습니다.
이 AI 들이 그림을 그리는 능력은 Stable Diffusion v1.5 → v2.1 → SDXL → Flux 순서로 점점 더 강력해졌는데, 정작 이 AI 가 그린 그림에서 "고양이는 어디에 있고, 풀은 어디에 있는지"를 찾아내는 분할 (Segmentation) 작업은 오히려 성능이 떨어지거나 제자리걸음을 했습니다.

비유: 요리사 (AI) 가 요리를 할수록 더 맛있게, 더 정교하게 요리를 하는데, 그 요리를 먹어보고 "이건 소고기고, 이건 당근이야"라고 구분하는 비평가 (분할 모델) 의 눈은 오히려 흐려진 것입니다. 왜일까요?

🔍 2. 문제 발견: 두 가지 '오해'가 있었습니다

저희 연구진은 이 현상을 분석하다가 두 가지 큰 **'간극 (Gap)'**을 발견했습니다.

🕳️ 간극 1: "너무 많은 목소리" (자동 집계 부족)

AI 는 그림을 그릴 때 수백 개의 '머리 (Head)'와 '층 (Layer)'을 동시에 사용합니다. 각자 다른 관점에서 그림을 봅니다.

• 기존 방법: 연구자들이 "1 층의 1 번 머리는 중요하고, 2 층의 3 번 머리는 덜 중요해"라고 직접 손으로 점수 (가중치) 를 매겨서 모든 목소리를 합쳤습니다.
• 문제점: 최신 AI 는 구조가 너무 복잡해져서, 사람이 일일이 "어떤 부분이 중요한지" 정하는 게 불가능해졌습니다. 마치 100 명이나 되는 합창단에서 지휘자가 일일이 "너는 크게, 너는 작게" 소리치는 것과 같아서, 더 이상 통제가 안 되는 것입니다.

🕳️ 간극 2: "소란스러운 배경음" (점수 불균형)

AI 가 그림을 그릴 때, 문장의 시작을 알리는 특수한 단어 (예: <sos>) 나 "그", "의" 같은 중요하지 않은 단어들이 실제 사물 (고양이, 풀) 보다 훨씬 큰 점수를 받습니다.

• 문제점: 마치 노래방에서 가수가 노래를 부르는 대신, 마이크를 잡은 MC 가 "여러분!"이라고 큰 소리를 지르면, 가수의 목소리가 들리지 않는 것과 같습니다. AI 는 "고양이"보다 "시작 단어"에 더 집중하게 되어, 실제 사물을 구분하는 데 실패합니다.

🛠️ 3. 해결책: GoCA (생성형 확장 크로스 어텐션)

저희는 이 두 가지 문제를 해결하기 위해 두 가지 새로운 기술을 개발했습니다.

✨ 해결책 1: 자동 집계 (Auto Aggregation) - "지휘자가 필요 없다!"

사람이 일일이 점수를 매기는 대신, AI 스스로 "내가 이 그림을 그릴 때 내가 얼마나 기여했는지"를 계산하게 했습니다.

• 비유: 100 명 합창단에서 누가 가장 중요한 소리를 내는지, AI 가 스스로 "내 목소리가 합쳐진 결과 (최종 그림) 에 얼마나 영향을 줬는지"를 계산해서, 중요한 목소리만 자동으로 크게 섞는 방식입니다. 더 이상 사람이 손으로 조정할 필요가 없습니다.

✨ 해결책 2: 픽셀별 리스케일링 (Per-Pixel Rescaling) - "소란스러운 MC 를 켜고!"

중요하지 않은 단어 (시작 단어, 접속사 등) 들이 점수를 독점하는 것을 막았습니다.

• 비유: 노래방에서 MC 가 "여러분!"이라고 소리치는 순간, 그 소리를 일시적으로 끄고 (제거), 가수가 부르는 노래 (고양이, 풀 등 실제 사물) 소리만 남깁니다. 그리고 그 소리들끼리만 비교해서 "누가 더 크게 부르는지"를 판단합니다.
• 이 과정을 통해 AI 는 "시작 단어"에 매몰되지 않고, 실제 사물 (고양이, 풀) 에 집중하게 됩니다.

🚀 4. 결과: 강력한 AI 가 다시 빛을 발하다

이 두 가지 기술을 적용한 결과, Flux나 SDXL 같은 최신, 강력한 AI 모델들이 이전 모델들보다 훨씬 뛰어난 분할 성능을 보여주었습니다.

• 기존: 최신 AI 를 쓰면 오히려 성능이 떨어짐.
• 우리 방법 (GoCA): 최신 AI 를 쓰면 성능이 폭발적으로 향상됨.

또한, 이 기술을 단순히 그림을 분석하는 것뿐만 아니라, **더 아름다운 그림을 그리는 과정 (생성 기술)**에 적용했을 때도 배경이 훨씬 자연스러워지는 등 좋은 효과를 보였습니다.

💡 5. 한 줄 요약

"AI 가 그림을 그리는 능력이 좋아졌는데, 그걸 분석하는 기술이 따라가지 못했던 이유는 '너무 많은 목소리'를 정리하지 못했고, '소란스러운 배경음'을 제거하지 못했기 때문입니다. 저희는 AI 가 스스로 목소리를 정리하고 배경음을 차단하게 하여, 최신 AI 가 가진 막강한 힘을 100% 활용하게 만들었습니다."

이제 우리는 더 강력해진 AI 를 두려워할 필요 없이, 그 힘을 그대로 활용하여 더 정확한 이미지 분석과 더 멋진 그림 생성을 할 수 있게 되었습니다!

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

배경:
텍스트-이미지 확산 모델 (Diffusion Models) 은 강력한 생성 능력을 갖추고 있으며, 최근에는 추가 학습 없이 (Training-Free) 사전 훈련된 확산 모델을 활용하여 의미론적 분할 (Semantic Segmentation) 을 수행하는 연구들이 활발합니다. 이러한 방법들은 주로 모델의 크로스 어텐션 맵 (Cross-Attention Maps) 을 활용하여 이미지 픽셀과 텍스트 토큰 간의 의미적 상관관계를 추출합니다.

문제점:
이론적으로 생성 능력이 더 뛰어난 최신 확산 모델 (예: SD XL, PixArt-Sigma, Flux 등) 을 사용할수록 분할 성능이 향상되어야 합니다. 그러나 저자들은 기존 방법론들이 더 강력한 모델로 확장될 때 오히려 성능이 저하되거나 기대만큼 향상되지 않는 확장성 (Scalability) 문제를 발견했습니다.

근본 원인 (Two Gaps):
저자들은 이 확장성 실패의 원인을 크로스 어텐션 맵과 의미적 상관관계 사이의 두 가지 간극 (Gap) 에서 찾았습니다.

1. 간극 1 (개별 맵과 글로벌 표현의 불일치): 확산 모델은 여러 헤드 (Head) 와 레이어 (Layer) 를 가지며, 각각 별도의 어텐션 맵을 생성합니다. 기존 연구들은 이들을 수동으로 가중치를 주어 평균화 (Manual Aggregation) 하는데, 모델 아키텍처가 복잡해질수록 수동 가중치 조정이 비현실적이게 됩니다.
2. 간극 2 (점수 불균형으로 인한 의미 왜곡): 전역 어텐션 맵을 구성하더라도, 텍스트 토큰 간의 점수 불균형 (Score Imbalance) 이 존재합니다. 특히 문장 전체를 나타내는 의미 특수 토큰 (Semantic Special Tokens, 예: <sos>, <eos>) 이 다른 콘텐츠 토큰들에 비해 압도적으로 높은 점수를 받아, 실제 객체 (예: '고양이', '잔디') 간의 점수 비교를 왜곡시킵니다.

---

2. 제안 방법 (Methodology)

저자들은 위 두 가지 간극을 해결하기 위해 GoCA (Generative scaling of Cross-Attention) 라는 새로운 프레임워크를 제안했습니다. 이는 두 가지 핵심 기법으로 구성됩니다.

A. 자동 집계 (Auto Aggregation) - 간극 1 해결

수동 가중치 대신 모델의 활성화 (Activation) 관계를 기반으로 각 어텐션 맵의 기여도를 자동으로 계산하여 집계합니다.

• 헤드 단위 집계 (Head-Wise): 멀티헤드 어텐션에서 각 헤드의 출력을 벡터 합으로 간주합니다. 각 헤드의 벡터와 전체 합산 벡터 간의 도트 프로덕트 유사도 (Dot-product similarity) 를 계산하여, 전체 생성에 기여도가 높은 헤드에 더 높은 가중치를 부여합니다. 이는 픽셀 단위 (Per-pixel) 로 수행됩니다.
• 레이어 단위 집계 (Layer-Wise): 각 레이어의 크로스 어텐션 맵과 '가상 전역 어텐션 (Pseudo Global Attention)' 간의 유사도로 가중치를 결정합니다. 가상 전역 어텐션은 밀집된 확산 특징 (Dense Diffusion Features) 을 기반으로 계산된 가상 자기 어텐션 (Pseudo Self-Attention) 을 대용 (Proxy) 으로 사용합니다.

B. 픽셀 단위 재조정 (Per-Pixel Rescaling) - 간극 2 해결

의미 특수 토큰의 압도적인 점수가 콘텐츠 토큰 간의 비교를 방해하는 문제를 해결합니다.

• 토큰 필터링: 문장 전체를 나타내는 특수 토큰과 불필요한 정지어 (Stop words) 를 제외하고, 실제 의미를 가진 콘텐츠 토큰 (Content Word Tokens) 만을 남깁니다.
• 픽셀 단위 정규화: 각 픽셀에 대해 남은 콘텐츠 토큰들의 점수 합이 1 이 되도록 재조정 (Rescaling) 합니다. 이를 통해 특수 토큰의 스케일 변화가 다른 토큰들의 상대적 점수에 미치는 영향을 제거합니다.
• 토큰 단위 재정규화: 이후 기존 방식인 토큰별 재정규화 (Per-token Re-normalization) 를 수행하여 최종적으로 픽셀 간, 토큰 간 비교를 신뢰할 수 있도록 만듭니다.

---

3. 주요 기여 (Key Contributions)

1. 문제 발견: 기존 Training-Free Diffusion Segmentors 가 더 강력한 생성 모델로 확장될 때 성능이 저하되는 현상을 최초로 지적하고, 그 원인을 분석했습니다.
2. 새로운 기법 제안: 크로스 어텐션과 의미적 상관관계 사이의 두 가지 간극을 해결하기 위해 자동 집계 (Auto Aggregation) 와 픽셀 단위 재조정 (Per-Pixel Rescaling) 기술을 개발했습니다.
3. 광범위한 검증: 표준 의미론적 분할 벤치마크 (Pascal VOC, COCO, Cityscapes, ADE20K 등) 와 고급 생성 기술 (S-CFG) 통합 실험을 통해 방법론의 유효성을 입증했습니다.

---

4. 실험 결과 (Results)

• 성능 향상: 제안된 방법 (Ours) 은 기존 베이스라인 (Baseline) 및 Vanilla 방법보다 모든 데이터셋에서 높은 mIoU (Mean Intersection over Union) 를 기록했습니다.
• 모델 확장성: 기존 방법론은 SD v1.5 에서는 잘 작동했으나 SD XL, PixArt-Sigma, Flux 와 같은 최신 모델에서는 성능이 떨어지거나 미미한 향상을 보였습니다. 반면, GoCA 를 적용한 경우 SD v1.5 를 능가하는 최신 모델들의 성능을 극대화하여, 생성 능력과 분할 성능 간의 선형적인 상관관계를 회복시켰습니다.
  • 예: Flux 모델에서 GoCA 적용 시 mIoU 가 70.7 (VOC) 까지 향상되었습니다.
• 생성 품질 개선: 분할 결과를 활용하여 CFG (Classifier-Free Guidance) 강도를 픽셀별로 조절하는 S-CFG 기법과 결합했을 때, FID 점수 감소와 CLIP 점수 증가를 통해 배경 (Background) 포함 전체 생성 품질이 향상됨을 확인했습니다.
• 배경 분할 특화: 특히 배경 객체 (잔디, 벽 등) 에 대한 분할 정확도가 크게 향상되었으며, 이는 의미 특수 토큰의 간섭을 제거한 픽셀 단위 재조정 기법의 효과로 분석되었습니다.

---

5. 의의 및 결론 (Significance)

이 연구는 Training-Free Diffusion Segmentors 의 한계를 극복하고, 생성 모델의 발전에 따른 분할 성능 향상을 가능하게 하는 핵심 메커니즘을 제시했습니다.

• 이론적 기여: 크로스 어텐션 맵이 단순히 의미적 상관관계를 반영하지 않을 수 있으며, 이를 보정하기 위한 구조적 접근 (자동 집계 및 점수 재조정) 이 필요함을 증명했습니다.
• 실용적 가치: 별도의 학습 없이 최신 생성 모델의 힘을 그대로 활용하여 분할 작업을 수행할 수 있게 하여, 모델 해석 (Model Interpretation) 및 고급 생성 제어 기술과의 통합에 새로운 가능성을 열었습니다.
• 미래 전망: 의미론적 분할을 넘어 깊이 추정 (Depth Estimation) 이나 객체 탐지 (Object Detection) 와 같은 다른 판별적 작업 (Discriminative Tasks) 으로 확장될 수 있는 기반을 마련했습니다.

요약하자면, 이 논문은 "더 좋은 생성 모델이 자동으로 더 좋은 분할을 만든다"는 가설이 실패한 이유를 규명하고, GoCA라는 기술을 통해 이를 성공적으로 해결하여 생성 모델의 잠재력을 분할 작업에 완전히 끌어올린 획기적인 연구입니다.