💻 computer science

Unlocking Diffusion Hierarchies: Adaptive Timestep Selection for Zero-Shot Segmentation

본 논문은 고해상도 어텐션 맵을 U-Net 인코더 특징과 결합하고, 확산 모델 내의 부분 수준에서 객체 수준으로 이어지는 계층적 의미론적 진행을 활용하는 적응형 타임스텝 선택 메커니즘을 도입함으로써 성능을 향상시키는 새로운 제로샷 세그멘테이션 방법을 제안한다.

원저자: Ramin Nakhli, Mahesh Ramachandran, Luca Ballan

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ramin Nakhli, Mahesh Ramachandran, Luca Ballan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 어떤 그림이든 설명만 듣고 그려낼 수 있는 마법 같고 매우 똑똑한 화가가 있다고 상상해 보세요. 이 화가는 단순히 사진을 찍는 것이 아니라, 정적 노이즈(TV의 눈보라 같은 상태)로 가득 찬 빈 캔버스에서 시작하여, 노이즈를 단계적으로 제거하며 선명한 이미지를 드러냅니다. 이 과정을 "디퓨전(diffusion)"이라고 부릅니다.

당신이 읽고 있는 논문은 이 마법 같은 화가에게 단순히 그림을 그리는 법뿐만 아니라, 단 한 번도 본 적 없는 물체를 사진에서 완벽하게 잘라내는(cut out) 법을 가르치는 것에 관한 내용입니다. 이것을 "제로샷 세그멘테이션(zero-shot segmentation)"이라고 합니다.

이 논문은 저자들이 이전 방식들이 가졌던 두 가지 큰 문제를 어떻게 창의적인 비유를 사용하여 해결했는지 설명합니다.

두 가지 큰 문제

1. "흐릿함 vs 미세함"의 딜레마 (The "Blurry vs. Tiny" Dilemma)
이전 방식들은 화가의 "사고 과정"(내부 특징)을 두 가지 다른 방식으로 관찰하여 물체가 어디에 있는지 파악하려고 시나했습니다.

방법 A는 미세한 디테일(예: 자동차 타이어의 가장자리)을 보았습니다. 매우 날카롭고 선명했지만, 전체적인 맥락(이 타이어가 자동차의 일부라는 사실)을 이해하지 못했습니다.
방법 B는 큰 그림(예: "이것은 자동차다")을 보았습니다. 하지만 큰 그림을 보다 보니 디테일이 흐릿하고 뭉툭했습니다.
결과: 잘못된 대상의 완벽한 윤곽선을 얻거나, 아니면 맞는 대상의 흐릿한 덩어리를 얻게 되었습니다.

2. "일률적인 적용"의 실수 (The "One-Size-Fits-All" Mistake)
화가는 노이즈를 제거하기 위해 여러 단계(timesteps)를 거칩니다.

초기 단계: 화가는 대략적인 형태를 파악합니다 (예: "여기에 큰 트럭이 있구나").
후기 단계: 화가는 아주 미세한 디테일을 추가합니다 (예: "여기에 타이어의 특정 볼트가 있구나").
실수: 기존 방식들은 중간의 단 하나의 단계만을 선택하여 "자, 지금이 모든 것을 보기에 가장 좋은 순간이다"라고 말했습니다. 이는 마치 책의 50페이지만 보고 책 전체를 이해하려는 것과 같습니다. 때로는 장(chapter)을 이해하기 위해 목차(초기 단계)가 필요하고, 때로는 세부 사항을 이해하기 위해 작은 글씨(후기 단계)가 필요합니다. 이미지의 각 부분은 서로 다른 시점에 관찰되어야 합니다.

해결책: 스마트하고 적응적인 접근 방식

저자들은 **스마트 커터(Smart Cutter)**라고 부를 수 있는 새로운 방법을 만들었습니다. 그들은 두 가지 영리한 기술로 문제를 해결했습니다.

기술 1: "슈퍼 센스" 지도 (Contextual Similarity Map)

"날카롭지만 작은" 뷰와 "흐릿하지만 큰" 뷰 중 하나를 선택하는 대신, 그들은 이 둘을 결합했습니다.

비유: 당신이 군중 속에서 친구를 찾는다고 상상해 보세요.
- "날카로운" 뷰는 친구의 얼굴을 명확히 보지만 그가 누구인지는 모르는 것과 같습니다.
- "큰" 뷰는 그가 당신의 친구라는 것은 알지만, 그를 아주 작은 점처럼 보는 것과 같습니다.
- 스마트 커터는 이 둘을 결합합니다. 맥락(이 사람은 사람이다)을 이해하기 위해 "큰" 뷰를 사용하고, 얼굴의 정확한 윤곽을 그리기 위해 "날카로운" 뷰를 사용합니다. 이를 통해 컨텍스추얼 시밀러리티 맵(Contextual Similarity Map), 즉 무엇인지(what)와 그것의 경계가 정확히 어디인지(where)를 모두 아는 지도를 만들어냅니다.

기술 2: "개인 맞춤형 시간 여행" (Adaptive Timestep Selection)

이것은 이 논문의 가장 큰 발견입니다. 그들은 이미지의 모든 픽셀(점)마다, 그것을 관찰하기에 가장 좋은 "시간"이 각각 다르다는 것을 깨달았습니다.

비유: 디퓨전 과정을 역재생되는 영화라고 생각해 보세요.
- 만약 전체 트럭이 어디 있는지 알고 싶다면, 영화가 아직 약간 흐릿할 때(과정의 초기) 봐야 합니다.
- 만약 특정 타이어가 어디 있는지 알고 싶다면, 영화가 거의 선명해졌을 때(과정의 후기) 봐야 합니다.
혁신: 스마트 커터는 이미지 전체에 대해 하나의 시간만을 선택하지 않습니다. 대신 모든 점을 개별적으로 확인하는 탐정처럼 행동합니다.
- 각 점에게 묻습니다: "너는 네가 무엇인지 확신이 가장 높았던 때가 언제니?"
- 만약 그 점이 타이어의 일부라면, "나는 400단계에서 가장 잘 느껴졌어"라고 답합니다.
- 만약 그 점이 하늘의 일부라면, "나는 800단계에서 가장 잘 느껴졌어"라고 답합니다.
- 그런 다음, 각 점의 "최적의 시간"을 사용하여 최종적으로 잘라냅니다.

작동 원리 (레시피)

화가 실행: 스테이블 디퓨전(Stable Diffusion) 모델이 노이즈가 섞인 이미지를 정화하도록 내버려 두되, 진행 과정 중 여러 단계에서 멈춥니다.
지도 만들기: 매 단계마다 "날카로운" 디테일과 "큰" 맥락을 결합하여 컨텍스추얼 시밀러리티 맵(각 점이 서로를 얼마나 좋아하는지를 보여주는 지도)을 만듭니다.
최적의 지점 찾기: 이 지도들이 시간이 지남에 따라 어떻게 변하는지 관찰합니다. 그들은 지도가 일정 기간 안정적으로 유지되다가(즉, 물체가 정의되는 과정), 갑자기 변화하는(즉, 정의가 더 크거나 작은 규모로 이동하는) 것을 발견했습니다. 수학을 사용하여 각 점에 대해 이러한 변화가 정확히 언제 일어나는지 찾아냅니다.
최종 컷: 각 점의 "최적의 지점" 시간을 선택하고, 이 모든 정보를 결합하여 물체를 분리하는 최종 선을 그립니다.

결과

논문은 이 방법을 자동차, 사람, 도시 장면과 같은 많은 표준 이미지 데이터셋에 테스트했습니다.

결과: 그들의 방식은 이전의 최고 방식들(DiffSeg, DiffCut 등)을 지속적으로 앞질렀습니다.
이유: 전체 이미지를 단 하나의 정적인 렌즈로 보기를 강요하지 않았고, 흐릿함과 선명함 중 하나를 선택할 필요도 없었기 때문입니다. 유연하고 적응적인 방식을 통해 두 세계의 장점을 모두 취했습니다.

요약하자면, 그들은 컴퓨터에게 전체 그림을 단 하나의 고정된 렌즈로 보는 것을 멈추게 하고, 대신 모든 픽셀에 대해 자동으로 조절되는 줌 렌즈를 부여하여 이미지의 각 부분을 정의하기 위한 완벽한 순간을 찾도록 가르친 것입니다.

기술 요약: 확산 계층 구조의 해제 (Unlocking Diffusion Hierarchies)

문제 정의

제로샷 시맨틱 세그멘테이션(Zero-shot semantic segmentation)은 최근 Stable Diffusion과 같은 대규모 텍스트-이미지 확산 모델(diffusion models)에 내재된 풍부한 시각적 사전 지식(visual priors)을 활용하며 발전해 왔습니다. 그러나 기존의 확산 기반 방법들은 성능을 저해하는 두 가지 결정적인 한계에 직면해 있습니다:

해상도-컨텍스트 트레이드오프 (The Resolution-Context Trade-off): 현재의 접근 방식은 일반적으로 셀프 어텐션 맵(self-attention maps) 또는 U-Net 인코더 특징(encoder features) 중 하나에 의존합니다. 셀프 어텐션 맵은 높은 공간 해상도를 제공하여 미세한 경계 디테일을 포착하지만, 포괄적인 컨텍스트 이해가 부족한 경우가 많습니다. 반대로, U-Net 인코더 특징은 풍부한 시맨틱 컨텍스트를 제공하지만 공간 해상도가 크게 감소하여 거친 세그멘테이션 경계를 생성합니다.
정적 타임스텝 의존성 (Static Timestep Reliance): 기존 방법들은 확산 과정 내의 단일 고정된 타임스텝에서 특징을 추출합니다. 이러한 정적인 방식은 디노이징 궤적(denoising trajectory) 전반에 걸쳐 진화하는 정보의 역동적인 변화를 무시합니다. 확산 모델이 노이즈가 섞인 잠재 변수(latent)를 일관된 이미지로 정제함에 따라, 다양한 수준의 시맨틱 입도(semantic granularity)(예: 부분 수준의 디테일에서 객체 수준의 추상화까지)가 서로 다른 타임스텝에서 나타나고 공고해집니다. 단일 타임스텝에 의존하는 것은 정확한 세그멘테이션에 필요한 전체 스펙트럼의 단서를 포착하는 능력을 본질적으로 제한합니다.

방법론

제안된 방법인 DiffCut(이전 연구인 DiffCut [18]과는 구별됨)은 디노이징 과정 내에 인코딩된 다면적인 시맨틱 지식을 완전히 활용하여 이러한 한계를 해결합니다. 이 접근 방식은 세 가지 핵심 구성 요소로 이루어집니다:

1. 컨텍스트 유사도 맵 (Contextual Similarity Maps, CSM)

해상도-컨텍스트 트레이드오프를 해결하기 위해, 저자들은 컨텍스트 유사도 맵(CSM)을 도입합니다. 이는 고해상도 셀프 어텐션 맵과 깊고 컨텍스트가 풍부한 U-Net 인코더 특징을 시너지 효과를 내도록 융합한 픽셀당 표현입니다.

구성: 주어진 타임스텝 $t$ 에 대해, U-Net의 다중 해상도 셀프 어텐션 맵을 통합 행렬 $M_t$ 로 집계합니다. 동시에, 저해상도 인코더 특징을 추출하고 이를 업샘플링하여 특징 행렬 $F_t$ 를 형성합니다.
융합: $M_t$ 의 고해상도 관계는 업샘플링된 특징 $F_t$ 의 가중치 집계(weighted aggregation)를 유도하여 각 픽셀에 대한 결합된 특징 벡터 $V_t$ 를 생성합니다 ( $V_t = M_t \times F_t$ ).
유사도: CSM( $S_t$ )은 이러한 결합된 특징 벡터 간의 쌍별 코사인 유사도(pairwise cosine similarity)로 정의됩니다. 그 결과, 미세한 경계 정밀도와 견고한 시맨틱 일관성을 모두 갖춘 맵이 생성됩니다.

2. 계층적 시맨틱 진행 및 적응형 타임스텝 선택 (Hierarchical Semantic Progression & Adaptive Timestep Selection)

저자들은 디노이징 과정 내에서 나타나는 계층적인 시맨틱 정보의 진행을 확인했습니다.

관찰: 높은 타임스텝(역과정 초기)에서는 CSM이 광범위하고 전역적인 구조(예: 트럭 전체)를 포착합니다. 타임스텝이 감소함에 따라(과정 후기), 초점이 미세한 디테일(예: 개별 바퀴)로 날카로워집니다.
픽셀별 역학: 결정적으로, 이 계층 구조는 픽셀 단위의 속성입니다. 즉, 서로 다른 픽셀들은 서로 다른 타임스텝에서 최적의 시맨틱 추상화 수준에 도달합니다.
시간적 안정성 행렬 (Temporal Stability Matrix, TSM): 이러한 전이를 감지하기 위해, 이 방법은 서로 다른 타임스텝에 걸친 CSM의 유사도를 측정하여 각 픽셀에 대한 TSM을 계산합니다. TSM의 안정적인 블록은 뚜렷한 시맨틱 레벨에 해당하며, 블록 사이의 경계는 시맨틱 변화를 나타냅니다.
경계 탐지: 저자들은 TSM을 가중 인접 행렬(weighted adjacency matrix)로 취급하고 스펙트럼 그래프 이론(spectral graph theory)을 적용합니다. 구체적으로, 그래프 라플라시안(graph Laplacian)의 피들러 벡터(Fiedler vector)를 계산하고, PELT(Pruned Exact Linear Time) 알고리즘을 사용하여 변화 지점(change points)을 감지합니다. 이 변화 지점들은 각 픽셀에 대한 뚜렷한 시맨틱 레벨을 나타내는 후보 타임스텝 역할을 합니다.

3. 세그멘테이션 파이프라인

최종 세그멘테이션은 두 단계의 집계 과정을 통해 생성됩니다:

타겟 선택: 각 픽셀에 대해, 로컬 디테일과 상위 레벨 시맨틱 사이의 균형을 맞추기 위해 두 번째 시맨틱 레벨(두 번째로 감지된 경계에 해당)을 타겟 레벨로 선택합니다.
집계: 타겟 타임스텝까지의 모든 타임스텝에 걸친 픽셀의 CSM을 평균 내어 중간 표현을 생성합니다. 이는 타겟 타임스텝 자체의 정규화된 CSM에 의해 가중치가 부여됩니다.
최종 마스크: 생성된 특징 벡터는 재귀적 Ncut(Normalized Cut) 알고리즘을 통과하여 최종 세그멘테이션 마스크를 생성합니다.

주요 기여

컨텍스트 유사도 맵: 고해상도 어텐션과 컨텍스트가 풍부한 U-Net 특징을 융합하여 CSM을 생성하는 새로운 방법을 제시하여, 해상도-컨텍스트 트레이드오프를 효과적으로 완화합니다.
계층 구조 발견: 확산 모델의 타임스텝 전반에 걸친 시맨틱 정보의 계층적 진행을 밝혀내어, 시맨틱 추상화가 파트 레벨에서 객체 레벨로 진화함을 입증했습니다.
적응형 타임스텝 선택: 기존 연구의 정적 타임스텝 한계를 넘어, 픽셀 단위로 특징 추출을 위한 최적의 타임스텝을 동적으로 선택하는 메커니즘을 제공합니다.
성능: 제안된 방법이 기존의 제로샷 세그멘테이션 베이스라인들을 일관되게 능가함을 광범위한 실험을 통해 입증했습니다.

결과

이 방법은 여섯 가지 표준 시맨틱 세그멘테이션 데이터셋(Pascal VOC, Pascal Context, COCO-Object, COCO-Stuff-27, Cityscapes, ADE20K)에 대해 평가되었습니다.

정량적 성능: 제안된 방법은 COCO-Stuff, Cityscapes, ADE20K, Pascal VOC, Pascal Context에서 가장 높은 평균 IoU(mIoU)를 달 기록했습니다. COCO-Object에서는 DiffCut(31.2%)과 비교하여 경쟁력 있는 결과(30.8% mIoU)를 보였으며, 더 넓은 벤치마크 범위에서 우수한 견고성을 입증했습니다.
절제 연구 (Ablation Studies): 실험을 통해 다음을 확인했습니다:
- CSM을 순수 특징 또는 어텐션 유사도로 대체하면 성능이 크게 떨어집니다.
- 동적 타임스텝 선택을 제거하고(고정 타임스텝 사용) 사용하면 성능이 감소하여, 픽셀 단위 적응의 필요성을 검증했습니다.
- 디코더 또는 혼합 레이어의 특징을 사용하는 것보다 마지막 인코더 레이어의 특징을 사용하는 것이 더 우수합니다.
- 입력 이미지에 노이즈를 추가하는 것(훈련 분포 모사)이 깨끗한 이미지를 사용하는 것보다 성능을 향상시킵니다.
오픈 보캐블러리 확장: 이 방법은 오픈 보캐블러리 설정으로 확장되었으며, VOC, Context, COCO 데이터셋에서 DiffCut을 능가했습니다.

의의 및 주장

본 논문은 주요 의의가 확산 모델 내에 잠재된 계층적 시맨틱 구조를 해제하는 데 있다고 주장합니다. 정적인 단일 타임스텝 특징 추출에서 벗어나 동적인 픽셀 단위 적응형 접근 방식을 채택함으로써, 이 방법은 이미지 시맨틱에 대한 더 정밀하고 포괄적인 이해를 달성합니다.

저자들은 자신들의 연구가 컨텍스트 특징과 동적인 계층적 타임스텝 선택을 결합하는 것의 효용성을 입증한다고 단언합니다. 이들은 이를 제로샷 세그멘테이션의 중추적인 단계로 규정하며, 사전 훈련된 확산 모델이 클래스별 학습이나 조밀한 픽셀 주석 없이도 체계적으로 추출될 수 있는 풍부하고 구조화된 시맨틱 사전 지식을 포함하고 있음을 보여줍니다. 이 연구는 인터랙티브 세그멘테이션 및 계층적 비전 작업으로의 길을 열어주며, 동적 시맨틱 레벨의 원리가 다른 파운데이션 모델로도 확장될 수 있음을 시사합니다.