ISAC: Training-Free Instance-to-Semantic Attention Control for Multi-Instance Generation

기술 요약: ISAC (Instance-to-Semantic Attention Control)

문제 정의
최근의 오픈 웨이트(open-weight) 텍нали text-to-image (T2I) 확산 모델들은 다중 인스턴스 프롬프트 처리에 어려움을 겪으며, 주로 두 가지 주요 실패 모드를 보입니다: 개수 실패(요청된 객체를 누락하거나 병합함)와 의미론적 혼합(유사한 객체 간에 속성이 누출됨). 저자들은 이러한 실패가 확산 과정의 초기 디노이징 단계에서 비롯된다고 분석합니다. 기존의 훈련 불필요 가이던스 방법들(예: Attend-and-Excite, Self-Cross)은 토큰 수준에서 개념을 분리하기 위해 크로스 어텐션(CA)에 의존하지만, 이는 서로 다른 인스턴스 영역이 이미 형성되어 있다는 것을 전제로 합니다. 초기 디노이징 단계에서는 토큰 기반의 의미론적 정보가 대개 거칠고 얽혀 있기 때문에, CA 기반 가이던스는 특히 의미론적으로 유사한 객체들(예: "개 한 마리와 양 한 마리" 또는 "두 마리의 말")에 대해 신뢰할 수 있는 인스턴스 경계를 구축하는 데 실패합니다.

방법론
본 논문은 계층적인 "인스턴스 우선(instance-first)" 생성 전략을 강제하는 훈련 불필요, 모델 불가지론적(model-agnostic) 목적 함수인 **ISAC (Instance-to-Semantic Attention Control)**를 제안합니다. ISAC은 디노이징 궤적을 따라 구조적 형성과 의미론적 결합을 분리함으로써 작동하며, 두 단계의 접근 방식을 사용합니다:

1. 1단계: 인스턴스 형성 ($L_{ins}$)

   • 관찰: 셀프 어텐션(SA) 맵은 토큰의 의미론적 정보가 아직 충분히 발달하지 않은 초기 디노이징 단계에서도 클래스 불가지론적인 인스턴스 레이아웃을 드러냅니다.
   • 메커니즘: 이 방법은 SA 맵을 $N$개의 그룹(여기서 $N$은 요청된 총 인스턴스 수)으로 클러스터링하여 클래스 불가지론적인 인스턴스 레이아웃을 도출합니다. 분리를 보장하기 위해, 결과물인 인스턴스 마스크 사이에 최대 픽셀 단위 중첩(Maximum Pixel-wise Overlap, MPO) 페널티를 적용하여 겹치는 영역을 밀어냅니다.
   • 정교화: CA 맵으로부터 포그라운드 게이트(foreground gate)를 구축하여 클러스터링이 관련 영역 내에서만 이루어지도록 제한하며, 공간적 일관성을 높이기 위해 정규화된 공간 좌표를 SA 특징량과 결те(예: K-means 사용)합니다.

2. 2단계: 인스턴스 인지적 의미론적 분리 ($L_{sem}$)

   • 메커니즘: 1단계에서 안정적인 인스턴스 경계가 확립되면, ISAC은 이러한 구조적 신호를 크로스 어텐션 맵에 주입합니다.
   • 목적: "밀어내고 결합하는(repel-and-bind)" 손실 함수가 적용됩니다. 서로 다른 인스턴스를 참조하는 토큰들은 서로 밀어내고(repel), 동일한 인스턴스를 설명하는 토큰들(예: 객체와 그 속성)은 서로 끌어당깁니다(bind). 이를 통해 특정 인스턴스 영역 내에 속성이 결합되도록 하며, 다른 곳으로 속성이 누출되지 않도록 합니다.

3. 손실 스케줄 (Loss Schedule)

   • ISAC은 $\lambda_{ins}(t) = t/T$ 및 $\lambda_{sem}(t) = 1 - t/T$인 시간 의존적 스케줄을 사용하여 이 단계들을 결합합니다. 이는 초기 단계에서는 인스턴스 구조를 구축하는 데 집중하고, 후기 단계에서는 의미론적 할당을 정교화하도록 보장합니다.

주요 기여

• 정량적 진단: 저자들은 의미론적 혼합이 서로 다른 카테고리 간의 경우보다 동일 상위 카테고리(예: 동물, 차량) 내의 객체 쌍에서 현저히 높다는 것을 보여주는 정량적 분석을 제공하여, 인스턴스 우선 분리의 필요성을 입증했습니다.
• ISAC 프레임워크: 추가적인 미세 조정(fine-tuning), 외부 비전 모델, 또는 추가 훈련 데이터 없이도 작동하는 새로운 훈련 불필요 목적 함수를 제안합니다.
• IntraCompBench: 2~5개의 인스턴스가 포함된 상위 카테고리 내 구성을 스트레스 테스트하기 위해 설계된 새로운 벤치마크로, 개수 실패와 의미론적 혼합이 가장 빈번하게 발생하는 영역을 타겟팅합니다.
• 광범위한 적용성: 이 방법은 다양한 확산 백본(SD1.5, SD3.5-M, Flux, Qwen-Image)과 텍스트-투-이미지 및 레이아웃-투-이미지 생성 작업 모두에서 효과적임을 입증했습니다.

결과

• 성능: IntraCompBench에서 ISAC(특히 잠재 최적화 변형인 ISACLO)은 기존의 훈련 불필요 방법들을 크게 앞섭러섭니다. 예를 들어, SD1.5에서 인트라 카테고리 프롬프트에 대한 다중 클래스 정확도는 가장 강력한 베이스라인인 약 20%에서 **36%**로 향상되었으며, HRS-Bench의 공간 점수는 거의 두 배 가까이 증가했습니다(0.135에서 0.263).
• 개수 정확도: ISACLO는 별도의 보조 모델이나 미세 조정 없이도 개수 감독 방법(예: CountGen, Counting Guidance)보다 높은 인스턴스 개수 정확도를 달えます. SD1.4에서 ISACLO는 49%의 Counting Guidance에 비해 **70%**의 인스턴스 개수 정확도를 기록했습니다.
• 레이아웃-투-이미지: 레이아웃 컨트롤러(예: GLIGEN)에 적용될 때, ISAC은 거칠고 겹쳐진 바운딩 박스를 조밀한 인스턴스 마스크로 정교화하여 인접한 객체들이 병합되는 것을 방지합니다.
• 효율성: ISACLO는 역전파로 인한 지연 시간을 발생시키지만, 잠재 선택 변형인 ISACLS는 배치 내에서 ISAC 점수를 기반으로 최적의 샘플을 선택함으로써 더 큰 모델(예: Flux.2, Qwen-Image)에 적합한 그래디언트 프리(gradient-free) 대안을 제공합니다.

의의 및 주장
본 논문은 ISAC이 오픈 웨이트 확산 모델과 상용 시스템(종종 독점 데이터와 추론 루프를 사용하는) 사이의 신뢰성 격차를 좁히기 위한 실용적이고 재현 가능한 경로를 제공한다고 주장합니다. 의미론적 할당 전에 인스턴스 경계를 명시적으로 안정화함으로써, ISAC은 초기 확산 단계에서의 다중 인스턴스 실패의 근본 원인을 해결합니다. 저자들은 이 "인스턴스 우선" 계층 구조가 T2I뿐만 아니라 비디오 및 기타 구조화된 생성 환경에서도 디커플링된 구조-의미론 제어를 위한 유망한 방향임을 강조합니다. 이 연구는 고해 fidelity의 다중 인스턴스 생성이 재학습이나 외부 지각 모델의 계산 비용 없이도 추론 시점의 어텐션 조작을 통해 달성될 수 있음을 보여줍니다.