Improved Object-Centric Diffusion Learning with Registers and Contrastive Alignment

이 논문은 레지스터 슬롯과 대비 정렬 손실을 도입하여 슬롯 간 간섭을 줄이고 이미지 콘텐츠와의 정렬을 강화함으로써 복잡한 실제 장면에서도 견고한 객체 중심 학습을 가능하게 하는 CODA(Contrastive Object-centric Diffusion Alignment) 프레임워크를 제안합니다.

핵심

CODA: 그림 속 사물들을 '분리된 레고 블록'처럼 깔끔하게 정리하는 새로운 기술

이 논문은 **"객체 중심 학습 (Object-Centric Learning)"**이라는 복잡한 인공지능 기술을 다루고 있습니다. 쉽게 말해, AI 가 복잡한 장면을 볼 때 "사람, 차, 신호등"처럼 개별적인 사물들을 알아보고, 그 사물들을 분리해서 이해하는 능력을 키우는 방법입니다.

기존 기술들은 이 작업을 하다가 종종 "사물들이 뒤섞이는 (Slot Entanglement)" 문제를 겪었습니다. 예를 들어, '사람'과 '차'를 구분해야 하는데 AI 가 "사람의 손이 차에 붙어 있는 것"처럼 하나로 뭉개버리거나, 하나의 사물을 여러 조각으로 나누어 인식하는 오류를 범했습니다.

이 논문은 CODA라는 새로운 방법을 제안하며, 이 문제를 해결했습니다. CODA 를 이해하기 위해 세 가지 핵심 비유를 들어보겠습니다.

---

1. 문제: "혼란스러운 회의실" (기존 기술의 한계)

기존의 AI 모델은 그림을 볼 때 마치 혼란스러운 회의실과 같았습니다.

• 회의실에는 여러 명의 참석자 (사물) 가 있는데, 서로의 말을 잘 못 듣고 섞여 버립니다.
• '사람'이라는 참석자가 '차'라는 참석자의 이야기를 대신해서 말하기도 하고, 반대로 '차'가 '사람'의 역할을 하기도 합니다.
• 결과적으로 AI 는 "사람이 차를 타고 있다"는 사실을 제대로 분리해서 이해하지 못해, 그림을 그릴 때 엉뚱한 결과 (예: 차가 사람 얼굴을 하고 있다) 를 만들어냅니다.

2. 해결책 1: "침묵하는 보조석" (Register Slots)

CODA 는 이 혼란을 해결하기 위해 **Register Slots(등록 슬롯)**라는 새로운 개념을 도입했습니다.

• 비유: 회의실에 **보조석 (Register)**을 몇 개 더 배치한 것입니다. 이 보조석에는 아무도 앉지 않지만, 회의가 너무 복잡해지거나 사람들이 서로 말을 섞을 때, 불필요한 잡음이나 배경 소음을 이 보조석들이 흡수해버립니다.
• 효과: 진짜 중요한 참석자들 (사물들) 은 잡음에 방해받지 않고 서로 명확하게 구분됩니다. "사람"은 사람 역할만, "차"는 차 역할만 하게 되어, 각자가 독립적으로 생각할 수 있게 됩니다.

3. 해결책 2: "맞춤형 지도" (Contrastive Alignment)

기존 모델은 그림을 그릴 때 텍스트 (설명) 에 너무 의존하는 경향이 있었습니다. "개"라고 입력하면 개를 그리지만, 그림 속의 구체적인 '개'의 모양과 잘 맞지 않을 때가 많았습니다.

• 비유: CODA 는 AI 에게 **"이 그림의 '개'는 정확히 이 모양이야!"**라고 가르치는 **맞춤형 지도 (Contrastive Loss)**를 줍니다.
• 효과: AI 는 단순히 텍스트 설명만 보고 그리는 게 아니라, 그림 속 실제 사물과 AI 가 인식한 '개'의 개념을 정확히 일치시키도록 훈련됩니다. 마치 "이건 개가 아니야, 이건 고양이야"라고 틀린 것을 지적해주며 학습시키는 것과 같습니다.

---

CODA 가 가져온 놀라운 변화

이 두 가지 기술 (보조석 + 맞춤형 지도) 을 합치니 어떤 일이 일어났을까요?

1. 완벽한 분리 (Disentanglement):
   • AI 가 그림 속 '사람' 부분만 골라내서, 사람만 있는 새로운 그림을 그릴 수 있게 되었습니다. 기존에는 사람만 뽑아내면 얼굴이 뭉개지거나 차의 일부가 섞여 나왔지만, CODA 는 사람만 깔끔하게 뽑아냅니다.
2. 창의적인 조합 (Compositional Generation):
   • 마치 레고 블록처럼 사물들을 자유롭게 조합할 수 있게 되었습니다.
   • 예: "A 그림의 사람" + "B 그림의 배경" + "C 그림의 차"를 섞어서 완전히 새로운 장면을 만들 수 있습니다. 기존 기술들은 이렇게 섞으면 엉망이 되었지만, CODA 는 자연스럽게 합쳐줍니다.
3. 실제 세상에서도 잘 작동:
   • 단순한 컴퓨터 그림뿐만 아니라, 복잡한 실제 사진 (COCO, VOC 데이터셋) 에서도 사물을 찾아내고 구분하는 능력이 크게 향상되었습니다.

요약

CODA는 AI 가 복잡한 세상을 볼 때, 사물들이 서로 뒤엉키는 것을 막아주는 **'침묵하는 보조석'**을 주고, 사물과 그림을 정확히 매칭시키는 **'맞춤형 지도'**를 제공하여, AI 가 사물을 독립적이고 명확한 레고 블록처럼 인식하게 만든 획기적인 기술입니다.

이 기술은 향후 AI 가 그림을 편집하거나, 새로운 장면을 창의적으로 만들어내는 데 큰 역할을 할 것으로 기대됩니다. 마치 AI 가 그림 속 사물들을 손으로 하나씩 집어 들어 옮겨놓을 수 있는 마법 같은 능력을 얻은 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

객체 중심 학습 (Object-Centric Learning, OCL) 은 복잡한 장면을 구조화되고 해석 가능한 객체 표현 (Slot) 으로 분해하여 시각적 추론, 인과 추론, 구성적 생성 (Compositional Generation) 등을 가능하게 하는 것을 목표로 합니다. 최근 사전 훈련된 확산 모델 (Diffusion Models) 을 Slot Attention(SA) 과 결합하여 OCL 을 수행하는 연구들이 진행되었으나, 다음과 같은 두 가지 주요 한계가 존재했습니다.

• Slot Entanglement (슬롯 얽힘): 하나의 슬롯이 여러 객체나 객체의 일부 특징을 혼재하여 인코딩하는 현상입니다. 이로 인해 개별 슬롯을 조건으로 한 생성 (Single-slot generation) 이 왜곡되거나 의미 없는 결과가 나오며, 새로운 장면 구성이 어렵습니다.
• Weak Alignment (약한 정렬): 학습된 슬롯이 이미지 내의 실제 객체 영역과 일관되게 대응하지 못합니다. 특히 실세계 이미지에서는 하나의 객체가 여러 슬롯으로 나뉘거나 (Over-segmentation), 여러 객체가 하나의 슬롯으로 합쳐지는 (Under-segmentation) 문제가 발생하여 분할 정확도가 떨어집니다.

기존 방법들은 이러한 문제를 해결하기 위해 추가적인 지도 신호 (텍스트 캡션 등) 에 의존하거나, 복잡한 아키텍처 변경을 요구하여 효율성과 확장성이 떨어졌습니다.

2. 제안 방법: CODA (Contrastive Object-centric Diffusion Alignment)

저자들은 CODA라는 새로운 프레임워크를 제안합니다. 이는 사전 훈련된 확산 모델 (Stable Diffusion) 을 디코더로 사용하면서, 슬롯 얽힘과 정렬 문제를 해결하기 위해 세 가지 핵심 기법을 도입합니다.

2.1 레지스터 슬롯 (Register Slots)

• 개념: 입력 이미지와 무관한 (Input-independent) 고정된 '레지스터 슬롯'을 슬롯 시퀀스에 추가합니다.
• 역할: 이러한 슬롯은 의미론적 정보를 담지 않지만, 주의 집중의 잔여분 (Residual Attention) 을 흡수하는 '싱크 (Sink)' 역할을 합니다.
• 효과: 소프트맥스 (Softmax) 주의 메커니즘에서 모든 슬롯의 가중치 합이 1 이 되어야 한다는 제약으로 인해, 의미 있는 객체 슬롯이 배경이나 불필요한 정보에 할당되는 것을 방지합니다. 레지스터 슬롯이 이 잔여 주의를 흡수함으로써 의미 슬롯들이 명확한 객체 개념에 집중하게 되어 얽힘이 감소합니다.

2.2 크로스 어텐션 파인튜닝 (Finetuning Cross-Attention)

• 문제: 사전 훈련된 확산 모델은 텍스트 - 이미지 쌍으로 훈련되어 있어, 텍스트 임베딩에 편향 (Bias) 되어 있습니다. 이를 슬롯 디코더로 직접 사용할 경우, 시각적 콘텐츠보다 텍스트 기반 의미에 더 민감하게 반응합니다.
• 해결: 아키텍처를 변경하거나 어댑터 레이어를 추가하는 대신, 크로스 어텐션 레이어의 Key, Value, Output 프로젝션만 경량화하여 파인튜닝합니다.
• 효과: 텍스트 편향을 완화하고 슬롯 표현과 시각적 콘텐츠 간의 정렬을 강화하면서도, 사전 훈련된 모델의 생성 능력을 유지하고 계산 효율성을 높입니다.

2.3 대비 정렬 목적 함수 (Contrastive Alignment Objective)

• 목표: 슬롯이 이미지에 존재하는 개념을 명확히 포착하도록 유도합니다.
• 방법: 표준 탈노이즈 (Denoising) 손실 함수 외에 **대비 손실 (Contrastive Loss)**을 도입합니다.
  • 양 (Positive) 샘플: 원래 이미지와 대응하는 올바른 슬롯 집합.
  • 음 (Negative) 샘플: 다른 이미지의 슬롯을 일부 섞어 만든 '하드 네거티브 (Hard Negative)' 슬롯.
• 작동 원리: 올바른 슬롯에 대한 탈노이즈 오차를 최소화하고, 잘못된 슬롯에 대한 오차를 최대화 (음의 손실 최소화) 하는 방식으로 학습합니다. 이는 슬롯과 입력 이미지 간의 상호 정보 (Mutual Information, MI) 를 최대화하는 실용적인 대리 목적 함수 (Surrogate) 로 작용하여 슬롯 표현의 질을 높입니다.

3. 주요 기여 (Key Contributions)

1. 레지스터 슬롯 도입: 객체 슬롯 간의 간섭을 줄이고 얽힘을 완화하여 개별 슬롯 기반의 충실한 생성을 가능하게 함.
2. 텍스트 편향 완화 전략: 복잡한 어댑터 레이어 없이 크로스 어텐션의 일부 파라미터만 파인튜닝하여 효율적으로 텍스트 편향을 제거함.
3. 대비 학습 프레임워크: 슬롯 - 이미지 정렬을 명시적으로 강제하는 대비 손실을 도입하여, 슬롯 표현의 품질과 분해능을 향상시킴.
4. 광범위한 평가: 합성 데이터 (MOVi-C/E) 와 실세계 데이터 (VOC, COCO) 에서 기존 최첨단 (SOTA) 방법들보다 우수한 성능을 입증함.

4. 실험 결과 (Results)

CODA 는 다양한 벤치마크에서 기존 방법 (SlotAdapt, Stable-LSD, SlotDiffusion 등) 을 크게 앞섰습니다.

• 객체 발견 (Object Discovery):
  • COCO: FG-ARI (Foreground Adjusted Rand Index) 가 +6.14% 향상됨.
  • VOC: 인스턴스 수준 (mBOi, mIoUi) 과 의미 수준 (mBOc, mIoUc) 모두에서 상당한 개선 (예: mIoUc +7.00% 향상) 을 보임.
• 속성 예측 (Property Prediction):
  • MOVi 데이터셋에서 객체의 위치, 카테고리 등을 예측하는 하류 작업에서 기존 방법 대비 압도적인 정확도 향상 (예: MOVi-C 카테고리 정확도 74.12% vs 기존 46% 대).
• 구성적 이미지 생성 (Compositional Generation):
  • 개별 슬롯을 조건으로 한 생성 (Single-slot generation) 에서 왜곡 없이 의미 있는 객체를 생성함.
  • 여러 슬롯을 조합하거나 교체하여 새로운 장면을 생성할 때, FID 와 KID 점수가 기존 방법보다 우수하여 높은 이미지 충실도 (Fidelity) 를 보임.
• 효율성: 레지스터 슬롯은 고정된 임베딩을 사용하므로 계산 오버헤드가 거의 없으며, 추가 레이어 없이 경량 파인튜닝만 수행하여 확장성이 뛰어남.

5. 의의 및 결론 (Significance)

이 논문은 CODA를 통해 사전 훈련된 확산 모델을 활용한 객체 중심 학습의 새로운 표준을 제시합니다.

• 지도 신호 불필요: 외부의 객체 마스크나 텍스트 캡션과 같은 추가 지도 신호 없이도, 완전히 비지도 (Unsupervised) 방식으로 복잡한 실세계 장면에서 정교한 객체 분해와 재구성을 가능하게 합니다.
• 구성적 제어력 강화: 개별 슬롯을 독립적으로 조작하여 객체를 제거, 교체, 추가하는 등 정밀한 이미지 편집이 가능해져, 로봇 제어, 세계 모델링, 콘텐츠 생성 등 다양한 응용 분야에 기여할 수 있습니다.
• 간단하고 강력한 아키텍처: 복잡한 구조 변경 없이 '레지스터 슬롯'과 '대비 학습'이라는 두 가지 간단한 아이디어로 기존 모델의 근본적인 한계 (얽힘, 정렬 부족) 를 해결했다는 점에서 이론적, 실용적 가치가 큽니다.

결론적으로, CODA 는 복잡한 실세계 장면에서 견고한 객체 중심 표현을 학습하고 이를 활용하여 신뢰할 수 있는 생성 및 편집을 수행할 수 있는 효과적인 프레임워크로 평가됩니다.