기술 요약: 문맥 편향 제거를 위한 개인화 생성 모델

문제 제기

컴퓨터 비전 모델은 훈련 데이터셋에 존재하는 문맥 편향으로 인해 흔하지 않은 시나리오에 대해 일반화하는 데 종종 실패합니다. 실제 세계 데이터에서는 객체들이 특정 문맥과 빈번하게 공존합니다 (예: 스키는 사람과 함께, 와인잔은 식탁 위에 나타남). 결과적으로 모델은 객체 자체의 특징보다는 이러한 문맥적 단서에 의존하도록 학습됩니다. 이는 객체가 희귀하거나 "문맥에 맞지 않는" 시나리오 (예: 사람 없이 있는 스키) 에 나타날 때 성능 저하를 초래합니다.

최근 범용 비전 - 언어 모델은 어느 정도의 견고성을 보여주지만, 많은 산업 응용 분야는 이러한 편향에 취약한 소형 전문 분류기에 의존합니다. 기존 솔루션은 다음과 같은 중대한 한계에 직면해 있습니다:

• 훈련 목적 함수 수정: 재가중치 (reweighting) 나 과표집 (over-sampling) 과 같은 방법은 원래 데이터셋 분포에 국한되며, 종종 일반적인 (문맥 내) 샘플의 성능을 저하시킵니다.
• 생성적 데이터 증강: 표준 텍스트 - 이미지 (Txt2Img) 모델은 종종 목표 데이터셋과 크게 다른 시점과 배경을 가진 이미지를 생성하여 하위 작업에 관련성이 없게 만듭니다.
• 로컬 이미지 편집: 인페인팅 (inpainting) 이나 로컬 편집 방법은 복잡한 객체 - 장면 상호작용을 처리하지 못합니다. 예를 들어, 인페인팅을 통해 이미지에서 사람을 제거하면 스케이트보드와 같은 객체가 비현실적으로 공중에 떠 있게 되는 경우가 많습니다. 이러한 방법들은 물리적 타당성을 유지하기 위해 관련 요소를 조정하지 않기 때문입니다.

방법론: DecoupleGen

저자들은 **Decoupling Contextual Patterns with Generations (DecoupleGen)**을 제안합니다. 이는 개인화된 텍스트 - 이미지 확산 모델을 활용하여 희귀한 문맥을 가진 훈련 데이터를 합성하면서도 원본 데이터셋의 시각적 충실도를 유지하는 파이프라인입니다.

이 접근법은 세 가지 주요 단계로 구성됩니다:

1. 개인화 미세 조정:

   • 주제 기반 생성 방법 (예: Textual Inversion, DreamBooth) 에서 영감을 받아, 이 방법은 원본 데이터셋의 개별 이미지들로 사전 훈련된 확산 모델을 미세 조정합니다.
   • 특정 주제를 위한 토큰을 학습하는 대신, 모델은 특정 이미지 영역 (배경, 편향된 객체, 문맥적 객체) 의 시각적 세부 사항을 포착하는 새로운 단어 토큰 (예: [Vbackground], [Vhandbag]) 을 학습합니다.
   • 훈련 목적 함수는 각 토큰이 해당 영역에만 주의를 기울이도록 보장하고 원본 이미지 구성 요소의 시각적 세부 사항을 충실히 재구성하기 위해 마스크된 재구성 손실과 크로스 어텐션 손실을 결합합니다.

2. 토큰 구성을 통한 문맥 조작:

   • 추론 과정에서 모델은 학습된 토큰을 표준 텍스트 프롬프트와 결합하여 새로운 이미지를 생성합니다.
   • "편향 제거"된 샘플을 생성하기 위해 파이프라인은 프롬프트에서 일반적인 문맥 토큰을 제거합니다. 예를 들어, 사람 없이 핸드백을 생성하려면 프롬프트를 "a photo of [Vhandbag] and [Vperson] and [Vbackground]"에서 "a photo of handbag at [Vbackground]"로 변경합니다.
   • 이를 통해 모델은 객체를 재배치하고 장면을 조정하여 물리적 타당성을 유지하면서도 (예: 와인잔이 공중에 떠 있는 대신 식탁 위에 놓임) 원본 이미지의 스타일과 시점을 유지할 수 있습니다.

3. 검증 및 선택:

   • 모든 생성물이 성공적인 것은 아닙니다. 검증 단계는 사전 훈련된 시맨틱 세그멘테이션 모델을 사용하여 생성된 이미지에 주석을 다는 데 사용됩니다.
   • 샘플은 목표 객체를 포함하지만 일반적인 문맥 클래스를 제외하도록 필터링됩니다 (예: 핸드백은 유지하되 사람이 없는지 확인). 오직 이러한 성공적이고 시맨틱적으로 의미 있는 샘플만이 훈련 데이터셋에 추가됩니다.

주요 기여

• 새로운 프레임워크: 로컬 편집과 표준 Txt2Img 생성의 한계를 해결하기 위해 확산 모델 개인화를 적용하여 객체를 일반적인 문맥에서 분리하는 DecoupleGen 도입.
• 시각적 일관성: 이 방법은 분포 외 (out-of-distribution) 샘플을 자주 생성하는 표준 생성 모델과 달리 원본 데이터셋 분포와 시각적으로 정렬된 이미지를 생성합니다.
• 물리적 타당성: 영역별 토큰을 학습함으로써, 이 방법은 문맥이 제거될 때 객체를 재배치하는 등 복잡한 객체 - 장면 상호작용을 로컬 편집 기술보다 잘 처리합니다.
• 검증 메커니즘: 필터링 파이프라인은 합성 데이터가 하위 작업 인식에 관련되고 유용하도록 보장합니다.

실험 결과

저자들은 객체 분류 (NICO 데이터셋) 및 다중 객체 인식 (COCO-Stuff 데이터셋) 에서 DecoupleGen 을 평가했습니다.

• NICO 데이터셋 (단일 객체 분류):

  • DecoupleGen 은 전체 정확도 85.8% 및 최악의 그룹 정확도 (WGA) **49.2%**를 달성했습니다.
  • 이는 표준 분류기 (정확도 85.3%, WGA 35.0%) 보다 우수했으며, Feedback Guidance 의 최첨단 최악의 그룹 정확도와 일치하면서도 전체 정확도를 개선했습니다. 이는 이전 방법들이 동시에 달성하지 못했던 성과입니다.

• COCO 데이터셋 (다중 객체 인식):

  • 18k 개의 생성된 샘플을 사용하여 DecoupleGen 은 Feedback Guidance 대비 Exclusive mAP(일반적인 문맥 없이 객체가 나타나는 이미지에서의 성능) 를 1.6% 개선했습니다 (27.20% 대 25.55%).
  • 또한 Cooccur mAP(일반적인 문맥에서의 성능) 와 All mAP도 개선하여 모든 지표에서 일관된 향상을 보여주었습니다.
  • 손실 함수 기반 방법 (예: 재가중치) 과 비교하여 DecoupleGen 은 잘 표현된 그룹의 정확도를 희생하지 않고 우수한 성능을 제공했습니다.

• 정성적 분석:

  • UMAP 시각화는 DecoupleGen 생성물이 사전 훈련된 Txt2Img 모델의 생성물보다 실제 데이터 분포에 더 가깝다는 것을 확인시켜 주었습니다.
  • 시각적 비교는 인페인팅과 Feedback Guidance 가 실패했던 복잡한 상호작용 (예: 와인잔의 위치를 조정하면서 사람 제거) 을 DecoupleGen 이 성공적으로 처리했음을 보여주었습니다.

중요성 및 주장

이 논문은 DecoupleGen 이 생성 능력과 데이터셋 분포 정렬 사이의 간극을 메움으로써 문맥 편향 제거 분야에서 중요한 진전을 이루었다고 주장합니다.

• 우수한 일반화: 이 방법은 편향 제거에서 흔히 발생하는 상충 관계 (trade-off) 인 일반적인 그룹의 성능 저하 없이 소수 그룹 (희귀한 문맥) 에 대한 모델 성능을 효과적으로 개선합니다.
• 분포 정렬: 저자들은 하위 작업과 관련된 생성 샘플을 보장하는 데 개인화된 미세 조정 과정이 중요하다고 강조하며, 이는 기성 생성 모델과의 주요 차별점입니다.
• 확장성 및 한계: 저자들은 모든 이미지에 대한 미세 조정은 계산 비용이 많이 들고 시각적 세부 사항을 포착하기 어려운 매우 작은 객체나 매우 복잡한 장면에서는 어려움을 겪을 수 있음을 인정합니다. 향후 연구는 확장성 개선과 생성 과정에서 실수로 도입될 수 있는 2 차 편향 해결에 초점을 맞춰야 한다고 제안합니다.

궁극적으로 이 논문은 개인화된 생성 모델이 시맨틱적으로 의미 있고, 물리적으로 타당하며, 분포가 정렬된 샘플로 훈련 데이터를 증강하는 강력한 메커니즘을 제공함으로써 소형 비전 모델의 문맥 편향을 완화한다고 주장합니다.