1. 연구 배경 및 문제 정의 (Problem)

컴포지셔널 제로샷 러닝 (Compositional Zero-Shot Learning, CZSL) 은 학습 데이터에서 본 적 없는 '속성 (Attribute)'과 '객체 (Object)'의 새로운 조합을 인식하는 과제입니다. 예를 들어, '빨간 사과'와 '초록 바나나'를 학습했다면, 학습 데이터에 없는 '초록 사과'를 인식해야 합니다.

최근 CZSL 연구는 CLIP 과 같은 시각 - 언어 모델 (VLM) 을 기반으로 하며, 파라미터 효율적 파인튜닝 (PEFT) 기법을 주로 사용합니다. 그러나 기존 PEFT 기반 방법론들은 두 가지 근본적인 한계를 가지고 있습니다.

1. 암시적 조합 구성 (Implicit Composition Construction):
   • 기존 방법들은 토큰 수준 (Token-level) 에서 속성과 객체 토큰을 단순히 연결 (Concatenation) 하거나 프롬프트를 조정하는 방식으로 조합을 구현합니다.
   • 이는 임베딩 공간 (Embedding Space) 에서 명시적인 연산이 아니기 때문에, 학습되지 않은 새로운 조합의 경우 생성된 임베딩이 실제 이미지 임베딩과 멀리 떨어져 있을 수 있어 일반화 성능이 떨어집니다.
2. 잔류 특징 얽힘 (Remained Feature Entanglement):
   • 속성과 객체를 분리하기 위한 '시각 분해기 (Visual Disentangler)'가 완벽하게 작동하지 않습니다.
   • 이로 인해 속성 스트림에 객체 정보가, 객체 스트림에 속성 정보가 섞여 남아있게 되어 (Leakage), 재조합된 임베딩의 신뢰도가 낮아지고 과적합 (Overfitting) 을 유발합니다.

2. 제안 방법: FlowComposer

저자들은 Flow Matching (FM) 의 원리를 CZSL 에 적용하여, 임베딩 공간에서 속성과 객체의 흐름 (Flow) 을 명시적으로 학습하고 조합하는 FlowComposer 프레임워크를 제안합니다. 이는 모델에 구애받지 않는 (Model-agnostic) 플러그 앤 플레이 방식입니다.

핵심 구성 요소

1. 원시 흐름 모델 (Primitive Flow Models):

   • 속성 (Attribute) 과 객체 (Object) 에 대해 각각 별도의 Rectified Flow 모델을 학습합니다.
   • 시각 특징 (Visual Features) 을 해당 텍스트 임베딩 (Text Embeddings) 으로 운반하는 속도장 (Velocity Field) 을 학습합니다.
   • 이는 토큰 수준의 연결이 아닌, 임베딩 공간에서의 명시적인 이동 경로를 정의합니다.

2. 학습 가능한 컴포저 (Learnable Composer):

   • 속성 흐름과 객체 흐름의 속도 벡터를 명시적으로 결합하여 '조합 흐름 (Composition Flow)'을 생성합니다.
   • 각 샘플마다 속성과 객체 중 어떤 정보가 더 중요한지 (시각적 뚜렷성) 에 따라 가중치 (Combination Coefficients) 를 동적으로 학습합니다.
   • 이를 통해 토큰 수준의 단순 연결을 넘어, 임베딩 공간에서 유연한 조합 규칙을 학습합니다.

3. 누출 유도 증강 (Leakage-Guided Augmentation):

   • 기존 방법론에서는 특징의 분리 실패 (Leakage) 를 단점으로 보았으나, FlowComposer 는 이를 보조 신호로 재해석합니다.
   • 한 가지 분기 (예: 속성) 에서 다른 분기 (예: 객체) 로 누출된 특징을 활용하여, 해당 분기의 텍스트 타겟으로 운반하는 추가적인 감독 신호로 사용합니다.
   • 이는 불완전한 분리를 보완하고 흐름 학습의 강건성을 높입니다.

3. 주요 기여 (Key Contributions)

1. Flow Matching 의 CZSL 적용: CZSL 과 Flow Matching 의 자연스러운 결합 (속도와 분해의 개념 일치) 을 최초로 체계적으로 연구하고, 이를 위한 범용 프레임워크인 FlowComposer 를 제안했습니다.
2. 명시적 조합 규칙: 토큰 수준의 암시적 연결을 대체하여, 임베딩 공간에서 속성과 객체 흐름을 명시적으로 결합하는 학습 가능한 메커니즘을 도입했습니다.
3. 누출 유도 증강 전략: 특징 분리 과정에서 발생하는 불가피한 잔류 얽힘 (Residual Entanglement) 을 제거하려는 시도를 포기하고, 이를 오히려 교차 분기 감독 신호로 활용하여 조합 인식 성능을 향상시켰습니다.
4. 강력한 실험 결과: 다양한 베이스라인 (CSP, Troika 등) 에 플러그인 형태로 적용하여 일관된 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

저자들은 MIT-States, UT-Zappos, C-GQA 라는 세 가지 주요 CZSL 벤치마크에서 실험을 수행했습니다.

• 성능 향상: FlowComposer 를 적용한 결과, 기존 최첨단 방법론 (SOTA) 대비 Harmonic Mean (HM) 과 AUC (Area Under Curve) 지표에서 일관된 개선을 보였습니다.
  • 특히 Troika 베이스라인에 적용 시, MIT-States 에서 AUC +1.4%, UT-Zappos 에서 +5.0%, C-GQA 에서 +3.4% 의 향상을 기록했습니다.
  • LLM 의 추가 지식을 활용한 방법론 (PLID, LOGICZSL 등) 보다도 높은 성능을 기록한 경우가 많았습니다.
• 균형 잡힌 일반화: 학습된 모델이 '본 것 (Seen)'과 '보지 못한 것 (Unseen)'에 대한 성능 편향을 줄이고, 두 영역 간의 균형을 더 잘 유지하도록 만들었습니다.
• 효율성: 추가적인 계산 비용은 미미하며 (이미지당 약 1~2ms 증가), 한 단계 (One-step) 운반 방식을 사용하여 추론 속도를 유지했습니다.
• 분석 (Ablation Study):
  • 원시 흐름 (Primitive Flows) 만으로도 성능이 향상됨을 확인했습니다.
  • Composer 와 Leakage-Guided Augmentation 을 모두 적용했을 때 최적의 성능을 달성했습니다.
  • 단순 회귀 (Regressor) 나 단일 흐름 모델보다 Flow Matching 기반의 조합 방식이 더 효과적임을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 CZSL 분야에서 Flow Matching이 단순한 생성 모델 기술을 넘어, 속성과 객체의 조합을 모델링하는 자연스러운 계산 메커니즘임을 증명했습니다.

• 개념적 전환: 기존에 '불완전한 특징 분리'로 간주되던 문제를 '유용한 신호'로 재해석하여 활용하는 새로운 관점을 제시했습니다.
• 실용성: 복잡한 구조 변경 없이 기존 VLM 기반 파이프라인에 쉽게 통합 가능하여, 실제 응용 분야에서 CZSL 모델의 일반화 능력을 크게 향상시킬 수 있는 실용적인 솔루션을 제공합니다.
• 미래 지향성: 임베딩 공간에서의 명시적인 흐름 조작을 통해, 더 복잡한 개념 조합 및 제로샷 학습 과제를 해결하는 새로운 방향성을 제시합니다.

요약하자면, FlowComposer 는 명시적인 흐름 조합 (Explicit Flow Composition) 과 잔류 정보의 적극적 활용 (Leakage-Guided Augmentation) 을 통해 기존 CZSL 모델의 일반화 한계를 극복한 획기적인 접근법입니다.