FBCIR: Balancing Cross-Modal Focuses in Composed Image Retrieval

이 논문은 기존 조합 이미지 검색 (CIR) 모델이 어려운 부정적 샘플에서 한 모달리티에 치우쳐 성능이 저하되는 문제를 해결하기 위해, 모델의 주의 집중 불균형을 진단하는 'FBCIR' 방법과 이를 보완하는 데이터 증강 워크플로우를 제안합니다.

핵심

🕵️‍♂️ 핵심 문제: "눈만 뜨거나 귀만 뜨는 검색 로봇"

상상해 보세요. 친구가 당신에게 **"겨울에 찍은 성 (Castle) 사진"**을 찾아달라고 합니다.

• 이미지: 성이 찍힌 사진
• 텍스트: "겨울에 찍은"

지금까지의 인공지능 (AI) 모델들은 이 두 가지 정보를 균형 있게 섞어서 검색하는 게 아니라, 한쪽 정보만 믿고 답을 내놓는 경향이 있었습니다. 이를 논문에서는 **'초점 불균형 (Focus Imbalance)'**이라고 부릅니다.

🎒 비유: "편식하는 학생"

이 상황을 시험을 보는 학생으로 비유해 볼까요?

1. 쉬운 문제 (일반적인 상황):

   • 문제: "겨울 성 사진 찾기"
   • 오답 1: 여름 성 사진 (이미지는 성인데 계절이 다름)
   • 오답 2: 겨울 해변 사진 (계절은 맞는데 성이 아님)
   • 학생의 행동: 이 학생은 "성"이라는 단어만 보고 "성"이 있는 사진을 찾거나, "겨울"이라는 단어만 보고 "눈"이 있는 사진을 찾으면 정답을 맞춥니다. **두 가지 정보를 다 쓸 필요 없이, 한 가지 단서만으로도 쉽게 맞히는 '요령 (Shortcut)'**을 배운 것입니다.

2. 어려운 문제 (논문이 지적하는 문제):

   • 문제: "겨울 성 사진 찾기"
   • 오답 1: 겨울에 찍은 성 사진 (이미지는 성, 텍스트는 겨울) -> 하지만 이 사진은 '겨울'이 아니라 '여름'에 찍힌 성일 수도 있음. (실제 예시: 오답이 이미지와 텍스트 중 하나만 완벽하게 일치하도록 만든 함정)
   • 학생의 행동: 만약 학생이 '이미지'만 믿고 성을 본다면, '여름'에 찍힌 성을 골라 틀립니다. 반대로 '텍스트'만 믿고 '겨울'을 본다면, '성'이 아닌 다른 겨울 풍경을 골라 틀립니다.
   • 결과: 기존 모델들은 이런 **함정 문제 (Hard Negative)**에서 자주 실패합니다. 왜냐하면 그들은 '편식'을 하느라 두 가지 정보를 동시에 고려하는 법을 제대로 배우지 못했기 때문입니다.

---

🔍 해결책 1: FBCIR (AI 의 '생각 과정'을 들여다보기)

연구진은 먼저 **"왜 AI 가 편식을 할까?"**를 분석하기 위해 FBCIR이라는 도구를 만들었습니다.

• 비유: "수업 중 집중도 측정기"
  • 이 도구는 AI 가 사진을 보고 "겨울 성"을 찾을 때, **정말 눈으로 성을 보고 있는가? 아니면 텍스트로 '겨울'만 읽고 있는가?**를 분석합니다.
  • 마치 학생이 시험지를 풀 때, "이 학생은 문제의 '성' 부분만 보고 '겨울' 부분은 무시했구나"라고 적어주는 강사의 피드백과 같습니다.
  • 분석 결과, 대부분의 AI 는 한쪽 정보에 너무 집중하고 다른 쪽은 무시하는 **'편식 습관'**이 매우 흔하다는 것을 발견했습니다.

---

🛠️ 해결책 2: FBCIR-Data (AI 를 위한 '특별 훈련 교재')

이제 AI 가 편식을 고치기 위해 새로운 훈련 데이터를 만들었습니다. 기존 데이터는 너무 쉬워서 AI 가 요령을 부릴 수 있었지만, 연구진이 만든 데이터는 **AI 가 요령을 부리면 틀리게 만드는 '함정 문제'**로 가득 차 있습니다.

• 비유: "요령 부리면 떨어지는 모의고사"
  • 기존 교재: "성"이 있으면 정답, "겨울"이 있으면 정답. (편식해도 맞음)
  • 새로운 교재 (FBCIR-Data):
    • "이미지는 성인데, 텍스트는 '여름'이야. (하지만 정답은 겨울 성)" -> 이미지만 믿으면 틀림!
    • "텍스트는 '겨울'인데, 이미지는 '해변'이야. (하지만 정답은 겨울 성)" -> 텍스트만 믿으면 틀림!
  • 이 교재로 AI 를 훈련시키면, AI 는 "아, 이제 한 가지만 믿으면 안 되겠구나. 이미지와 텍스트를 모두 꼼꼼히 봐야 맞출 수 있구나!"라고 깨닫게 됩니다.

---

🚀 결과: 무엇이 달라졌나요?

연구진은 이 새로운 훈련 방법으로 여러 AI 모델을 다시 학습시켰습니다.

1. 어려운 문제 해결 능력 향상: 함정이 많은 어려운 상황에서도 AI 가 훨씬 정확하게 답을 찾았습니다.
2. 편식 습관 고침: 분석 결과, AI 가 이미지와 텍스트를 균형 있게 고려하는 비율이 크게 늘어났습니다.
3. 쉬운 문제도 잘함: 어려운 문제를 잘 풀게 된다고 해서, 원래 잘하던 쉬운 문제까지 못 풀게 된 것은 아닙니다. 오히려 더 튼튼해졌습니다.

📝 한 줄 요약

"기존 AI 는 검색할 때 한쪽 정보만 보고 대충 맞히는 '요령'을 썼는데, 연구진은 AI 가 함정 문제를 풀게 하여 '두 가지 정보를 균형 있게 고려하는' 올바른 습관을 가르쳐 주었습니다."

이 연구는 AI 가 단순히 정답만 맞추는 게 아니라, **왜 그 답을 맞췄는지 (해석 가능성)**를 이해하고, 더 튼튼한 (Robust) AI 를 만드는 데 중요한 발걸음이 됩니다.

기술 요약

1. 문제 정의 (Problem Definition)

구성된 이미지 검색 (Composed Image Retrieval, CIR) 은 참조 이미지와 수정 텍스트 (명령어) 를 입력으로 받아, 두 모달리티의 의미를 결합하여 목표 이미지를 검색하는 작업입니다.

• 현재의 한계: 기존 CIR 모델들은 일반적인 벤치마크 (예: CIRR, FashionIQ) 에서 높은 성능을 보이지만, 더 까다로운 시나리오에서는 성능이 급격히 저하됩니다.
• 핵심 원인: 이러한 성능 저하는 '포커스 불균형 (Focus Imbalance)' 현상 때문입니다. 모델이 이미지나 텍스트 중 한 가지 모달리티에만 과도하게 의존하여 ('단축키' 또는 'Shortcut' 전략 사용) 다른 모달리티의 정보를 무시하는 경향이 있습니다.
  • 예시: 검색어 "겨울에 촬영된 성" 이 있을 때, 후보 이미지 중 성이 없는 이미지는 텍스트 ('겨울') 만 보고 배제하거나, 성이 있더라도 겨울 배경이 아닌 이미지는 이미지 ('성') 만 보고 선택하는 등, 두 정보를 균형 있게 추론하지 못합니다.
• 기존 벤치마크의 문제: 기존 데이터셋의 부정적 샘플 (Negatives) 이 너무 쉬워 모델이 한 가지 모달리티만으로도 정답을 맞출 수 있게 되어, 실제 복잡한 상황에서의 모델의 취약점이 드러나지 않습니다.

2. 제안 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 FBCIR(Focus-Balancing) 프레임워크를 제안하며, 이는 크게 두 가지 핵심 구성 요소로 나뉩니다.

A. FBCIR: 다중 모달 포커스 해석 방법 (Multi-Modal Focus Interpretation)

모델이 어떤 입력 요소 (이미지 세그먼트, 텍스트 토큰) 에 집중하여 검색 결정을 내리는지 정량적으로 분석하는 도구입니다.

• 반복적 가지치기 (Iterative Pruning): 입력된 이미지와 텍스트 토큰을 반복적으로 제거하며, 원래 검색 순위가 유지되는 최소한의 토큰 집합 (Focus) 을 찾습니다.
• 포커스 균형 비율 (Focus Balance Ratio): 이미지와 텍스트 각각에 할당된 중요도 비율 ($r_I, r_T$) 을 계산합니다. 두 값의 차이 ($|r_I - r_T|$) 가 클수록 모델이 특정 모달리티에 편향되어 있음을 의미합니다.
• 목적: 기존 모델들이 얼마나 심각한 포커스 불균형을 겪고 있는지 진단하고 시각화합니다.

B. FBCIR-Data: 데이터 증강 워크플로우

포커스 불균형을 교정하기 위해 설계된 새로운 데이터 증강 파이프라인입니다.

• 하드 네거티브 (Hard Negatives) 생성:
  • 텍스트 증강 네거티브: 이미지에는 유사하지만 텍스트 의미와 일치하지 않는 이미지를 생성 (이미지 과의존 모델 교정).
  • 이미지 증강 네거티브: 텍스트 의미에는 부합하지만 이미지와 시각적 차이가 큰 이미지를 생성 (텍스트 과의존 모델 교정).
• 양성 샘플 (Target) 정제: 기존 데이터셋에서 쿼리와 일치도가 낮은 원본 양성 샘플을 네거티브로 재분류하고, 더 일관된 합성 이미지를 생성하여 대체합니다.
• 사용 모델: Qwen-VL(시각 언어 모델), Qwen-Image-Edit(이미지 편집), Qwen-Image(이미지 생성) 등을 활용하여 고품질의 증강 데이터를 구축합니다.

3. 주요 기여 (Key Contributions)

1. 포커스 불균형 문제의 공식화 및 실증: CIR 모델이 단일 모달리티의 '단축키'를 남용하여 복잡한 상황에서는 실패한다는 문제를 정량적으로 정의하고, 다양한 기존 모델들에서 이 현상이 광범위하게 존재함을 증명했습니다.
2. FBCIR 해석 도구 개발: 모델의 다중 모달 포커스 행동을 정밀하게 분석하고 불균형을 수치화할 수 있는 새로운 해석 방법론을 제시했습니다.
3. 데이터 증강 워크플로우 및 벤치마크 구축: 포커스 불균형을 유발하는 하드 네거티브를 포함하는 새로운 증강 데이터셋과 평가용 벤치마크를 구축했습니다. 이를 통해 모델의 강건성 (Robustness) 을 향상시키는 데 성공했습니다.

4. 실험 결과 (Results)

• 모델 성능 향상: 제안된 워크플로우로 파인튜닝된 모델 (VLM 기반 및 CLIP 기반) 은 하드 케이스 (FBCIR-Data 벤치마크) 에서 기존 모델 대비 Subset Recall(Rs@1) 이 크게 향상되었습니다.
  • 예: GME-7B 모델의 경우 FBCIR-Data Rs@1 이 32.9 에서 47.3 (LoRA Rank 4, 50K 데이터) 으로 약 14.4%p 향상되었습니다.
• 포커스 균형 개선: 파인튜닝 후 모델의 포커스 불균형 지표 ($|r_I - r_T|$) 가 유의미하게 감소하여, 모델이 이미지와 텍스트를 더 균형 있게 추론하게 됨을 확인했습니다.
• 일반 벤치마크 유지: 까다로운 하드 케이스 성능은 크게 향상되었으나, 기존 표준 벤치마크 (CIRR, FashionIQ 등) 에서는 성능이 유지되거나 오히려 소폭 향상되어, 모델의 일반화 능력을 해치지 않음을 입증했습니다.
• Zero-shot 성능: 증강 데이터로 학습된 모델은 전혀 보지 못한 CIRR 벤치마크의 하드 케이스에서도 일관된 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 CIR 연구에 다음과 같은 중요한 통찰을 제공합니다:

• 진단 관점의 전환: 단순히 검색 정확도 (Accuracy) 만을 보는 것을 넘어, 모델이 어떻게 (어떤 모달리티에 집중하여) 검색을 수행하는지 분석하는 것이 모델의 강건성을 이해하는 데 필수적임을 강조했습니다.
• 데이터 중심 해결책: 모델 아키텍처를 복잡하게 변경하기보다, 전략적으로 설계된 하드 네거티브 데이터를 통해 모델의 추론 방식을 교정할 수 있음을 증명했습니다.
• 미래 방향: 제안된 FBCIR 방법론과 데이터 증강 워크플로우는 향후 더 정교하고 신뢰할 수 있는 멀티모달 검색 시스템 개발을 위한 새로운 기준을 제시합니다.

요약하자면, 이 연구는 CIR 모델이 겪는 '편향된 주의 (Focus Imbalance)' 문제를 발견하고, 이를 정량적으로 진단하는 도구와 이를 해결하기 위한 데이터 증강 전략을 통해 모델의 실제 적용 가능성과 강건성을 획기적으로 개선한 선구적인 작업입니다.