Dynamic Uncertainty Learning with Noisy Correspondence for Text-Based Person Search

이 논문은 온라인에서 수집된 대규모 텍스트 - 이미지 데이터의 노이즈 문제를 해결하기 위해, 불확실성을 모델링하는 키 특징 선택기 (KFS) 와 부정적 샘플의 난이도를 동적으로 조절하는 새로운 손실 함수 (DSH-Loss) 를 포함한 DURA 프레임워크를 제안하여 텍스트 기반 인물 검색의 성능과 강건성을 향상시켰습니다.

핵심

🕵️‍♂️ 문제 상황: "눈에 띄는 목격자의 진술" vs "혼란스러운 사진첩"

상상해 보세요. 경찰이 용의자를 잡기 위해 목격자의 진술을 듣고 있습니다.

• 목격자 (텍스트): "키가 크고, 검은색 후드티를 입은 남자가 지나갔어."
• 경찰의 사진첩 (이미지 데이터): 수만 장의 사진이 있지만, 이 사진들은 인터넷에서 무작위로 긁어온 것입니다.

여기서 문제가 발생합니다.
인터넷에서 "검은색 후드티"라는 글과 함께 올라온 사진 중에는, 실제로 검은색 후드티를 입은 사람도 있지만, 의도치 않게 다른 사람 (예: 흰색 셔츠를 입은 사람) 의 사진이 섞여 있는 경우가 많습니다. 이를 논문에서는 '노이즈 (Noise)' 또는 **'잘못된 짝 (Noisy Correspondence)'**이라고 부릅니다.

기존의 AI 는 이 잘못된 짝들까지도 "아, 이 사진이 검은색 후드티를 입은 사람이구나!"라고 맹신하며 배우게 됩니다. 그 결과, 실제 수색이 필요할 때 엉뚱한 사람을 잡아오거나, 진짜 용의자를 놓치는 실수를 저지르게 됩니다.

---

💡 해결책: "DURA"라는 새로운 수사관

저자들은 이 문제를 해결하기 위해 DURA라는 새로운 시스템을 개발했습니다. DURA 는 단순히 사진을 보는 게 아니라, **"이 정보가 정말 믿을 만한가?"**를 의심하며 학습하는 똑똑한 수사관입니다.

DURA 는 크게 세 가지 무기를 사용합니다.

1. 🎯 핵심 포커스 (KFS: Key Feature Selector)

• 비유: "전체적인 분위기"만 보는 게 아니라, "가장 결정적인 단서"를 찾는 것.
• 설명: 기존 AI 는 사진 전체를 흐릿하게 보다가 중요한 디테일 (후드티의 로고, 모자 모양 등) 을 놓치곤 했습니다. DURA 는 **'핵심 특징 선택기 (KFS)'**를 통해, 사람과 텍스트를 구분하는 가장 중요한 부분만 집중해서 봅니다. 마치 형사가 사진 속 가장 눈에 띄는 흉터나 문신에 집중하는 것과 같습니다.

2. 🤔 의심하는 마음 (Uncertainty Modeling)

• 비유: "이 진술은 90% 확률로 진실이지만, 10% 는 거짓일 수도 있어."라고 생각하는 것.
• 설명: DURA 는 모든 데이터를 100% 진실로 받아들이지 않습니다. **"이 사진과 글이 정말 잘 맞는가?"**에 대해 **불확실성 (Uncertainty)**을 계산합니다.
  • 만약 AI 가 "이건 확실해!"라고 너무 자신 있게 말하는데, 실제로는 엉뚱한 짝이라면, DURA 는 **"아, 이 데이터는 노이즈일 확률이 높구나"**라고 판단합니다.
  • 마치 경험이 많은 형사가 "이 목격자의 진술은 너무 완벽해서 오히려 의심스럽다"라고 판단하는 것과 비슷합니다.

3. 📉 유연한 훈련 (DSH-Loss: Dynamic Softmax Hinge Loss)

• 비유: "처음엔 쉬운 문제부터 풀고, 점점 어려운 문제를 풀되, 엉터리 문제는 과하게 혼내지 않기."
• 설명: 기존 AI 는 틀린 예시 (부정적인 샘플) 를 볼 때마다 "왜 틀렸지?!"라며 너무 격하게 학습을 시도하다가, 엉터리 데이터에 의해 학습 방향이 뒤틀리는 경우가 많았습니다.
  • DURA 는 **동적 (Dynamic)**하게 학습의 강도를 조절합니다.
  • 처음에는 많은 오답을 보며 학습하다가, 시간이 지날수록 **"가장 헷갈리는 오답 (Hard Negative)"**에만 집중하되, 노이즈가 섞인 엉터리 오답은 너무 강하게 혼내지 않고 적당히 넘겨줍니다. 이렇게 하면 엉터리 데이터에 의해 AI 가 망가지는 것을 막을 수 있습니다.

---

🏆 실험 결과: "혼란스러운 상황에서도 가장 잘하는 수사관"

저자들은 이 시스템을 3 개의 큰 데이터셋 (CUHK-PEDES 등) 으로 테스트했습니다. 특히 데이터의 50% 가 엉터리 (노이즈) 로 섞인 극한 상황에서도 실험을 진행했습니다.

• 기존 방법들: 엉터리 데이터가 20% 만 섞여도 성능이 뚝 떨어졌습니다. 50% 가 섞이면 거의 제 기능을 못 했습니다.
• DURA: 엉터리 데이터가 50% 가 섞여도 압도적으로 좋은 성능을 유지했습니다. 다른 방법들보다 훨씬 더 정확한 사람을 찾아냈습니다.

📝 한 줄 요약

"인터넷에서 긁어온 엉터리 데이터가 섞여 있어도, DURA 는 '이건 믿을 수 없어'라고 의심하고, 중요한 단서만 골라내며, 유연하게 학습해서 가장 정확한 사람을 찾아냅니다."

이 연구는 데이터가 완벽하지 않은 현실 세계 (실제 CCTV, 목격자 진술 등) 에서 AI 가 얼마나 더 신뢰할 수 있게 작동할 수 있는지를 보여주는 중요한 성과입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 텍스트 기반 인물 검색 (Text-to-Image Person Search) 은 주어진 텍스트 설명을 바탕으로 이미지 데이터베이스에서 해당 인물을 식별하는 작업입니다. 이는 감시, 보안, 스마트 리테일 등 다양한 분야에서 중요합니다.
• 핵심 문제: 대규모 데이터셋을 구축하기 위해 온라인에서 텍스트와 이미지의 공발생 (co-occurrence) 쌍을 수집하는 과정에서 노이즈가 있는 대응 (Noisy Correspondence) 문제가 발생합니다. 즉, 텍스트 설명과 이미지가 실제로 매칭되지 않는 잘못된 쌍 (mismatched pairs) 이 데이터에 포함되는 것입니다.
• 기존 방법의 한계:
  • 기존 방법들은 주로 부정적 샘플 (negative samples) 에 집중하여 학습하지만, 노이즈가 있는 데이터에서는 오히려 노이즈를 증폭시켜 검색 성능을 저하시킵니다.
  • 특히 하드 네거티브 (hard negatives) 를 사용하는 힌지 기반 삼중항 손실 (hinge-based triplet ranking loss) 은 노이즈에 매우 취약하여 정확도가 떨어집니다.
  • 기존 노이즈 라벨 학습 기법들은 분류 작업의 카테고리 수준 노이즈를 가정하지만, 텍스트 - 이미지 검색은 인스턴스 수준의 불일치 (misalignment) 를 다루므로 더 복잡합니다.

2. 제안 방법: DURA 프레임워크 (Methodology)

저자들은 동적 불확실성 및 관계 정렬 (Dynamic Uncertainty and Relational Alignment, DURA) 프레임워크를 제안하여 노이즈가 있는 환경에서도 견고한 검색을 가능하게 합니다. DURA 는 크게 세 가지 핵심 구성 요소로 이루어져 있습니다.

가. 특징 추출 및 키 특징 선택기 (Feature Extraction & KFS)

• 이중 인코더 (Dual-Encoder): CLIP 의 사전 학습된 비전 트랜스포머 (ViT) 와 텍스트 트랜스포머를 사용하여 이미지와 텍스트의 전역 (global) 특징을 추출합니다.
• 키 특징 선택기 (Key Feature Selector, KFS): 전역 특징만으로는 미세한 디테일을 놓칠 수 있으므로, KFS 모듈을 도입합니다.
  • L2 정규화 후 Max-K 풀링을 적용하여 가장 판별력 있는 (discriminative) 특징을 선택합니다.
  • MLP, FC, 그리고 Squeeze-and-Excitation (SE) 레이어를 결합하여 채널별 특징 응답을 재조정하고, 중요한 정보를 강조합니다.
  • 이를 통해 전역 정렬과 미세한 국소적 (local) 구분을 모두 포착하는 강력한 표현을 학습합니다.

나. 교차 모달 증거 학습 (Cross-modal Evidential Learning, CEL)

• 불확실성 모델링: Dempster-Shafer 증거 이론과 주관 논리 (Subjective Logic) 를 기반으로 노이즈로 인한 불확실성을 정량화합니다.
• 디리클레 분포 (Dirichlet Distribution): 텍스트 - 이미지 쌍의 유사도 점수를 증거 (evidence) 로 변환하고, 이를 파라미터로 하는 디리클레 분포를 통해 '신뢰도'와 '불확실성'을 동시에 모델링합니다.
• 데이터 분류: 학습된 증거를 바탕으로 훈련 데이터를 '깨끗한 데이터 (clean)'와 '노이즈 데이터 (noisy)'로 분류합니다.
  • 깨끗한 데이터에는 긍정적 학습 (positive learning) 을 적용합니다.
  • 노이즈 데이터에는 부정적 학습 (negative learning) 을 적용하여 노이즈의 영향을 최소화합니다.

다. 동적 소프트맥스 힌지 손실 (Dynamic Softmax Hinge Loss, DSH-Loss)

• 동적 난이도 조절: 기존 손실 함수는 모든 부정적 샘플을 고려하거나 가장 어려운 하나의 샘플만 고려하는 극단적인 접근을 취합니다.
• DSH-Loss 의 작동 원리: 학습 단계에 따라 부정적 샘플의 난이도 (하드 네거티브의 수, $n$) 를 동적으로 조절합니다.
  • 초기에는 많은 부정적 샘플을 고려하다가 학습이 진행됨에 따라 가장 어려운 부정적 샘플의 수를 점진적으로 줄여나갑니다.
  • 이는 노이즈로 인한 부정적 영향을 완화하면서도, 모델이 다양한 부정적 분포에서 학습할 수 있도록 하여 견고성 (robustness) 을 높입니다.

라. 전체 손실 함수

• 최종 목적 함수는 증거 손실 ($L_e$), DSH 손실 ($L_h$), 그리고 안정적인 정렬을 위한 **삼중항 정렬 손실 (Triplet Alignment Loss, $L_{TAL}$)**을 결합하여 구성됩니다.

3. 주요 기여 (Key Contributions)

1. DURA 프레임워크 제안: 노이즈가 있는 대응 (noisy correspondences) 환경에서 신뢰할 수 있는 텍스트 기반 인물 검색을 위한 효율적이고 견고한 프레임워크를 제안했습니다.
2. DSH-Loss 개발: 노이즈로 인한 부정적 영향을 완화하기 위해 부정적 샘플의 난이도를 학습 과정에서 부드럽게 조절하는 새로운 손실 함수를 고안했습니다.
3. 불확실성 기반 노이즈 처리: 교차 모달 유사도를 기반으로 한 증거 학습을 통해 노이즈를 식별하고, 이를 학습 과정에서 적절히 활용하거나 배제함으로써 고노이즈 환경에서도 성능을 유지함을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: CUHK-PEDES, ICFG-PEDES, RSTPReid 등 3 개의 주요 벤치마크 데이터셋에서 평가되었습니다.
• 노이즈 조건: 데이터의 0%, 20%, 50% 를 무작위로 섞어 노이즈 대응을 시뮬레이션했습니다.
• 성능 비교:
  • SSAN, IVT, IRRA, DECL, RDE 등 6 가지 최신 기법 (SOTA) 과 비교하여 모든 데이터셋과 노이즈 수준에서 우수한 성능을 보였습니다.
  • 특히 고노이즈 (50%) 환경에서 기존 방법들의 성능이 급격히 떨어지는 반면, DURA 는 Rank-1 정확도 등 모든 지표에서 가장 높은 성능을 유지했습니다. (예: CUHK-PEDES 50% 노이즈에서 Rank-1 70.84% 달성)
• Ablation Study: KFS, CEL, DSH-Loss 등 각 구성 요소가 성능 향상에 기여함을 확인했습니다. 모든 요소를 결합했을 때 최적의 성능을 발휘했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용성: 실제 현장 (실시간 감시, 긴급 상황 등) 에서 완벽한 데이터 수집이 어렵고 노이즈가 존재하는 환경에서도 효과적으로 작동할 수 있는 솔루션을 제공합니다.
• 기술적 혁신: 단순한 노이즈 제거를 넘어, 불확실성 (uncertainty) 을 모델링하고 동적으로 학습 난이도를 조절함으로써 노이즈가 있는 데이터셋에서도 강건한 (robust) 멀티모달 표현 학습을 가능하게 했습니다.
• 미래 전망: 텍스트 기반 검색뿐만 아니라, 노이즈가 포함된 다른 교차 모달 (cross-modal) 작업에도 적용 가능한 확장성을 가집니다.

이 논문은 데이터 품질이 낮은 현실적인 환경에서도 신뢰할 수 있는 인물 검색 시스템을 구축하기 위한 중요한 기술적 진전을 이루었다고 평가할 수 있습니다.