Semantic Hardness Is Not Visual Hardness: Sign-Aware Hard Negative Mining for Sign Language Retrieval

기술 요약: 수어 검색을 위한 부호 인식 하드 네거티브 마이닝 (Sign-Aware Hard Negative Mining)

문제 정의

수어 검색(Sign Language Retrieval, SLRet)은 쿼리를 통해 관련 비디오나 텍스트를 효율적으로 찾아내는 것을 목표로 합니다. 현재의 모델들은 거시적(coarse-grained) 검색에서는 적절한 성능을 보이지만, 시각적으로 유사한 수어들을 구별해야 하는 미세(fine-grained) 시나리오에서는 상당한 취약성을 보입니다. 저자들은 이러한 한계가 모델 용량의 부족 때문이 아니라, 대조 학습(contrastive learning)에서의 **네거티브 분포 불일치(negative distribution mismatch)**에서 기인한다고 주장합니다.

수어에서 의미는 제한된 시각적 공간 내에서 구축됩니다. 손 모양, 위치, 또는 궤적의 미세한 차이가 의미를 변화시킬 수 있습니다(수어 혼동 가능성). 기존의 훈련 전략은 텍스트 기반의 하드 네거티브 마이닝에 의존하며, 이는 언어적으로 유사한 단어(예: "Europe"에 대한 "Scandinavia")를 하드 네거티브로 선택합니다. 그러나 언어적으로 유사한 단어들은 종종 시각적으로는 뚜렷하게 구분되는 수어와 대응하기 때문에, 모델에게는 "이지 네거티브(easy negatives)" 역할을 하게 됩니다. 반대로, 언어적으로는 무관하지만 시각적으로는 유사한 단어들(예: "October"와 "Europe")은 진정한 하드 네거티브 역할을 하지만, 텍스트 기반 방식으로는 거의 선택되지 않습니다. 이로 인해 모델은 훈련 과정에서 "시각적 혼동 영역(Visually Confusable Region)"에 노출되지 못하며, 결과적으로 미세한 구별 능력을 학습하지 못하게 됩니다.

방법론: 부호 인식 하드 네거티브 마이닝 (Sign-Aware Hard Negative Mining, SAN)

이러한 불일치를 해결하기 위해, 저자들은 하드 네거티브의 기준을 언어적 유사성에서 수어 임베딩 공간 내의 **시각적 혼동성(visual confusability)**으로 재정의하는 부호 인식 하드 네거티브 마이닝(SAN) 프레임워크를 제안합니다. 이 방법은 세 단계로 작동합니다:

1. 신뢰할 수 있는 수어-단어 쌍 마이닝: 사전 훈련된 검색 모델을 사용하여 수어 토큰과 단어 토큰 사이의 고신뢰도 정렬을 추출합니다. 유사도 행이트릭스가 계산되고, 소프트맥스(softmax)를 통해 정규화되며, 노이즈를 최소화하기 위해 임계값($\alpha$)에 의해 필터링되어 신뢰할 수 있는 쌍만을 유지합니다.
2. 시각적으로 유사한 네거티브 단어 마이닝: 각 신뢰할 수 있는 수어-단어 쌍에 대해, 시스템은 배치 내에서 다른 단어에 대응하면서도 시각적으로 유사한(임베딩 공간 내 코사인 유사도가 임계값 $\beta$를 초과하는) 다른 수어 토큰을 검색합니다. 이를 통해 의미적으로는 다르지만 시각적으로는 혼동 가능한 후보를 식별합니다.
3. 하드 네거티브 캡션 생성: 마이닝된 후보들은 원래 텍스트의 키워드를 교체함으로써 하드 네거티브 캡션을 생성하는 데 사용됩니다. 이러한 캡션은 균형 가중치 $\lambda$를 사용하여 표준 거시적 손실($L_{coarse}$)과 결합된 미세 손실 항($L_{fine}$)을 통해 훈련 목적 함수에 포함됩니다.

최종 목적 함수는 $L = L_{coarse} + \lambda \cdot L_{fine}$이며, 이를 통해 모델은 전역적인 의미 정렬을 유지하면서도 시각적으로 모호한 사례로부터 학습할 수 있습니다.

주요 기여

• 문제 공식화: 본 논문은 SLRet의 미세 검색 실패를 네거티브 분포 불일치 문제로 공식화하여, 현재의 텍스트 기반 마이닝 전략이 수어 고유의 시각적 모호성을 포착하지 못함을 규명했습니다.
• 제안된 프레임워크: 언어적 유사성이 아닌 수어 임베딩 공간에서의 시각적 혼동성을 기반으로 하드 네거티브를 구축하는 SAN을 도입했습니다.
• 실증적 검증: SAN이 텍스트 기반 네거티브 마이닝 전략(RoBERTa 및 GPT-4o-mini 포함)보다 우수한 성능을 보이면서도 미세 검색 성능을 실질적으로 향상시키고 거시적 정확도를 안정적으로 유지함을 입증했습니다.

실험 결과

저자들은 PHOENIX-2014T 데이터셋(독일 수어)에서 SAN을 표준 베이스라인(CiCo, GFSLT-VLP) 및 텍스트 기반 네거티브 마이닝 전략(FastText, RoBERTa, GPT-4o-mini)과 비교하여 평가했습니다.

• 미세 검색 성능: SAN은 상당한 개선을 보였습니다. GFSLT-VLP 백본에서 미세 검색을 위한 V2T Recall@1은 16.8%(베이스라인)에서 **49.1%**로 증가하여, 32.3%의 절대적 향상을 기록했습니다. 이는 가장 우수한 텍스트 기반 경쟁 모델(FastText, 43.8%)과 대규모 언어 모델(GPT-4o-mini, 37.7%)을 크게 앞지른 수치입니다.
• 거시적 안정성: 전역적 의미 정렬의 노이즈로 인해 거시적 성능이 저하되는 경우가 많은 텍ex트 기반 방식과 달리, SAN은 견고한 거시적 정확도를 유지했습니다 (예: GFSLT-VLP의 경우 FastText가 64.3%로 하락한 것에 비해 SAN은 67.4% V2T R@1을 유지).
• 정성적 분석: 시각적 비교를 통해 SAN이 언어적으로는 그럴듯하지만 시각적으로는 뚜렷한 차이가 있는 수어가 아닌, 손 모양, 위치, 움직임이 매우 유사한 네거티브(예: "Europe" vs "October")를 마이닝함을 확인했습니다.
• 절제 연구(Ablation Studies): 단어 교체 횟수($N_{swap}$)와 하드 네거티브 개수($N_{hard}$)의 영향을 분석한 결과, $N_{swap}=2$와 $N_{hard}=5$가 미세 구별 능력과 전역적 견고성 사이에서 최적의 절충안을 제공함을 발견했습니다.

의의 및 주장

본 논문은 미세한 수어 검색의 주요 병목 현상이 모델 아키텍처가 아닌 **감독 신호(supervision signal)**에 있다고 주장합니다. 네거티브 감독을 언어적 의미가 아닌 시각적 모호성에 맞춤으로써, SAN은 모델이 시각적 혼동을 해결하도록 효과적으로 강제합니다. 저자들은 수어에서 언어적 난이도가 곧 시각적 난이도를 의미하지 않는다고 단언하며, 따라서 네거티브 마이닝 전략을 텍스트 기반에서 시각 기반(부호 인식)으로 전환하는 것이 미세 검색 발전에 필수적이라고 주장합니다.

이 연구는 기존 모델들이 거시적 설정에서는 안정적이지만, 진정한 하드 네거티브에 노출되지 않으면 미세한 시각적 변화를 구별하지 못한다는 점을 강조합니다. SAN은 이러한 사례를 생성하는 메커니즘을 제공하며, 이는 향후 SLRet의 발전이 네거티브 마이닝을 시각적 양식(modality)에 근거하도록 하는 데 달려 있음을 시사합니다.

한계점

저자들은 현재 실험이 단일 도메인(기상 예보) 내의 PHOENIX-2014T 데이터셋에 국한되어 있다는 점을 언급했습니다. 이 도메인은 시각적으로 유사한 수어가 밀집된 분포를 보이는 특성이 있으나, SAN의 다른 수어 및 데이터셋에 대한 일반화 가능성은 추가적인 검증이 필요합니다. 또한, 이 프레임워크는 고정된 시각적 유사도 임계값에 의존하므로 다양한 수어 클래스 간의 서로 다른 모호성을 반영하지 못할 수 있으며, 향후 개선 사항으로 동적 임계값 메커니즘을 제안했습니다.