Visual Word Sense Disambiguation with CLIP through Dual-Channel Text Prompting and Image Augmentations

기술 요약: 이중 채널 텍스트 프롬프팅 및 이미지 증강을 통한 CLIP 기반 시각적 단어 의미 중의성 해소(Visual Word Sense Disambiguation)

문제 정의
어휘적 모호성(Lexical ambiguity)은 대규모 언어 모델(LLM)에게 지속적인 과제로 남아 있으며, 특히 문맥적 단서가 다의어(polysemous, 연관된 의미)나 동음이의어(homonymous, 관련 없는 의미)를 구별하기에 불충분할 때 더욱 두드러집니다. 전통적인 단어 의미 중 중의성 해소(WSD)는 주변 텍스트에 의존하지만, 저문맥(low-context) 시나리오에서는 종종 실패합니다. 시각적 단어 의미 중의성 해소(VWSD)는 시각적 입력을 활용하여 모호성을 해결함으로써 이를 보완하며, 특정 문맥 내에서 대상 단어의 의도된 의미를 가장 잘 나타내는 이미지를 후보 집합 중에서 식별하는 것을 목표로 합니다. 기존의 최첨단 방식들은 복잡한 멀티모달 융합이나 거대한 외부 생성기에 의존하는 경우가 많아, 프롬프팅 전략과 시각적 처리 향상의 구체적인 기여도를 분리하여 파악하기 어렵습니다.

방법론
저자들은 CLIP(Contrastive Language-Image Pre-training) 아키텍처를 기반으로 한 해석 가능한 VWSD 프레임 구축을 제안합니다. 핵심 목표는 모호한 텍스트와 후보 이미지들을 하나의 공유된 멀티모달 공간으로 투영하여 코사인 유사도를 통해 정렬 상태를 결정하는 것입니다. 제안된 아키텍처는 다음과 같은 세 가지 주요 메커니즘을 통해 표준적인 "바닐라(vanilla)" CLIP 방식을 개선합니다:

1. 이중 채널 텍스트 프롬프팅 (Dual-Channel Text Prompting): 가공되지 않은 문맥 구절을 사용하는 대신, 모델은 두 가지 유형의 프롬프트 앙상블을 사용하여 텍스트 임베딩을 풍부하게 만듭니다:

   • 의미론적 프롬프트 (Semantic Prompts): 특정 의미적 관점에서 대상 단어를 좁게 정의한 구절 (예: "침식과 관련된 뱅크(bank)").
   • 사진 프롬프트 (Photo Prompts): 텍스트를 시각적 묘사와 명시적으로 연결하는 구절 (예: "뱅크 침식의 사진").
     이러한 프롬프트들은 생성되고, 각 채널 내에서 임베딩 및 평균화된 후, 가중 합($\beta_p$ 및 $\beta_s$)을 통해 융합되어 견고한 텍스트 표현을 생성합니다.

2. WordNet 통합: 입력을 더욱 다양화하기 위해, 시스템은 대상 단어와 문맥 단어 모두에 대해 WordNet 유의어를 포함합니다. 이 유의어들은 추가적인 사진 프롬프트를 생성하는 데 사용되며, 최종 텍스트 벡터를 정교화하기 위해 평균 사진 임베딩에 주입됩니다.

3. 이미지 증강 파이프라인 (Image Augmentation Pipeline): 시각적 임베딩의 강건성을 높이기 위해, 모델은 단일 뷰 인코딩 대신 포괄적인 테스트 타임 증강(test-time augmentation) 전략을 도입합니다. 여기에는 다음이 포함됩니다:

   • 기하학적 변환: 수평 뒤집기, 중앙 크롭, 줌, 무작위 회전.
   • 광학적 변환: 밝기, 대비, 채도 지터링(jitter) 및 약한 블러(blur).
   • 멀티 크롭 전략: 중심에서 벗어난 객체를 포착하기 위한 결정론적 크롭(그리드 패치, 중간 사분면 크롭).
     각 후보 이미지는 여러 뷰(예: 28개 뷰)로 변환되어 독립적으로 인코딩된 후, 평균화되어 안정적인 뷰 평균 이미지 임베딩을 생성합니다.

최종 예측은 풍부해진 텍스트 임베딩과 풍부해진 이미지 임베딩 사이의 코사인 유사도를 계산하여, 가장 높은 점수를 가진 이미지를 선택함으로써 이루어집니다.

주요 기여 및 실험적 결과
본 논문은 SemEval-2023 VWSD 데이터셋을 사용하여 제안된 방법론을 바닐라 CLIP 베이스라인 및 다양한 절제(ablation) 설정과 비교 평가합니다.

• 성능 향상: 이중 채널 프롬프팅과 이미지 증강으로 임베딩을 풍부하게 함으로써, 테스트 세트에서 평균 역순위(MRR)를 0.7227에서 0.7590으로, 히트 레이트(Hit Rate)를 0.5810에서 0.6220으로 개선했습니다.
• 절제 연구 통찰 (Ablation Insights):
  • 프롬프팅 vs. 증강: 절제 연구 결과, 이중 채널 프롬프팅은 약 63ms의 엔드 투 엔드 지연 시간(latency)으로 강력하고 낮은 지연 시간의 성능(MRR 0.75, Hit@1 ~0.625)을 제공합니다. 반면, 공격적인 이미지 증가는 상당한 계산 비용(710ms 지연 시간)을 초로하면서도 미미한 이득(MRR ~0.72)만을 가져왔습니다.
  • 수익 체감 (Diminishing Returns): 프롬프팅과 증강을 결합했을 때 상가적(additive) 이득이 나타나지 않았으며, 결합된 접근 방식은 효율성 측면에서 프롬프팅 단독 방식보다 성능이 떨어졌고 제한적인 성능 향상만을 보였습니다. 이는 이미 의미론적 가이드가 존재할 때 시각적 다양성이 주는 이득이 줄어듦을 시사합니다.
• 외부 지식의 한계:
  • WordNet 정의: WordNet 정의를 통합했을 때, 가중 평균(정의 15%, 문맥 85%)은 약간의 개선을 보였으나, 문맥을 정의로 완전히 대체하면 성능이 저하되었습니다.
  • 다국어 번역: 프롬프트를 스페인어, 프랑스어, 독일어로 번역한 실험은 일관되게 성능을 저하시켰습니다. 저자들은 이를 번역 오류와 여러 언어에 걸쳐 임베딩을 평균화할 때 발생하는 의미적 특수성의 "희석" 때문이라고 설명합니다.
• 베이스라인 비교: BERT(텍스트)와 BLIP(이미지 캡셔닝)를 사용한 베이스라인은 0%의 히트 레이트를 기록했으며, 이는 의미 있는 교차 모달 비교를 위해 CLIP이 제공하는 통합된 임베딩 공간의 필요성을 강조합니다.

의의 및 주장
본 논문은 더 크고 복잡한 모델을 사용하여 ~84-85%의 Hit@1을 달 achieve한 상위 SemEval-2023 시스템들과 비교하여 절대적인 정확도를 높이는 데 목적을 두기보다는, 특정 설계 선택의 기여도를 격리하여 보여주는 해석 가능한 프레임워크를 제공하는 데 그 의의를 둡니다.

저자들의 주장은 다음과 같습니다:

1. 노이즈보다 정밀함 (Precision over Noise): CLIP 기반 VWSD의 경우, 다국어 번역이나 과도한 WordNet 정의와 같은 노이즈가 섞인 외부 신호보다 정밀하고 단일 언어이며 CLIP에 정렬된 프롬프트가 더 효과적입니다.
2. 효율성 vs. 복잡성 (Efficiency vs. Complexity): 의미론적 프롬프팅은 상당한 중의성 해제 능력을 제공하는 동시에 계산 효율적인 전략인 반면, 공격적인 시각적 증강은 제한된 수익을 위해 상당한 오버헤드를 발생시킵니다.
3. 모듈성 (Modularity): 본 연구는 복잡한 융합 메커니즘(GNN이나 Vision-LLM 스택 등)을 피하는 모듈형 접근 방식이 엄격한 지연 시간 예산 하에서 저비용 설계 선택이 검증 지표에 어떻게 영향을 미치는지 효과적으로 평가할 수 있음을 보여줍니다.

저자들은 자신들의 결과와 최첨단 시스템 사이에 격차가 여전히 존재하지만, 본 연구가 구성 요소별 기여도를 이해하기 위한 토대를 마련하였으며, 해석 가능성과 지속 가능한 추론 비용을 우선시한다고 결론짓습니다.