PolyFrame at MWE-2026 AdMIRe 2: When Words Are Not Enough: Multimodal Idiom Disambiguation

논문 개요: PolyFrame (MWE-2026 AdMIRe 2)

이 논문은 다국어 및 멀티모달 환경에서 관용구 (Idiom) 의 비구성적 (non-compositional) 의미로 인해 발생하는 해석의 어려움을 해결하기 위해 제안된 시스템 PolyFrame에 대해 설명합니다. 저자들은 MWE-2026 AdMIRe 2 공유 작업 (Shared Task) 에 참여하여, 이미지와 텍스트를 결합한 순위 매기기 (Subtask A) 와 텍스트만 있는 캡션 순위 매기기 (Subtask B) 를 위한 통합 파이프라인을 구축했습니다.

1. 문제 정의 (Problem)

• 관용구의 비구성적 의미: 관용구는 표면적 형태에서 구성적으로 예측할 수 없는 비유적 의미를 가지며, 이는 계산적 의미론에서 오랜 난제입니다.
• 모델의 한계: 주로 문자적 (literal) 데이터로 훈련된 모델들은 관용구를 단어별로 해석하여 의미의 이탈 (semantic drift) 을 초래합니다. 이는 번역, 검색, 캡션 생성 등 하위 작업에서 성능 저하로 이어집니다.
• 다국어적 복잡성: 언어마다 관용구의 어휘화 (lexicalisation) 와 투명성 (transparency) 이 달라, 다국어 설정에서 해석이 더욱 어려워집니다.
• AdMIRe 2.0 태스크: 문맥 내 잠재적 관용구 명사구와 5 개의 후보 이미지 (또는 캡션) 를 제공하며, 시스템은 문맥에 맞는 올바른 의미 (이미지 또는 캡션) 를 순위 매겨야 합니다.

2. 방법론 (Methodology)

PolyFrame 은 대규모 멀티모달 인코더의 파인튜닝 (fine-tuning) 을 피하고, 경량 모듈을 통해 성능을 극대화하는 유동적 파이프라인을 사용합니다.

핵심 아키텍처 및 단계

1. 고정된 인코더 (Frozen Encoders):

   • 비전 - 언어: SigLIP2 (ViT-SO400M) 또는 CLIP 계열 모델 (이미지 - 텍스트 정렬).
   • 텍스트: 다국어 BGE M3 (문장 임베딩 생성).
   • 특징: 이 인코더들은 고정 (frozen) 되어 있으며, 학습은 경량 모듈에만 국한됩니다.

2. 단계별 처리 파이프라인:

   • Stage 1: 문장 유형 분류 (Sentence Typing):
     • 문장이 '관용적 (idiomatic)'인지 '문자적 (literal)'인지 분류합니다.
     • 방법: BGE M3 특징을 기반으로 한 로지스틱 회귀 (Logistic Regression) 와 외부 LLM(GPT-4o, Qwen 등) 을 활용한 '문자적 우선 (literal-first)' 프롬핑팅을 결합합니다.
   • Stage 2: 관용구 재작성 (Idiom Rewrite):
     • 문장이 관용적으로 분류된 경우, 관용구 (compound) 를 **구성적 동의어 (compositional synonym)**로 교체하여 비유적 의미를 명시화합니다. (예: "big fish" → "important person")
     • 문자적 문장은 원본을 유지합니다.
   • Stage 3: 유사도 점수 산출 (Similarity Scoring):
     • 스트림 1: SigLIP2 를 이용한 문장 - 이미지 유사도.
     • 스트림 2: BGE M3 를 이용한 문장 - 캡션 유사도.
     • 스트림 3: SigLIP2 텍스트 인코더를 이용한 문장 - 캡션 유사도.
   • Stage 4: 보르다 융합 (Borda Fusion):
     • 위 3 개의 스트림에서 도출된 순위 (Rank) 를 가중치 (예: [0.6, 0.3, 0.1]) 를 적용하여 보르다 카운트 (Borda count) 방식으로 통합하여 최종 순위를 결정합니다.

3. 작업별 변형:

   • Subtask A (이미지 + 텍스트): 위 전체 파이프라인 사용.
   • Subtask B (텍스트 전용): 이미지 스트림의 가중치를 0 으로 설정하고, 캡션과 텍스트 유사도 점수만 활용하여 텍스트 기반 추론을 수행합니다.

3. 주요 기여 (Key Contributions)

• 파인튜닝 없는 효율적 접근: 대규모 멀티모달 인코더를 재학습시키지 않고, 경량 분류기와 재작성 전략만으로 관용구 해독 성능을 획기적으로 개선했습니다.
• 관용구 인식 재작성 (Idiom-aware Rewriting): 관용구를 구성적 표현으로 바꾸는 것이 성능 향상의 가장 큰 요인임을 입증했습니다. 이는 시각 - 언어 모델의 문자적 편향 (literal bias) 을 효과적으로 제거합니다.
• 다국어 제로샷 (Zero-shot) 전이: 영어 훈련 데이터로 학습된 모델이 포르투갈어 등 다른 언어에서도 높은 성능 (60% Top-1) 을 발휘하여, 다국어 관용구 해석의 일반화 가능성을 보여주었습니다.
• 통합 파이프라인: 이미지 순위 매기기와 텍스트만 있는 캡션 순위 매기기를 단일 아키텍처로 처리하며, 각 태스크 간의 비교 분석을 용이하게 했습니다.

4. 실험 결과 (Results)

• 기초선 (Baseline) 대비 성능 향상:
  • CLIP 기반 기초선 (Top-1 정확도 26.7%) 에서 관용구 재작성과 문장 유형 분류를 추가한 후, 영어 개발 세트에서 Top-1 정확도가 60.0% 로 급증했습니다.
  • 포르투갈어 (PT) 제로샷 전이: 60.0% Top-1 정확도 및 0.822 NDCG@5 를 기록하여, 언어별 학습 없이도 우수한 성능을 보였습니다.
• 다국어 블라인드 테스트 (15 개 언어):
  • Subtask A (이미지): 평균 Top-1 0.35, NDCG@5 0.73.
  • Subtask B (텍스트): 평균 Top-1 0.32, NDCG@5 0.71.
  • 중국어 및 비중국어 하위 집합 간 일관된 성능을 보이며 안정적인 크로스링구얼 행동을 입증했습니다.
• Ablation Study (성분 제거 실험):
  • 관용구 재작성이 성능 향상의 주된 기여 요인임을 확인했습니다.
  • 문장 유형 분류는 안정성을 높이지만, 재작성 없이는 단독으로 큰 효과를 내지 못했습니다.
  • LLM 기반 분류기는 소량의 추가 점수를 주지만, 지연 시간과 API 의존성 문제로 인해 최종 제출 시스템에서는 생략되기도 했습니다.

5. 의의 및 결론 (Significance)

• 효율성 증명: 거대한 멀티모달 모델의 파인튜닝 없이도, **경량 모듈 (재작성, 분류, 융합)**을 통해 관용구 해독 문제를 효과적으로 해결할 수 있음을 보여주었습니다.
• 비유적 언어 처리의 새로운 패러다임: 시각 - 언어 매칭 문제를 단순히 유사도 계산이 아닌, "문맥에 맞는 의미 재구성" 문제로 접근해야 함을 강조합니다.
• 향후 과제: 현재 관용구 재작성 데이터베이스가 영어 중심 (약 50 개) 이라는 한계가 있으며, 향후 학습된 융합 가중치 도입 및 인코더/디코더 아키텍처 확장을 통해 저자원 언어와 문화적 특이성을 가진 관용구 처리 능력을 개선할 계획입니다.

이 연구는 멀티모달 관용구 해독 분야에서 데이터 효율성과 구조적 접근의 중요성을 강조하며, 향후 관련 연구의 방향성을 제시합니다.