기술 요약: 교차 모달 부정(Negation) 탐지 학습

문제 정의

고수준의 의미론적 개념, 특히 **부정(negation)**을 다양한 모달리티에 걸쳐 탐지하는 것은 현재의 시각-언어 모델(Vision-Language Models, VLMs)에게 여전히 중요한 과제로 남아 있다. 부정은 부재, 거절, 또는 반대를 전달하며 인간의 의사소통에서 핵심적인 역할을 하지만, 현재의 시스템은 텍스트 부정어(예: "아니", "결코 ~않다")를 시각적 부재나 모순의 단서와 연결하는 데 어려움을 겪고 있다.

본 논문은 현재의 멀티모달 설정에서 세 가지 핵심 문제를 식별한다:

1. 분리 가능성 결여(Lack of Separability): 부정은 표준 VLM의 잠재 공간(latent spaces)에서 선형적 또는 비선형적으로 분리 가능한 클래스를 형성하지 못한다.
2. 모달리티 특화 인코딩(Modality-Specific Encoding): 사전 학습된 임베딩은 일반화 가능한 부정 신호보다는 모달리티 특유의 특징을 주로 인코딩한다.
3. 정렬 실패(Alignment Failure): 단순한 중첩(overlap)은 부정의 정렬에 실패한다. 단일 모달리티 형식은 내적(intramodal) 패턴은 포착할 수 있으나, 필수적인 교차 모달 의존성(cross-modal dependencies)은 놓치기 때문이다.

저자들은 이러한 문제들을 정치적 담론의 맥락 내에서 조사하며, 미묘한 맥락 변화와 함축적 의미가 직접적인 매칭에 집중하는 시스템들을 벗어나는 비디오-텍스트 쌍을 분석한다.

방법론

본 연구는 데이터셋 큐레이션, 임베딩 분석, 아키텍처 혁신, 그리고 LLM 기반 주석(annotation) 작업을 포함하는 다단계 파이프라인을 채택한다.

1. 데이터셋 및 전처리

• 데이터 소스: MultiParTweet에서 추출한 13,370개의 트윗을 사용하며, 특히 정치적 콘텐츠에서 추출한 3,222개의 비디오-텍스트 쌍에 초점을 맞춘다.
• 전사(Transcription): 자동 음성 인식(ASR)이 오디오 트랙을 처리하고, OCR이 이미지에 포함된 텍스트를 추출한다.
• 분류: 저자들은 텍스트의 부정 존재 여부와 미디어 전사 내용의 부정 존재 여부를 기반으로 한 **8개 클래스 분류 체계(taxonomy)**를 정의한다 (예: 텍스트에만 부정 존재, 전사에만 부정 존재, 양쪽 모두에 존재, 혹은 둘 다 없음).

2. 임베딩 분석

저자들은 먼저 표준 임베딩에 부정 신호가 존재하는지 테스트하였다:

• 사용된 모델: 텍스트/이미지/비디오를 위한 Qwen-2.5VL (3B) 및 비디오를 위한 JEPA-V2 변체(SSV 사전 학습 포함).
• 기법: 시각화를 위한 선형 판별 분석(LDA) 및 t-SNE; 차원 축소를 위한 PCA; 그리고 분리 가능성을 테스트하기 위한 26가지의 다양한 분류기(선형, 트리 기반, 앙상블, 최근접 이웃 등) 뱅터리.
• 결과: 분류기들은 높은 명목 정확도(nominal accuracy)를 보였으나, 균형 정확도(Balanced Accuracy)와 ROC AUC 점수는 무작위 수준(0.5) 근처에 머물렀다. PCA 결과, 임베딩은 부정 신호보다는 모달리티 특유의 특징을 인코딩하고 있음이 드러났다.

3. 교차 모달 어텐션 아키텍처

단일 모달 임베딩의 한계를 극복하기 위해, 저자들은 **교차 모달 어텐션 프레임워크(Cross-Modal Attention Framework)**를 제안하였다:

• 아키텍처: 통합 트랜스포머가 비디오($V$)와 텍스트($T$) 임베딩을 결합($X = \text{Concat}(V, T)$)하고 멀티 헤드 어텐션을 적용한다.
• 메커니즘: 모델은 고립되었을 때 약하거나 혼란스러운 신호를 융합하기 위해 모달 간 의존성을 학습한다.
• 구성: 4-헤드와 8-헤드 어텐션 구성을 비교하였으며, 4-헤드가 중간 차원 공간에서의 과잉 매개변수화(overparameterization)를 완화하는 경우가 많음을 발견했다.

4. LLM 기반 주석

• 도구: Qwen-VL 2.5를 사용하여 3,222개의 정치적 비디오-텍스트 쌍에 대한 구조화된 주석을 생성하였다.
• 과정: LLM은 텍스트와 비디오에서 각각 독립적으로 부정을 탐지하도록 프롬프트되어, 이후 모달리티 정렬(전체, 부분, 단일, 무관) 및 정치적 의도를 평가한다.
• 검증: 인간 전문가가 LLM 주석을 검증한 결과, LLM은 텍스트 전용 부정 탐지에는 우수한 성능을 보였으나, 전문화된 융합 아키텍처 없이는 시각적 부정 탐지 성능이 저하됨을 확인했다.

주요 결과

1. 단일 모달 임베딩의 실패

모달리티 특화 임베딩(비디오, 이미지 또는 텍스트)에 적용된 표준 분류기들은 무작위 수준을 넘어 부정된 샘플과 그렇지 않은 샘플을 구분하는 데 실패했다. 이는 부정이 표준적인 잠재 공간에서 분리 가능한 신호가 아님을 확인시켜 준다.

2. 교차 모달 어텐션의 성공

제안된 교차 모달 어텐션 프레임워크는 단일 모달 베이스라인보다 유의미하게 우수한 성능을 보였다:

• 성능 향상: 단일 모달 텍스트 처리 베이스라인 대비 최대 +4.53% 정확도 및 +7.03% F1을 달성했다.
• 강건성(Robustness): 이러한 이점은 서로 다른 임베딩 백본(Qwen 및 JEPA-V2)과 특징 추출기(FLAVA) 전반에서 일관되게 나타났으며, 이는 개선이 단순히 더 나은 특징 추출 때문이 아니라 모달 간 의존성을 모델링하는 데서 기결함을 입증한다.

3. 부정 발현의 비대칭성

3,222개의 쌍에 대한 통계적 분석은 결정적인 비대칭성을 드러냈다:

• 텍스트 부정: 종종 독립적으로 나타나며 텍스트 전용 맥락에서도 탐지 가능하다.
• 시각적 부정: 언어적 맥락에 의미론적으로 의존한다. 시각적 부정 단서는 거의 예외 없이 정렬된 텍스트-비디오 쌍에서만 식별되었으며, 무관하거나 단일 모달인 쌍에서는 나타나지 않았다.
• 어텐션 패턴: 텍스트 부정 타겟으로 학습된 모델은 비대칭적 어텐션을 보였던 반면(모달리티가 충돌할 때 정렬을 억제함), 비디오 부정으로 학습된 모델은 높은 대칭적 교차 모달 어텐션을 유지하여 시각적 부정의 텍스트 의존성을 강화했다.

4. JEPA-V2 및 시간적 추론

JEPA-V2 임베딩은 고수준의 시간적 특징을 제공했지만, 텍스트 부정 탐지를 위한 최상의 성능은 여전히 Qwen 임베딩을 사용한 4-헤드 교차 모달 어텐션에서 나타났다. 이는 베이스 임베딩의 선택이 어텐션 메커니즘의 효과성에 상당한 영향을 미침을 시사한다.

의의 및 기여

본 논문은 멀티모달 분석 분야에 다음과 같은 다섯 가지 주요 기여를 주장한다:

1. 8개 클래스 분류 체계: 텍스트-이미지 관계에서 발생하는 멀티모달 부정 패턴에 대한 새로운 분류 체계를 제시하여, 의미 변화에 대한 세밀한 분석을 가능하게 한다.
2. 진단적 증거: 부정이 일반적인 VLM 임베딩에서 명확한 경계를 갖지 못한다는 실증적 증거를 제시하여, 부정이 잠재 공간에서 표준적으로 학습 가능한 특징이라는 가설에 도전한다.
3. 교차 모달 아키텍처: 모달 간 의존성을 명시적으로 모델링하는 효과적인 어텐션 기반 프레임워크를 통해, 강건한 부정 탐지를 위해 융합이 필수적임을 입증한다.
4. 비디오 표현 분석: 전문화된 비디오 표현(JEPA2)에 대한 분석을 통해, 더 깊은 비디오 표현이 부정 패턴을 드러낼 수 있지만 최적의 성능을 위해서는 여전히 교차 모달 정렬이 필요함을 보여준다.
5. LLM 기반 주석 프레임워크: 정치적 담론 내의 부정을 주석 처리하기 위한 확장 가능한 프롬프트 기반 프레임워크를 제시하며, 이는 인간 또는 아키텍처적 개입 없이는 시각적 부정을 처리하는 데 있어 현재의 VLM이 가진 한계를 강조한다.

결론:
저자들은 멀티모달 담론에서의 부정은 임베딩 수준의 신호가 아니라 **교차 모달 현상(cross-modal phenomenon)**이라고 결론짓는다. 부정의 표현과 해석은 텍스트와 시각적 단서의 정렬에 크게 의존한다. 따라서 교차 모달 어텐션과 같이 멀티모달 융합을 지원하는 아키텍처는 단일 모달 베이스라인을 넘어서기 위해 필수적이다. 본 연구는 미래의 시스템이 단순한 특징 추출을 넘어 교차 모달 부정 의미론을 학습해야 하며, 이때 LLM 유래 주석을 약지도 학습(weak supervision)으로 활용할 수 있음을 시사한다.