ttda704 at SemEval-2026 Task 4: Modeling Narrative Structures via Pseudonymization and Multi-View Sentence Alignment

기술 요약: SemEval-2026 Task 4의 ttda704

문제 정의
본 논문은 참가자들이 서사적 유사성(narrative similarity)과 표현 학습(representation learning)을 모델링하도록 도전하는 SemEval-2026 Task 4를 다룹니다. 핵심적인 어려움은 표면적인 어휘 중첩과 심층적인 서사 구조를 구별하는 데 있습니다. Hatzel과 Biemann (2024a)이 언급했듯이, 효과적인 이야기 비교를 위해서는 단순한 키워드 매칭이나 이벤트 추출에 의존하기보다 추상적인 주제, 플롯의 진행(행동의 과정), 그리고 최종 결과와 같은 잠재적 차원을 포착해야 합니다. 저자들은 생성형 대규모 언어 모델(LLM)이 이러한 모호성을 추론할 수 있지만, 계산 비용과 지연 시간 문제로 인해 확장 가능한 검색 및 임베딩 작업에는 부적합하다고 강조합니다. 따라서 본 연구의 목표는 값비싼 추론 시 생성에 의존하지 않고도 구조적인 서사의 미묘한 차이를 포착할 수 있는 효율적인 임베딩 기반 시스템을 개발하는 것입니다.

방법론
저자들은 두 가지 별도의 파이프라인으로 구현된, 미세 조정된 문장 트랜스포머(sentence transformers)를 활용한 대조 학습(contrastive learning) 프레임워크를 제안합니다.

• 트랙 A (단일 뷰 분류): 이 파이프라인은 두 개의 후보 이야기 중 어떤 것이 앵커(anchor) 이야지에 서사적으로 더 가까운지를 결정하는 데 중점을 둡니다.

  • 가명 처리(Pseudonymization): 특정 엔티티 이름(예: 등장인물 또는 장소의 중복)으로 인한 가짜 상관관계를 완화하기 위해, 저자들은 참조 정규화 단계를 적용합니다. fastcoretop과 spaCy를 사용하여 동일한 엔티티에 대한 반복적인 언급을 일관된 일반 플레이스홀더(예: "Character_A")로 매핑하되, 이야기 내부의 상호 참조(coreference)는 유지합니다. 이는 모델이 어휘적 정체성이 아닌 의미적 진행에 집중하도록 강제합니다.
  • 아키텍처 및 학습: 시스템은 all-mpnet-base-v2 모델을 백본으로 사용합니다. 과적합을 방지하고 사전 학습된 언어 지식을 보존하기 위해 "스마트 레이어 프리징(Smart Layer Freezing)" 전략을 채택합니다. 즉, 임베딩 파라미터와 하위 40%의 트랜스포머 레이어는 고정(freeze)하고, 상위 레이어만 미세 조정합니다. 모델은 합성 데이터(synthetic data)를 사용하여 triplet-margin loss로 학습됩니다.

• 트랙 B (다중 뷰 표현 학습): 이 파이프라인은 코사인 유사도가 서사적 친밀도를 반영하는 벡터 임베딩을 생성합니다.

  • 다중 뷰 분해: 전체 텍스트를 단일 벡터로 인코딩하는 대신, 저자들은 LLM(구체적으로 o3-mini)을 사용하여 각 이야기를 세 가지 뚜렷한 뷰로 분해합니다: 주제(중심이 되는 통제 아이디어), 플롯(상태 변화를 일으키는 사건들의 연대기적 순서), 그리고 결과(결말).
  • 대조 학습: 모델은 뷰별 투영 헤드(view-specific projection heads)를 사용하여 이러한 구성 요소들을 직교하는 임베딩 공간으로 매핑합니다. 일치하는 서사적 측면 간의 유사성은 최대화하고 일치하지 않는 측면 간의 유사성은 최소화하기 위해 각 뷰에 대조 손실 함수($L_{con}$)를 적용합니다.
  • 자기 지도 정렬(Self-Supervised Alignment): 서로 다른 뷰 간의 일관성을 보장하기 위해 정렬 손실($L_{align}$)을 도입합니다. 이 손실은 융합된 임베딩(네 가지 뷰의 가중 합계: 전체 텍스트, 주제, 플롯, 결과)과 개별 뷰 임베딩의 평균 사이의 거리를 최소화하여 통합된 공동 공간을 장려합니다.
  • 융합: 추론 시, 네 가지 구성 요소의 임베딩은 고정된 가중치(전체 텍스트 0.5, 주제 0.1, 플롯 0.2, 결과 0.2)를 사용하여 융합된 후 L2 정규화를 거칩니다.

주요 기여
본 논문은 세 가지 주요 기여를 설명합니다:

1. LLM 증강 서사 표현: LLM을 오프라인 데이터 증강(서사 구조의 합성 추출) 및 구조적 분해에 엄격히 제한적으로 활용하면서, 최종 유사도 추론에는 효율적인 미세 조정 문장 트랜스포머를 사용하는 결정론적 프레임워크를 제공합니다.
2. 다중 뷰 구조 모델링: 뷰별 투영 헤드와 자기 지도 정렬을 통해 서사적 유사성의 세 가지 핵심 측면(주제, 행동의 과정, 결과)을 명시적으로 모델링하고, 복잡한 신호를 직교하는 공간으로 분리하는 대조 학습 접근법을 제시합니다.
3. 강건한 대조 학습: 서사 구조의 미묘함을 보존하면서 일반화 능력을 향상시키기 위해 스마트 레이어 프리징과 결합된 triplet-margin 최적화를 구현했습니다.

결과

• 트랙 A: 시스템은 42개 팀 중 14위를 기록하며 0.6925의 프라이빗 점수를 달성했습니다. 가명 처리된 데이터를 사용했을 때 all-mpnet-base-v2 모델에서 원본 데이터(0.6650) 대비 일관된 성능 향상(0.6925)이 나타났습니다. 저자들은 이를 엔티티 특유의 노이즈를 제거함으로써 모델이 의미적 구조에 집중하게 만든 결과라고 분석했습니다.
• 트랙 B: 시스템은 25개 참가 팀 중 6위를 기록하며 0.6875의 프라이빗 점수를 얻었습니다. 개발 세트에 대한 절제 연구(ablation studies) 결과, 가중치 융합 전략(전체 텍스트에 0.5의 비중을 두고 주제, 플롯, 결과에 더 작은 가중치를 부여)이 동일 가중치 방식이나 단일 뷰 방식보다 우수한 성능을 보였습니다. all-mpंपnet-base-v2와 o3-mini LLM 추출기를 결합했을 때 최상의 결과를 얻었습니다.

의의 및 한계점
저자들은 자신들의 접근 방식이 대규모 서사 검색을 위한 LLM 기반 생성 추론의 실질적인 대안이 될 수 있다고 주장합니다. 계산 부하를 오프라인 데이터 생성 단계로 옮기고 추론 시에는 효율적인 임베딩 모델을 사용함으로써, 시스템은 현저히 낮은 지연 시간으로 경쟁력 있는 성능을 달성합니다.

그러나 본 논문은 몇 가지 한계점을 솔직하게 인정합니다:

• 일반화: 모델은 합성 학습 데이터에 의依赖하며, 추가적인 적응 없이는 다양한 서사 스타일이나 도메인에 완전히 일반화되지 않을 수 있습니다.
• 추출 노이즈: 다중 뷰 파이프라인은 자동으로 추출된 서사 요소에 의존합니다. 추출된 내용에 대한 별도의 수동 품질 검사가 없다면, 주제나 플롯의 일관성에서 발생하는 잔여 오류는 정량화되지 않은 채 남을 수 있습니다.
• 하이퍼파라미터 튜닝: 고정된 융합 가중치와 온도 설정(temperature settings)은 개발 세트에서 튜닝되었으므로, 보지 못한 도메인에서는 최적이 아닐 수 있습니다.

본 연구는 접근 방식이 생성적 추론의 막대한 비용을 피할 수는 있지만, 합성 데이터와 자동 추출에 대한 의존도가 학습된 표현의 강건성에 제약을 줄 수 있음을 결론짓습니다.