Lacuna Inc. at SemEval-2026 Task 4: Structurally Gated State-Space Models for Disentangling Narrative Similarity

기술 요약: 서사 유사성을 위한 IVD-SSM

문제 정의
본 논문은 서사의 "심층 구조"(인과관계 및 전개의 추상적 패턴)를 표면적 구현(특정 이름, 배경, 사물)으로부터 구별하는 작업으로 정의된 SemEval-2026 Task 4의 과제인 **서사 유사성(narrative similarity)**을 평가하는 계산적 과제를 다룹니다. 표준 트랜스포머 아키텍처는 어휘적 및 의미적 중첩에 대한 편향으로 인해 이 작업에서 실패하는 경우가 많으며, 이는 장르 특유의 어휘(예: "좀비")를 공유하는 이야기들이 근본적으로 다른 인과 체인을 가졌음에도 불구하고 유사하다고 판단하게 만드는 "가짜 상관관계(spurious correlations)"를 초래합니다. 또한, 표준 트랜스포머는 확장된 서사에 내재된 장거리 의존성을 처리할 때 이차적($O(N^2)$) 메모리 및 계산 병목 현상에 직면합니다.

방법론: IVD-SSM
저자들은 불변하는 플롯 구조와 가변적인 의미적 세부 사항을 명시적으로 분리하도록 설계된 하이브리드 아키텍처인 **불변-가변 분리 상태 공간 모델(Invariant-Variant Disentangled State-Space Model, IVD-SSM)**을 제안합니다. 이 시스템은 두 가지 주요 구성 요소로 이루어져 있습니다:

1. 백본 인코더 (Jamba-1.5-Mini):

   • 시스템은 Mamba(상태 공간 모델) 레이어와 트랜스포머 어텐션을 결합한 하이브리드 아키텍처인 Jamba-1.5-Mini 모델을 활용합니다.
   • Mamba 레이어는 시퀀스 이력을 선형 시간 복잡도($O(N)$)를 가진 동적 업데이트 상태로 압축하는 능력이 있어, 키-값(key-value) 캐시의 메모리 오버헤드 없이 장거리 인과 체인을 포착하는 데 이상적입니다.
   • 계산 제약 조건 하에서 120억 파라미터 모델을 적응시키기 위해, 백본은 4-bit NormalFloat (NF4) 양자화 방식으로 로드됩니다. 저자들은 사전 학습된 세계 지식을 보존하기 위해 나머지 네트워크는 동결한 채, 프로젝션 및 임베딩 모듈만을 대상으로 하는 QLoRA(매개변수 효율적 미세 조정)를 사용합니다.

2. 구조적 게이팅 정렬 (Structurally Gated Alignment, SGA) 헤드:

   • 이는 스미스-워터맨(Smith-Waterman) 알고리즘에서 영감을 얻은 미분 가능한 이중 척도 정렬 메커니즘으로, 본 논문의 핵심적인 독창적 기여입니다. 이는 앵커 서사와 후보 서사를 두 개의 병렬 경로를 통해 처리합니다:
     • 매크로 경로 (불변 구조): 입력 시퀀스를 고도로 다운샘플링(스트라이드 $k=4$)하여 거친 구조적 골격(예: 도입, 갈등, 결말)을 포착합니다. 이 경로는 특정 토큰 수준의 엔티티에 무감각합니다.
     • 마이크로 경로 (가변 세부 사항): 풀 해상도 시퀀스를 처리하여 미세한 엔티티 수준의 일치(예: 특정 캐릭터 이름이나 사물)를 포착합니다.
   • 게이팅 메커니즘: 매크로 경로는 구조적 유사도 행렬($M_{macro}$)을 생성하며, 이는 업샘플링되어 온도 조절된 시그모이드 활성화 함수를 통과함으로써 소프트 구조 마스크($G$)를 생성합니다. 이 마스크는 요소별 곱셈($M_{filtered} = M_{micro} \odot G$)을 통해 마이크로 경로의 유사도 행렬($M_{micro}$)을 게이팅합니다.
   • 이 메커니즘은 의미적 노이즈와 표면적인 키워드 중첩을 능동적으로 억제하여, 미세한 세부 사항이 구조적으로 유효한 영역 내에서 일치할 때만 높은 유사도 점수가 부여되도록 보장합니다.

학습 및 평가

• 데이터: 제한된 인간 주석 데이터(개발 세트 200개, 테스트 세트 400개 트리플)로 인해, 모델은 대회 주최측이 제공한 1,900개의 합성 스토리 트리플로만 학습되었으며, 검증을 위해 인간 주석 세트가 추가되었습니다.
• Track A (쌍별 분류): 모델은 두 후보 중 어느 것이 앵커에 구조적으로 더 가까운지를 결정하기 위해 대조 목적 함수(contrastive objective)를 사용합니다.
• Track B (표현 학습): 모델은 투영된 백본 출력의 평균 풀링(mean-pooling)을 통해 밀집 벡터 임베딩을 생성하며, 코사인 거리 비교를 용이하게 하기 위해 엄격한 L2 정규화를 수행합니다.

주요 결과

• Track A (쌍별 분류): IVD-SSM (Gated)는 **57.25%**의 정확도를 달성하여 랜덤 베이스라인(50.00%)과 어휘적 자카드(Jaccard) 유사도 베이스라인(56.25%)을 능가했습니다. 그러나 제로샷 GPT-4o-mini 프롬프트(67.00%)에는 뒤처졌습니다.
• Track B (임베딩 유사도): 모델은 **54.50%**의 정확도를 기록하여, all-MiniLM-L6-v2 문장 인코더(58.50%)와 story-emb(63.25%)에 미치지 못했습니다.
• 절제 연구 (Ablation Studies):
  • 마이크로 경로 단독 사용 시(55.75%)는 자카드 베이스라인보다 성능이 낮았으며, 이는 구조적 필터링 없는 미세한 토큰 유사성이 어휘적 방해 요소에 취약함을 확인시켜 줍니다.
  • 매크로 경로 단독 사용 시(57.00%)는 자카드를 실질적으로 능가하였으며, 이는 거친 구조적 골격이 서사적 동등성을 위한 대부분의 신호를 운반함을 나타냅니다.
  • 게이팅 메커니즘은 매크로 전용 변형 대비 완만하지만 일관된 개선(+0.25%)을 제공하여, 잔여 의미적 노이즈를 필터링하는 역할을 검증했습니다.

의의 및 주장
본 논문은 계산적 서사 평가의 주요 병목 현상이 불변하는 플롯 구조와 가변적인 의미적 세부 사항의 혼재에 있다고 주장합니다. 저자들은 자신들의 결과가 서사적 유사성이 "단어 가방(bag-of-words)"이나 일반적인 문장 임베딩을 통해 신뢰성 있게 측정될 수 없음을 보여준다고 주장합니다. 대신, 이는 행동의 순차적 과정을 명시적으로 모델링하는 아키텍처를 필요로 합니다.

본 연구의 의의는 불변하는 구조적 특징을 어휘적 가변 요소로부터 분리하는 IVD-SSM의 능력에 있으며, 이는 심층적 서사 이해를 위한 원칙적인 프레임워크를 제공합니다. 저자들은 자신들의 접근 방식이 아직 대규모 제로샷 LLM의 성능에 미치지 못한다는 점을 언급하며(이는 아마도 서사 구조에 대한 LLM의 광범위한 사전 학습 및 암묵적 추론 능력 때문일 것임), SGA 아키텍처가 표준 모델을 실패하게 만드는 "가짜 상관관계"를 성공적으로 완화한다고 설명합니다.

한계점
저자들은 다음과 같은 한계를 인정합니다:

• 소프트 게이팅 (Soft Gating): 시그모이드 기반 게이트는 연속적이며 절대 0에 도달하지 않으므로, 강한 어휘적 방해 요소(예: 동일한 엔티티 이름)가 구조적 불일치를 압도하는 "누출"이 발생할 수 있습니다.
• 계산 복잡도: 백본은 선형적이지만, SGA 헤드는 전체 교차 시퀀스 유사도 행렬을 계산할 때 이차적($O(L_a \times L_c)$) 병목 현상을 다시 도입하므로, 희소 정렬(sparse alignment) 수정 없이는 전체 길이의 소설이나 시나리오로 확장하기 어려울 수 있습니다.
• 데이터 편향: 모델은 주로 LLM에 의해 생성된 합성 데이터로 학습되었으므로, 예측 가능한 서사 속도와 표준적 원형(archetype)에 과적합될 가능성이 있으며, 이로 인해 아방가르드하거나 비선형적인 인간 저작 서사에 대한 성능은 아직 탐색되지 않았습니다.