Lacuna Inc. at SemEval-2026 Task 4: Structurally Gated State-Space Models for Disentangling Narrative Similarity

技術要約：物語の類似性のための IVD-SSM

問題定義
本論文は、物語の「深層構造」（因果関係や進行の抽象的なパターン）を、その「表層的な実現」（特定の名前、設定、物体）から区別するという、SemEval-2026 Task 4 で定義されたタスクである「物語の類似性（narrative similarity）」を評価する際の計算上の課題に対処している。標準的な Transformer アーキテクチャは、語彙的および意味的な重複に対するバイアスにより、このタスクにおいて失敗することが多い。これは、「ゾンビ」のようなジャンル特有の語彙を共有する物語が、根本的な因果鎖は異なっているにもかかわらず、類似していると判定されてしまう「偽の相関（spurious correlations）」を引き起こす。さらに、標準的な Transformer は、長大な物語に内在する長距離依存性を処理する際、メモリと計算量の二次関数的なボトルネック（$O(N^2)$）に直面する。

手法：IVD-SSM
著者らは、不変のプロット構造と変化する意味的詳細を明示的に分離するように設計されたハイブリッド・アーキテクチャである、**不変・変化分離状態空間モデル（Invariant-Variant Disentangled State-Space Model: IVD-SSM）**を提案している。このシステムは、主に2つのコンポーネントで構成される：

1. バックボーン・エンコーダー（Jamba-1.5-Mini）:

   • システムは、Mamba（状態空間モデル）レイヤーと Transformer アテンションを組み合わせたハイブリッド・アーキテクチャである Jamba-1.5-Mini モデルを利用する。
   • Mamba レイヤーは、シーケンス履歴を動的に更新される隠れ状態へと圧縮する能力を持ち、時間計算量が線形（$O(N)$）であるため、キー・バリュー・キャッシュのメモリ・オーバーヘッドなしに長距離の因果鎖を捉えるのに理想的である。
   • 計算制約下で 120億パラメータのモデルを適応させるため、バックボーンは 4-bit NormalFloat (NF4) 量子化でロードされる。著者らは、事前学習された世界知識を保持するためにネットワークの大部分を凍結したまま、投影（projection）および埋め込み（embedding）モジュールのみを対象とした QLoRA（パラメータ効率の良い微調整）を採用している。

2. 構造ゲート型アライメント（Structurally Gated Alignment: SGA）ヘッド:

   • これは、Smith-Waterman アルゴリズムに着想を得た、微分可能なデュアルスケール・アライメント・メカニズムであり、本研究の核心となる新規の貢献である。これは、アンカーとなる物語と候補となる物語を、2つの並行するパスを通じて処理する：
     • マクロパス（不変構造）: 入力シーケンスを大幅にダウンサンプリング（ストライド $k=4$）し、粗い構造的スケルトン（例：導入、葛藤、解決）を捉える。このパスは、特定のトークンレベルのエンティティには盲目的である。
     • マイクロパス（変化する詳細）: フル解像度のシーケンスを処理し、きめ細かなエンティティレベルの一致（例：特定のキャラクター名や物体）を捉える。
   • ゲーティング・メカニズム: マクロパスは構造的類似性行列（$M_{macro}$）を生成し、それがアップサンプリングされて温度スケール付きの Sigmoid 活性化関数を通過することで、ソフトな構造マスク（$G$）を作成する。このマスクは、要素ごとの乗算（$M_{filtered} = M_{micro} \odot G$）を通じて、マイクロパスの類似性行列（$M_{micro}$）をゲート制御する。
   • このメカニズムは、意味的なノイズや表層的なキーワードの重複を能動的に抑制し、微細な詳細が構造的に妥当な領域内で一致する場合にのみ、高い類似度スコアが割り当てられるようにする。

学習と評価

• データ: 限定的な人間によるアノテーション済みデータ（開発用 200、テスト用 400 のトリプル）のため、モデルはタスク主催者から提供された 1,900 組の合成物語トリプルのみで学習され、検証には人間によるアノテーション済みセットが併用された。
• トラック A（ペアワイズ分類）: モデルは、2つの候補のうちどちらがアンカーに近い構造であるかを判断するために、対照学習（contrastive objective）を使用する。
• トラック B（表現学習）: モデルは、投影されたバックボーン出力の平均プーリングを介して高密度ベクトル埋め込みを生成し、その後、コサイン距離の比較を容易にするために厳格な L2 正規化を行う。

主な結果

• トラック A（ペアワイズ分類）: IVD-SSM (Gated) は 57.25% の精度を達成し、ランダム・ベースライン（50.00%）および語彙的 Jaccard 類似性ベースライン（56.25%）を上回った。しかし、ゼロショットの GPT-4o-mini プロンプト（67.00%）には及ばなかった。
• トラック B（埋め込み類似性）: モデルは 54.50% の精度を達成し、all-MiniLM-L6-v2 文エンコーダー（58.50%）および story-emb（63.25%）に及ばなかった。
• アブレーション研究:
  • マイクロパス単体（55.75%）は Jaccard ベースラインを下回り、構造的フィルタリングのないきめ細かなトークン類似性が、語彙的なディストラクターに対して脆弱であることを裏付けた。
  • マクロパス単体（57.00%）は Jaccard を大幅に上回り、粗い構造的スケルトンが物語の等価性のシグナルの大部分を担っていることを示した。
  • ゲーティング・メカニズムは、マクロ単体の場合と比較して、わずかではあるが一貫した改善（+0.25%）をもたらし、残留する意味的ノイズをフィルタリングする役割を実証した。

意義と主張
本論文は、計算的な物語評価における主要なボトルネックは、不変のプロット構造と変化する意味的詳細の混同であると主張している。著者らは、彼らの結果が、物語の類似性は「バッグ・オブ・ワーズ（Bag-of-words）」や一般的な文章埋め込みを通じて信頼性を持って測定できるものではないことを示していると論じている。代わりに、それは行動の逐次的な経過を明示的にモデル化するアーキテクチャを必要とする。

本研究の意義は、不変の構造的要素を語彙的な変化要素から分離する IVD-SSM の能力にあり、深い物語理解のための原理的なフレームワークを提供することにある。著者らは、彼らの手法が（大規模な事前学習による物語構造の広範な知識と暗黙的な推論能力により）おそらく大規模なゼロショット LLM にはまだ及ばないものの、SGA アーキテクチャが、標準的なモデルが失敗する原因となる「偽の相関」を効果的に軽減できることを示している。

限界
著者らは以下の限界を認めている：

• ソフト・ゲーティング: Sigmoid ベースのゲートは連続的であり、決してゼロには達しないため、強力な語彙的ディストラクター（例：同一の固有名詞）が構造的な不一致を覆い隠してしまう「リーク（漏れ）」を許容してしまう。
• 計算複雑性: バックボーンは線形であるが、SGA ヘッドは全シーケンス間の類似性行列を計算する際に、再び二次関数的（$O(L_a \times L_c)$）なボトルネックを再導入するため、疎なアライメントの修正なしには長編小説や脚本へのスケーリングが困難である可能性がある。
• データ・バイアス: モデルは主に LLM によって生成された合成データで学習されているため、予測可能な物語のペース配分や標準的なアーキタイプに過学習している可能性があり、前衛的または非線形な人間による著作物に対する性能は未探索である。