TypedCSIP: Typed Counterfactual Pretraining for Chinese Legislative Conflict Classification

技術概要：TypedCSIP

問題定義
本論文は、LCR-CN ベンチマークを用いた中国の立法衝突分類タスクを取り扱います。目標は、上位法（$A$）と審査対象の従属規定（$B$）という一対の法的規定を、5 つの相互排他的なカテゴリのいずれかに分類することです。それらのカテゴリとは、責任衝突、条件衝突、制裁衝突、定義衝突、または無衝突です。

このタスクには、以下のような特定の課題が存在します：

1. 粒度：衝突タイプの証拠は、長い法的テキスト内の小さく局所的なスパンであることが多くあります。
2. データの不足と不均衡：データセットは比較的小規模（テスト記録 696 件）であり、特に定義クラスは希少（$n=48$）です。
3. 構造的な重複：ベンチマークの設計には、訓練セットとテストセット間の構造的な重複が含まれています。具体的には、同一の上位法によって制約される異なる従属規定が、しばしば同じ専門家による最小修正（$eB$）を共有しており、$(A, eB)$ タプルの重複が生じています。これにより、モデルが衝突の論理を理解するのではなく、修正パターンを暗記することで学習を「ショートカット」する可能性があります。
4. 専門的手法の欠如：中国の法的 NLP に関する先行研究は、判決予測や検索に大きく焦点を当てています。LCR-CN に対する既存のベースラインは、このタスクを標準的な分類問題として扱い、決定を単一のラベルに圧縮しており、データセットに提供されている専門家による修正注釈を活用していません。

手法：TypedCSIP
著者は、専門家による最小修正（$eB$）を事前学習中の反実仮説的監督信号として活用する、2 段階の手法であるTypedCSIP（Typed Counterfactual Selective Intervention Pretraining）を提案します。

• ステージ 1：Typed Counterfactual 事前学習

  • 入力：トリプル $(A, B, eB)$。ここで、$A$は上位法、$B$は衝突する従属規定、$eB$ は衝突を解決する専門家による修正です。
  • アーキテクチャ：共有エンコーダ（例：chinese-roberta-wwm-ext または SAILER）が [CLS] 表現を生成します。これは、4 つの衝突タイプに対応する 4 行を持つTyped Factor Head（$W_\phi$）に入力されます。
  • 単調補分類器：標準的な 5 項ソフトマックスの代わりに、モデルは無衝突のロジットを、4 つの衝突ファクター証拠の厳密に減少する関数として導出する専門的な分類器を使用します。これにより、「無衝突」はあらゆる衝突証拠の欠如であるというドメイン制約が強制されます。
  • 損失関数：事前学習の目的関数は、3 つの構成要素からなります：
    1. 正損失：$(A, B)$ の真の衝突ファクターが作動することを強制します。
    2. 反実仮説的損失：専門家による修正 $(A, eB)$ のすべての 4 つのファクターが沈黙（証拠ゼロ）であることを強制します。
    3. 選択性損失：$B$ と $eB$ の間で非対象ファクターのスコアが変化するのを罰し、モデルが衝突信号を編集されている特定のファクターに局所化することを学習するようにします。
  • 目的：専門家がいかに衝突を解決するかを観察することで、エンコーダが衝突タイプを認識し、修正を衝突証拠を含まない「反実仮説的正例」として扱うように訓練することです。

• ステージ 2：分類への転移
  論文は、転移の 2 つの変種を評価します：

  1. TypedCSIP-v1（Typed-Discard）：Typed Factor Head と単調補パラメータは破棄されます。新しい 5 項分類ヘッドが初期化され、標準的なクラス重み付き交差エントロピーを使用して微調整されます。
  2. TypedCSIP-v2（Anti-Forget Replay）：Typed Factor Head は、微調整中にライブなパラメータグループとして維持されます。ステージ 1 と同一の補助的再生損失が、独立してサンプリングされたトリプルに適用され、ステージ 1 で学習された衝突識別構造が微調整プロセスによって消去されるのを防ぎます。

実験プロトコルと厳密性
本研究は、いかなる測定が行われる前に Open Science Framework（OSF）に登録された事前登録確認研究です。

• シード：18 のシードは、以前の事前登録の暗号化ハッシュから決定論的に導出され、事後のシード選択を排除しました。
• 決定ルール：「ロックされたシード単位」ルールでは、シードごとの平均改善が0.8 パーセントポイント（pp）を超え、かつシード・ブートストラップおよびStudent-t 95% 信頼区間の両方の下限が厳密にゼロより大きいことを要求します。
• バックボーン：実験は chinese-roberta-wwm-ext（主）および SAILER（クロスバックボーン複製）で実行されました。
• ベースライン：この手法は、$(A, B)$ を連結しクラス重み付き交差エントロピーを使用する強力な単一モデル密分類器の再実装であるC2と比較されます。これは $eB$ にアクセスしません。

主要な結果

1. 確認的成功：事前登録されたTypedCSIP-v2変種は、両方のバックボーンでロックされた決定ルールを通過しました：
   • RoBERTa：平均改善**+0.916 pp**（CI: [+0.512, +1.346]）。
   • SAILER：平均改善**+1.288 pp**（CI: [+0.676, +1.922]）。
2. 補助的知見（マッチドシード監査）：同じ 18 のシードで、より単純なTypedCSIP-v1（再生なし）を再実行したところ、RoBERTa 上で平均改善**+1.137 pp**を達成しました。これは、ステージ 1 の Typed CSIP 事前学習がこのファミリーの「負荷を支える」構成要素であることを示唆しており、ステージ 2 のアンチ・フォゲット再生機構（v2）はこのタスクでの獲得にとって厳密には必要ではないことを示しています。
3. 層別評価（コールドスタート）：$(A, eB)$ タプルが訓練に対して新規であるテスト記録であるUnseen-gB層で評価された場合、両方のバックボーンで利益は正であり有意でした。利益は無衝突クラスではなく、衝突タイプクラス（特に定義と条件）に集中しており、改善が正確なタプルの重複を暗記することによって駆動されているという仮説を否定しました。
4. クロスタスクの限界：衝突分類に特化したステージ 2 エンコーダは、上位法検索タスク（タスク 1）用の双方向エンコーダとして再利用された場合、パフォーマンスが著しく低下しました。

意義と主張
本論文は、中国の立法衝突審査という特定のドメインにおいて、Typed 反実仮説的対照事前学習と専門家による法的修正の新たな組み合わせを導入すると主張しています。

• 方法的貢献：核心的な貢献は、専門家による修正（$eB$）を反実仮説的正例として使用して Typed Factor Head を訓練し、モデルが衝突そのものを理解するために衝突の「解決」を学習できるようにすることです。
• 再現性：本研究は、事前登録されたロックされた決定ルールプロトコルが NLP において可能であることを実証し、構造的なデータ重複が存在する小規模な応用ベンチマークにおける厳密な評価のためのテンプレートを提供しています。
• 限定的な範囲：著者は明示的に、絶対的な利益（約 1 pp）は modest（ modest）であるが、一貫しており再現可能であると述べています。TypedCSIP が立法審査の全問題を解決する、あるいは $eB$ を活用する唯一の方法であると主張しているわけではありません。また、この手法は衝突分類タスクに限定され、検索や生成タスクには拡張されないことも明確にしています。
• ファミリーレベルの利益：結果は「TypedCSIP ファミリー」の概念を支持しており、ステージ 2 の再生機構が採用されているかどうかにかかわらず、Typed 事前学習信号が新しい分類ヘッドに効果的に転移することを示しています。