Token-Level Likelihood-Array Regression for Membership Inference and AI-Generated Text Detection

技術要約：メンバーシップ推論およびAI生成テキスト検出のためのトークンレベル・ライクリフッド・アレイ回帰

問題提起
本論文は、言語モデルにおける2つの重要な監査タスク、すなわちメンバーシップ推論（テキストがモデルの学習データに含まれていたかどうかを判定すること）と、AI生成テキスト検出（モデルが生成したテキストと人間による記述を区別すること）に取り組んでいる。両タスクとも、条件付きトークン確率に基づく二値分類問題として定式化できるが、既存の尤度（likelihood）ベースの手法は重大な情報の損失を被っている。現在のアプローチは通常、トークンレベルの確率を少数のスカラー要約（平均損失、Min-K%、パープレキシティなど）に圧縮しており、多くの場合、全先行コンテキストに基づく条件付き確率（$\ell_{full}(t)$）のみに依存している。このような集計は、異なるコンテキスト長およびトークン位置における尤度情報の結合的な変動を放棄してしまう。また、ラベル付きコーパスで訓練された教師あり検出器は、新しいモデルやドメインに適応するために、広範なファインチューニングや追加のラベル付きデータを必要とすることが多い。著者らは、厳格な構造的仮定を課すことなく、コンテキスト長とトークン位置の両方に応じて変化する尤度情報をどのように表現し、モデル化するかという統計的な問いを提示している。

手法：ライクリフッド・アレイ回帰 (LAR)
著者らは、固定されたスコアリング言語モデルからの条件付きトークン確率を、スカラー要約ではなく、構造化された可変長配列として扱うフレームワークであるトークンレベル・ライクリフッド・アレイ回帰 (LAR) を提案している。

1. 尤度アレイの構築:

   • 各ターゲット・トークン $x_t$ について、スコアリングモデルは、フル先行シーケンス（$x_1, \dots, x_{t-1}$）から単一トークン（$x_{t-1}$）に至るまでの一連の入れ子状の左コンテキスト・ウィンドウの下での対数確率を評価する。
   • これにより、コンテキストのスケールが減少するにつれてモデルの評価がどのように変化するかを記録する「ターゲット・トークン・パス」が各トークンに対して作成される。
   • これらのパスは、三角形の尤度アレイ $L(X) = \{(s, t, \ell(s, t))\}$ を形成する（ここで $s$ はコンテキストの開始、$t$ はターゲット・トークンを示す）。

2. アライメントと特徴量エンジニアリング:

   • テキストの長さの変動を扱うため、著者らはコンテキスト・スケール（$u$）と相対的トークン位置（$v$）を共通ドメイン $[0, 1] \times [0, 1]$ に正規化している。
   • セルは、固定されたコンテキスト・スケールのグリッド上に線形補間を介してアライメントされる。
   • 各アライメントされたセルは、5次元のチャネル・ベクトル $h$ で拡張される：
     • 観測されたトークンの対数確率（$\ell$）。
     • コンテキスト・コントラスト（$\delta$）：コンテキストがある場合とない場合（BOS）のトークン確率の対数比。
     • 標準化された対数確率（$z$）および標準化されたコンテキスト・コントラスト（$z_\delta$）：モデルの予測語彙分布に対して正規化されたもの。
     • ローカル・スロープ（$\dot{z}$）：コンテキストが増加するにつれての標準化された予測可能性の変化率。

3. 回帰モデル:

   • LAR-1 (一次): クラスの対数オッズを、個々のアライメントされたセルからの寄与の加法的な集計としてモデル化する。これは、コンテキスト・スケール、位置、および特徴量を対数オッズにマッピングする関数 $b(u, v, h)$ を学習し、尤度のパターンが文書内の位置やコンテキスト長に応じてどのように異なって寄与するかを効果的に学習する。
   • LAR-2 (二次): LAR-1 にパス内二次特徴量を付加したものである。これは、異なるコンテキスト長にわたる同一のターゲット・トークンの評価のペア間の相互作用を捉える。これにより、尤度の「変化」（例：短いコンテキスト下では尤度が低いが、長いコンテキスト下では上昇するなど）がどのようにラベルに情報を与えるかを検出することが可能になる。

4. 推定:

   • 無限次元の関数モデルは、有限基底展開（コンテキスト/位置に対するスプラインのテンソル積、およびチャネルに対するランダムな三角関数）を用いて近似される。
   • 二次項は、次元を削減しつつパス内の構造を保持するために、ランダム平方投影 (random squared projections) を用いて推定される。
   • 最終的な推定器は、これらの展開から導出されたドキュメントレベルの特徴量に対してリッジ・ロジスティック回帰を用いて適合される。

主な貢献

• 新規な表現: 本論文は、尤度情報をコンテキスト・スケールとトークン位置にわたって結合的に表現する「ライクリフッド・アレイ表現」を導入しており、従来の研究で使用されていたスカラー要約を超越している。
• 理論的境界: パス内二次モデル（LAR-2）について、著者らは積形式の共分散減衰の下で、レート $\{\log(en)/n\}^{\nu/(\nu+1)}$ を持つ一致するミニマックス上下限予測境界を確立した。また、有限次元近似とランダム投影から生じる誤差を特性化し、オラクル・スペクトル・シーブ（oracle spectral sieve）がミニマックス・レートを達成する条件を示した。
• 経験的な優位性: 本フレームワークは、複数のスコアリングモデルおよびドメインにおいて、既存の尤度ベースのベースラインおよび教師あり検出器を大幅に上回る性能を示すことが示された。
• 情報源への洞察: 分析により、短いコンテキストの尤度には、従来のフルコンテキストの確率を超えた重要な情報が含まれていること、および二次特徴量が特にメンバーシップ推論において大幅な利点を提供することが明らかになった。

結果
著者らは、LARを2つのベンチマークで評価した：

1. WikiMIA (メンバーシップ推論): 1,650個のテキストと5つのスコアリングモデル（Pythia, LLaMA-2, Falcon）を使用。

   • LAR-1 は平均 AUC 0.914–0.960 を達成。
   • LAR-2 はこれを 0.953–0.983 に向上させ、既存の最良のベースライン（ReCaLL、最大 AUC 0.871）およびファインチューニングされた教師あり手法（Fine-tuned Score Deviation、最大 AUC 0.90）を大幅に上回った。
   • 短いコンテキストのセル単体では AUC ~0.907 であり、フルコンテキストのセルのみの場合の ~0.802 と比較して高い値を示した。

2. AI生成テキスト検出: GPT-4o によって生成され、5つのオープンウェイトモデルによってスコアリングされた4つのドメイン（フィクション、ニュース、エッセイ、レビュー）からの1,200個のテキストを使用。

   • LAR-1 は平均 AUC 0.985–0.996 を達成。
   • LAR-2 は 0.987–0.995 を達成。
   • これらの結果は、教師あり検出器である StatDetectLLM (AUC 0.980) や RADAR (AUC 0.839) を含むすべてのベースラインを上回った。
   • このタスクにおいては、二次特徴量による利点は最小限であり、一次の関数的パターンが分離信号の大部分を捉えていることが示唆された。

意義と主張
本論文は、LARが、コンテキストや位置とともに変化する尤度情報を表現するという「より広範な統計的問い」に対する、統計的に原理に基づいた解決策を提供すると主張している。尤度情報をあらかじめ指定されたスコアへと集約することを避けることで、LARは、従来無視されがちであった短いコンテキスト・ウィンドウからより豊かな信号を抽出する。理論面では、本研究は、この特定のクラスのパス内二次モデルに関する初のミニマックス解析を提供し、予測誤差と AUC の収束を結びつけている。実用面では、本手法は教師あり検出器に代わる、ファインチューニングを必要としない堅牢な選択肢を提供し、回帰段階において固定されたスコアリングモデルとラベル付きデータのみを必要としながら、両方のプライバシー監査および AI 検出において最先端の性能を実現する。著者らは、本手法はフルコンテキスト・スコアリングよりも計算負荷が高いものの、性能向上がそのコストを正当化すると述べており、今後の課題として、計算オーバーヘッドを削減するための適応的なコンテキスト・ウィンドウの選択が挙げられている。