技術要約：キーストロークに基づくAI執筆検知の不安全性について

問題提起

AI生成テキストを検出するための最近の提案は、言語的出力（パープレキシティ、スタイルメトリー）の分析から、プロセスレベルの行動シグナル、具体的にはキーストロークのタイミング動態の分析へとシフトしている。Kunduら[1]やMehtaら[2]によって提案されたシステムは、人間の運動信号（変動する打鍵間隔（IKI）や「思考によるポーズ」のような特定の時間パターンを特徴とする）が、自動化されたボットによる均一かつ高速なテキスト注入とは異なるという前提に基づいている。

本論文は、これらのアプローチにおける根本的なカテゴリーエラーを指摘している。すなわち、これらは運動の存在（キーボードを操作する人間の身体）とコンテンツのプロベナンス（由来）（テキストを認知的に創出した人間）を混同している。著者らは、現在の脅威モデルが、「LLMを用いてコンテンツを生成し、それを一文字ずつ物理的に転記する」という合理的な攻撃者を考慮できていないと主張している。この「コピー・タイプ（写し打ち）」攻撃は、純正の構成によるものと区別がつかない真正な運動信号を生み出すため、タイミングのみに依存する検知器は執筆者の検証において安全ではない。さらに、本論文は、人間の分布に基づいてキーストローク間隔を合成する自動化された「タイミング偽造」攻撃であっても、これらのシステムを回避できることを実証している。

手法

脅威モデルおよび攻撃の定義

本研究は、文書とそのキーストローク・トレースを受け取り、出力をHUMAN（人間）またはAIに分類する運動信号検証システム（MSVS）を評価する。著者らは、2つの主要な攻撃ベクトルを定義している：

1. コピー・タイプ攻撃 (Copy-Type Attack): 攻撃者がLLMを使用してテキストを生成し、計測されたプラットフォーム上にそれを物理的にタイピングする。結果として得られる運動信号は、構造上、真正なものである。
2. タイミング偽造攻撃 (Timing-Forgery Attacks): 実証的な人間の分布から打鍵間隔をサンプリングすることで、合成されたトレースを生成する自動エージェント。著者らは3つのバリアントを実装している：
   • ヒストグラム・サンプリング: 人間のデータから得られた経験的な累積分布関数（CDF）から、IKIを独立してサンプリングする。
   • 統計的インパーソネーション (Statistical Impersonation): ターゲット集団のIKI分布の第1および第2モーメント（平均と分散）を、ダイグラフ（二文字連続）特有のレイテンシに合わせて調整し、一致させる。
   • 生成的LSTM (Generative LSTM): キーキャラクターの履歴に応じたIKIの条件付き分布をモデル化するために、実際のキーストロークシーケンスで学習された2層のLSTMネットワーク。

実験設定

• データセット: 評価には、Stony Brook University (SBU) のキーストローク・コーパスからの13,000件の人間によるタイピングセッションに加え、5,000件の自動注入セッション、および2,000件の攻撃セッション（ヒストグラム1,000件、統計的500件、LSTM500件）を使用する。汎用性を確保するため、11の追加の公開コーパス（合計150,000セッション以上）を用いて検証を行う。
• 特徴量: 先行研究[1], [2]で提案されたすべての特徴量を含む7つの特徴量ベクトルを評価する：
  • $\delta$: IKIの変動係数 (CV)
  • $\bar{t}$: 平均 IKI
  • $\sigma^2_{IKI}$: IKI 分散
  • $\rho$: ポーズ密度（500msを超えるIKIの割合）
  • $\beta$: 平均バースト長
  • $H$: IKI 分布のシャノン・エントロピー
  • $\gamma$: ダイグラフの変動性
• 分類器: 5つの分類器（ロジスティック回帰、ランダムフォレスト、勾配ブースティング、SVM-RBF、MLP）を用い、5分割層化交差検証を用いて学習を行う。

主な結果

1. 攻撃の有効性

• コピー・タイプ攻撃: IIITD-BUデータセット（34件の転記セッション）およびプールされたコーパス（879セッション）を用いた実証的検証において、コピー・タイプ攻撃は検知閾値（$T = 0.269$）に対して100%のバイパス率を達成した。転記における平均 $\delta$ は$0.991$であり、検知閾値を大きく上回っていた。自由記述条件下での構成（composition）と転記（transcription）の間のCohen's $d$はわずか$0.14$であった。
• タイミング偽造攻撃: すべての3つの自動バリアントは、5つの分類器に対して$\ge 99.8\%$の回避率を達成した。
  • ヒストグラムおよびLSTM攻撃は100%の回避を達成した。
  • 統計的攻撃は99.8%の回避を達成した。
  • 攻撃サンプルは、平均信頼度$\ge 0.993$で人間として分類された。

2. 分類器の性能とトレードオフ

• ベースラインの分離: 分類器は、真正な人間のタイピングと、完全に自動化された（貼り付け/APIによる）注入を区別する場合、AUC 1.000を達成した。これは、システムが運動信号の不在を正しく検出できることを裏付けている。
• 運用の失敗: 人間の運動信号（真正なものか偽造されたものかを問わず）に直面した場合、システムはプロベナンスを区別できない。
  • LSTM攻撃の通過率を50%未満に抑えるには、検知閾値を $T > 0.80$ まで上げる必要がある。
  • この閾値では、正当なユーザーの誤拒絶率 (FRR) が**16.3%**まで上昇する。
  • $T = 0.90$（FRR = 32.6%）においても、LSTM攻撃は依然として44%の通過率を維持している。
• 特徴量の切除 (Feature Ablation): 単一の特徴量で、すべての攻撃バリアントを真正な人間のタイピングから確実に分離することはできない。$\delta$ やエントロピーのような特徴量は、人間とボットを効果的に分離できるが、テキストを構成している人間と、テキストを転記している人間を区別することはできない。

3. 理論的限界

著者らは、非識別性（non-identifiability）の結果（定理1）を定式化している。検知器が認知状態ではなくキーストロークのタイミング（$\tau$）のみを観測するという仮定の下では、特徴量とコンテンツ・プロベナンスの間の相互情報量はゼロとなる：
$$I(f(\tau); \text{Provenance} | s, M_u) = 0$$
「認知状態が運動実行に影響を与えない」という理想化された仮定を緩和した場合（経験的な $d \approx 1.28$）でも、結果として得られるベイズ誤差は**26.1%**であり、セキュリティ上の決定を下すには運用上不十分である。

意義と主張

本論文は、現在設計されているキーストロークベースのAI執筆検知システムは、根本的に不安全であることを主張している。

1. カテゴリーエラー: これらのシステムは運動の真正性（人間がそこに存在したこと）を検証するが、コンテンツのプロベナンス（その人間がテキストを創出したこと）を検証することはできない。「コピー・タイプ」攻撃は、人間の運動システムを利用してAI生成コンテンツを「洗浄」することで、このギャップを突いている。
2. 構造的限界: この脆弱性はアルゴリズムの問題ではなく、構造的な問題である。区別すべき変数（コンテンツの起源）は、特徴空間において観測されない潜在的な混同因子であるため、どれほど特徴量エンジニアリングや分類器の最適化を行っても、構成と転記の間の分布の重なりを克服することはできない。
3. 誤った安心感: タイピングパターンに基づいて「AIフリー」の認証を謳うシステムは、誤った安心感を与える。それらは人間がキーボードを操作したことは確認できるが、その人間が著者であるかどうかを判断することはできない。
4. 防御への示唆: コンテンツのプロベナンスを保護するには、観察される執筆プロセスをセマンティック（意味的）な内容に結びつける、根本的に異なるアーキテクチャが必要である。著者らは、以下のような実行可能な方向性を提案している：
   • 修正履歴の整合性: 転記では稀である、非単調な編集パターン（削除、言い換え）の分析。
   • チャレンジ・レスポンス: 構成中のテキストに対するリアルタイムの理解の強制。
   • セマンティック・バインディング: 運動エラーと意味的な修正を区別するためにNLPを統合すること。

著者らは、このようなコンテンツ結合メカニズムが展開されるまでは、キーストロークのタイミングは執筆者（著者）の特定ではなく、人間の存在を確認するためにのみ使用されるべきであると結論付けている。