TAB-AUDIT: Detecting AI-Fabricated Scientific Tables via Multi-View Likelihood Mismatch

論文タイトル: TAB-AUDIT: 多視点尤度ミスマッチによる AI 生成科学表の検出

1. 背景と課題 (Problem)

大規模言語モデル（LLM）の進化により、学術的な誠実性を侵害する AI 生成の捏造論文が増加しています。特に、主張の根拠となる「実験結果の表（Table）」は、AI によって現実的に見せかけられた捏造データを含みやすく、従来のテキストベースの検出手法では見逃されやすいという課題があります。
既存の研究は主に「幻覚した引用」や「生成されたナラティブ」に焦点を当てており、構造化された経験的証拠である「表」の捏造を検出する体系的な研究やベンチマークは存在しませんでした。また、LLM が論文の執筆を支援する場面が増えているため、「AI 支援による正当な研究」と「AI による完全な捏造」を区別することが困難になっています。

2. 提案手法とベンチマーク (Methodology & Benchmark)

本研究では、AI 生成の捏造表を検出するための初の体系的なアプローチとして、以下の 3 つの主要な要素を提案しています。

A. ベンチマークデータセット「FABTAB」の構築

• 概要: 実証的 NLP 論文を対象とした、AI 生成捏造論文と人間執筆論文の比較データセットです。
• 規模: 1,173 件の AI 生成論文（GPT-4o 等を使用）と 1,215 件の人間執筆論文（arXiv の最新論文）から構成され、合計 5,284 枚の表が含まれます。
• 生成プロセス: 単に表だけを生成するのではなく、既存の文献に基づいたトピックで「論文全体」を生成させ、その中に表を埋め込むことで、文脈的な整合性を保ちつつ、より現実的な捏造データを作成しました。これにより、検出器が単なるトピックの違いではなく、表の「出所（プロベナンス）」に基づいて判断することを可能にしました。
• 評価: 訓練データとは異なるモデル（GPT-5.2 など）で生成されたデータによる「ドメイン外（Out-of-Domain）」評価も実施し、汎化性能を検証しました。

B. 検出フレームワーク「TAB-AUDIT」
表の構造（スケルトン）と数値コンテンツの間の「不一致」を捉える多視点アプローチを採用しています。

• 多視点シリアライズ: 各表を 3 つの視点でトークン列に変換します。
  1. 完全ビュー: 見出し、ヘッダー、行ラベル、数値を含む全体。
  2. テキスト・スケルトンビュー: 数値をマスクし、構造（タイトル、ヘッダー、メトリック名）のみを残したもの。
  3. 数値レベルビュー: 数値のみを抽出し、桁ごとに分解したもの。
• 尤度ミスマッチ信号（核心）:
  • 観測モデル（Observer LM）を用いて、上記 3 つのビューそれぞれに対する困惑度（Perplexity, PPL）を計算します。
  • キー特徴量: 「表内ミスマッチ（Within-table mismatch）」です。これは、「数値コンテンツの困惑度」と「テキストスケルトンの困惑度」の差を測定します。
  • 仮説: 人間が作成した表では、実験プロセスに基づいて数値が生成されるため、構造と数値の整合性が高い（ミスマッチが小さい）。一方、AI が捏造した表では、構造（学術的なフォーマット）は模倣できても、数値の分布や実験的な不規則性（トレードオフ、誤差、一貫性のない小数点など）が構造に対して「不自然（Atypical）」であるため、ミスマッチが大きくなる傾向があります。
• 追加特徴量: 言語モデルに依存しない統計的特徴（行の差分整合性、値の反復率、ソート傾向、小数点の桁数など）も組み込み、検出精度を向上させています。

C. 検出モデル
抽出された特徴量を論文レベルで集約（中央値など）し、ランダムフォレストなどの機械学習モデルで分類します。

3. 主要な貢献 (Key Contributions)

1. FABTAB の構築: AI 生成の捏造表を含む初のベンチマークデータセットを提供し、人間による判別が困難であることを実証（人間による AUC は 0.66 程度）。
2. TAB-AUDIT フレームワークの提案: 表の「構造」と「数値」の間の尤度ミスマッチを捉えることで、従来のテキスト検出器よりもはるかに効果的に捏造を検出できることを示しました。
3. 高性能な検出結果: 提案手法が既存の最先端手法（Binoculars, DetectGPT など）を大幅に上回る性能を達成しました。

4. 実験結果 (Results)

• ドメイン内評価（In-domain）:
  • 提案手法（RandomForest + FusedAll 特徴量）は、AUROC 0.987 を達成しました。
  • 偽陽性率（FPR）を 5% に抑えた場合の真陽性率（TPR）は 0.933 と非常に高い精度を示しました。
• ドメイン外評価（Out-of-domain / GPT-5.2 による生成）:
  • 訓練データとは異なるモデル（GPT-5.2）で生成されたデータに対しても、AUROC 0.883 を達成し、高い汎化性能を示しました。
  • 既存のゼロショット検出器（Binoculars など）はドメイン外で性能が大幅に低下しましたが、TAB-AUDIT は安定して機能しました。
• 分析の洞察:
  • 表の「スケルトン（構造）」自体は人間と AI で似通っており、構造のみの尤度では区別がつかないことが確認されました。
  • 決定的な違いは、**「構造に対して数値がどれだけ不自然か」**という点にあり、これが検出の鍵となります。

5. 意義と結論 (Significance)

• 学術的誠実性の維持: 論文の根幹である実験結果（表）に焦点を当てた検出手法は、AI による学術詐欺の発見において極めて重要です。
• 実用性: 本研究で提案された TAB-AUDIT は、実験のコードやログにアクセスできなくても、公開された論文の表のみからリスクを評価できるため、査読プロセスや編集プロセスにおける「スクリーニングツール」として実用可能です。
• 将来の研究: 表の捏造検出という新たな研究分野を開拓し、将来的な AI 生成コンテンツの監査（フォレンジック）の基準となるベンチマークを提供しました。

結論:
TAB-AUDIT は、AI 生成の科学論文において、表の「構造的整合性」と「数値的実証性」の間のミスマッチを検出することで、従来のテキストベースの手法では不可能だった高精度な捏造検出を実現しました。これは、学術界における AI 生成コンテンツのリスク管理に向けた重要な一歩です。