技術概要：数学チュータリングにおける有用性保持型の匿名化

1. 問題定義

大規模な対話データの共有は、教授学と学習の科学を進展させるために不可欠であるが、厳格な匿名化は依然として重大な障壁となっている。数学チュータリングのトランスクリプトにおいては、「数値的曖昧性」と呼ばれる特定の課題が生じる。数式（例：分数、文章題の日付、計算結果）は、日付、電話番号、運転免許証番号などの構造化された個人識別情報（PII）と表面レベルで頻繁に類似している。

Microsoft Presidio などの業界標準ツールを含む汎用的な PII 検出システムは、これらの数値的範囲を誤って機密識別子として検出することが多い。その結果、中核的な指導内容がデータから剥奪される「過剰な赤化」が発生し、下流の教育研究に対してデータを無用にしてしまう。さらに、プライバシー規制により元の非赤化データは共有されることが稀であるため、数学チュータリングの文脈における PII 検出を評価するためのドメイン固有のベンチマークが存在しない。

2. 手法

本研究は、以下の研究課題に対処するために 3 フェーズのワークフローに従っている：「数学チュータリングのトランスクリプトにおいて、データの教育的有用性を保持しつつ、PII を正確に検出するにはどうすればよいか？」

フェーズ 1：データセット構築（MathEd-PII）

元の非赤化データが利用できなかったため、著者らは数学チュータリングにおける PII 検出のための最初のベンチマークデータセットであるMathEd-PIIを構築した。

• ソース： 米国ベースのプラットフォームからの 1,000 件のチュータリングセッション（115,620 件のメッセージ）。これらは当初、プロバイダーによって Microsoft Presidio を使用して赤化されていた。
• 人間と LLM の協調ワークフロー： 元のデータへのアクセスなしに信頼性の高いグランドトゥルースを作成するために、著者らは 3 段階のプロセスを採用した。
  1. 初期評価： LLM が赤化されたメッセージのサンプルを評価し、見逃された PII（偽陰性）と誤った赤化（偽陽性）を特定し、必要に応じて妥当な元のテキストを推測した。
  2. 人間による検証： 研究者が LLM の出力を手動でレビューし、特定された問題の 95% が解決されるまでプロンプトを反復的に洗練させた。
  3. 代理生成： 検証されたワークフローを全コーパスに適用した。システムは確認された PII を文脈を考慮したプライバシー保護型の代理データに置き換え、PII として誤ってフラグ付けされたコンテンツのラベルを削除した。
• 結果： 1,995 件の検証済み PII ラベルを含む 1,000 セッションのベンチマークが作成された。これは元のプロバイダーデータセットの 5,263 件のラベルよりも著しく少なく、ソースにおける大規模な過剰赤化を示している。

フェーズ 2：数学セグメンテーションと曖昧性分析

偽陽性が数学が密集した領域にクラスター形成するという仮説を検証するために、著者らは密度ベースのセグメンテーションモジュールを開発した。

• 数学密度の計算： メッセージは、K-12 の学習コンポーネントから導出された数学語彙、多単語フレーズ、数学的パターンに対する正規表現の重み付き和に基づいてスコアリングされた。
• セグメンテーション： 密度しきい値を超えたメッセージが「アンカー」メッセージとなった。セグメントの重心に対する意味的類似性（埋め込みを介して）が類似性しきい値を超えた場合、隣接するメッセージがセグメントに追加された。
• 分析： これにより、著者らは「数学セグメント」と「非数学セグメント」のそれぞれにおいて、PII 検出のパフォーマンスを具体的に比較することが可能になった。

フェーズ 3：検出戦略の評価

4 つの検出戦略が MathEd-PII ベンチマーク上で評価された。

1. ベースライン： デフォルトおよびカスタムルールを備えた Microsoft Presidio（v2.2）。
2. 基本プロンプティング： ドメインの文脈なしにすべての PII を特定するよう指示された LLM。
3. 数学認識型プロンプティング： 数値的偽陽性を削減するために、数学チュータリングに関する特定の知識を備えて指示された LLM。
4. セグメント認識型プロンプティング： メッセージが「数学セグメント」に属するか「非数学セグメント」に属するかを示す明示的なラベルを提供された LLM。

6 つの LLM（Claude 4.5、GPT-5.2、Gemini 3 Pro などを含む）がテストされ、最良のパフォーマンスを示したものが高度なプロンプティング戦略に選出された。パフォーマンスは、ブートストラップリサンプリングを介して計算された 95% 信頼区間とともに、適合率、再現率、F1 スコアを使用して測定された。

3. 主要な結果

失敗分析（RQ1）

• 数値的曖昧性の確認： 偽の PII 赤化は構造的に数学が密集した領域に集中している。
• 分布： すべての偽の赤化の 55.5% が数学が密集したセグメントで発生したが、これらはコーパス全体の 36.6% しか占めていない。
• 比率の格差： 数学セグメントでは、偽陽性と真の PII の比率は約4.88:1であった。非数学セグメントでは、この比率は0.64:1であった。
• 具体的な誤り： 汎用的な検出器は、数学的演算（例：「9351 / 7」）を米国の運転免許証やコース番号として誤って識別したり、文章題の架空の名前（例：「もしアレックスが 5 つのりんごを持っているなら」）を実在の PERSON 実体として識別したりすることが頻繁にあった。

手法評価（RQ3）

• ベースラインのパフォーマンス： Microsoft Presidio は高い再現率（約 78%）を達成したが、極めて低い適合率（約 0.25）であり、その結果、F1 スコアは0.379と低かった。
• LLM のパフォーマンス：
  • 基本プロンプティング： F1 スコアを大幅に改善（例：Gemini 3 Pro：0.818）。
  • 数学認識型プロンプティング： 数値的曖昧性に明示的に取り組むことで適合率をさらに向上（Claude 4.5 Opus の F1：0.802）。
  • セグメント認識型プロンプティング： 全体的に最高のパフォーマンスを達成。Gemini 3 Proはセグメント認識型プロンプティングにより、F1 スコア 0.821（適合率：0.888、再現率：0.764）に達した。
• 偽陽性への影響： セグメント認識型アプローチは、重要な数値カテゴリにおける偽陽性を90% 以上削減した（例：DATE の偽陽性を 99.5% 削減し、US_DRIVER_LICENSE の偽陽性を完全に排除）一方で、ベースラインと同等の再現率レベルを維持した。

4. 主要な貢献

1. 数値的曖昧性の特定： 本論文は、数値的曖昧性を数学チュータリング対話の匿名化における中心的な失敗モードとして確立し、ドメインの文脈なしでは標準ツールが数式と機密識別子を区別できないことを実証している。
2. MathEd-PII ベンチマーク： 数学チュータリングにおける PII 検出のための最初の公開利用可能なベンチマークデータセットの導入。これは、元の非赤化データを共有することなく厳密な評価を可能にする、革新的な人間と LLM の協調による代理ワークフローを通じて構築された。
3. ドメイン認識型モデリングの証拠： 有用性保持型の匿名化にはドメイン認識型モデリングが必要であるという実証的示唆。具体的には、セグメンテーションラベルを介して数学的談話の文脈を LLM プロンプティングに組み込むことは、ドメイン非依存のベースラインを大幅に凌駕する。

5. 意義と主張

著者らは、チュータリング対話の匿名化をドメイン非依存の前処理ステップとして扱うことはできないと主張している。本研究は、分析有用性を保持するにはドメイン（数学）の特定の文脈を組み込む必要があるという証拠を提供している。

• プライバシー対有用性： この研究は、検出システムがドメインを認識している場合、真の PII を除去する高いプライバシー保護を達成しつつ、データの指導的忠実度（数学コンテンツの保持）を犠牲にしないことが可能であることを示している。
• 方法論的貢献： 本論文は、元のデータを共有できないプライバシーに敏感なドメインにおいて、文脈的に整合性のある代理データを生成するために LLM を使用する、高品質なベンチマークデータを生成するための再現可能なワークフローを提供している。
• 限界： 著者らは、データセットが単一の米国プラットフォームに限定されていること、そして適合率が大幅に改善された一方で再現率の最適化は今後の課題であることを指摘している。また、現在のプロンプティングへの依存はモデルバージョン間で不安定である可能性があり、専門モデルの微調整に関する今後の研究を提案している。

結論として、本論文は、対話ベースの教育データを共有可能かつ有用なものとするためには、匿名化パイプラインが、汎用的なルールベースまたはモデルベースのアプローチから、数学の問題と個人識別子の意味的差異を理解するドメイン認識型戦略へと進化しなければならないと論じている。