Contestability without recourse: post-decision safeguards for disabled learners in AI-supported educational decision-making

技術的要約：救済手段なき異議申し立て可能性（Contestability without Recourse）

問題提起
本論文は、教育における人工知能（AI）に関する文献における、学習者、特に障害のある学習者や特別支援教育（SEN）を必要とする学習者に関する決定的な非対称性を取り上げている。研究はアルゴリズムのバイアス、公平性、および意思決定の技術的な生成について広範にマッピングしてきた一方で、「異議申し立て可能性（contestability）」、すなわち重大な決定が下された後に、学習者やその代表者がどのような救済手段を持つのかという問いを、大きく置き去りにしてきた。著者は、決定プロセス自体は実証的に公正（その生成過程において）であったとしても、影響を受ける対象者がそれを変更するためのメカニズムを一切持たない状況があり得ることを主張している。核心的な問題は、「決定後のセーフガード（事後的な保護措置）」、すなわち、AIが支援する教育上の決定に対して、学習者が異議を唱え、修正し、あるいは覆すことを可能にするメカニズムが定義されていないことにある。

調査手法
本研究は、以下の構成による研究文献の系統的レビューおよびコーパス分析を用いている。

• コーパスの構築: 「人工知能（artificial intelligence）」、「障害／SEN（disability/SEN）」、および「教育（education）」に関連する用語を用いて、12の書誌ソース（Scopus、ERIC、Crossrefを含む）にわたる検索を実施した。重要な点として、比較対象への偏りを避けるため、検索用語からは「公平性（fairness）」、「バイアス（bias）」、「不服申し訳（appeal）」、または「異議申し立て（contestation）」に関連する概念を除外した。
• 選定基準: 初期段階の1,690件のレコードから、タイトルと抄録によって727件をスクリーニングし、138件の全文レポートを取得して分析した。採用基準は、メタデータにおいてこれら3つの核となる概念（AI、障害、教育）のすべてが検証されていることを求めた。
• 測定プロトコル: 分析では、特定の概念と「決定（decision）」に関する用語との近接性を測定した（240文字のウィンドウ内）。
  • 決定前（Pre-decision）の概念: バイアス、公平性、倫理、プライバシー、正確性、説明可能性、同意。
  • 決定後（Post-decision）のメカニズム: 人間による再検討、データの修正、不服申し立て、救済／補償、および異議申し立てのための説明。
• 定義と除外事項: 本論文は、「決定後のセーフガード」を、救済策としばしば混同される以下の概念から厳密に区別して定義している。
  • 説明可能性（Explainability）: 決定に至る経緯の説明は提供するが、それに異議を唱える経路を持たないもの。
  • 人間による監視（Human Oversight）: 教師や臨床医による意思決定プロセスへの関与（これはオペレーター側の制御であり、学習者の権利ではない）。
  • 導入前の監査（Pre-deployment Audits）: 決定が存在する前に行われるチェック。
  • 同意（Consent）: データ収集に対する許可であり、結果に対する救済策ではない。
• 妥当性の検証: 2名の独立した査読者が、138件の全文を評価し、学習者が行使可能なセーフガードの有無を確認した。また、AI特有のコーパス以外に、障害のある学習者のための救済に関する文献が存在するかどうかを判断するため、二次的なターゲット検索も実施した。

主な貢献

1. 概念的分離: 本論文は、「異議申し立て可能性（contestability）」（決定に異議を唱える能力）を、「説明可能性（explainability）」や「公平性（fairness）」から明確に区別している。公平性は決定が「どのように」生成されるかに焦点を当てるのに対し、異議申し立て可能性は、決定後に「対象者が何をなし得るか」に関わるものであると断じている。
2. 操作的定義: 「決定後のセーフガード」（人間による再検討、データの修正、不服申し立て、救済、および異議申し立てのための説明）に関する精密な5部構成の定義を提供しており、これは研究報告において経験的に測定可能なほど具体的である。
3. 法的ギャップ分析: 本論文は、EU一般データ保護規則（GDPR）、EU AI法、および国連障害者権利条約（UNCRPD）を分析している。結論として、これらの制度は異議を唱える権利を前提としているものの、学校レベルで学習者が再検討を開始するための具体的な手続きについては、いずれも規定していない。
4. 経験的測定: 研究の注目の偏りを定量化し、文献が決定の質（バイアス／公平性）には多大な関心を寄せている一方で、決定への救済（recourse）を無視していることを実証した。

結果
138件の文書からなるコーパスの分析により、以下の知見が得られた。

• 決定前の優位性: 「バイアス」や「公平性」を意味する用語は、決定に関する用語の近傍に**74.6%**の文書で出現した。「説明可能性」は19.6%であった。
• 決定後の欠如: 「不服申し立て（appeal）」、「異議（challenge）」、または「適正手続き（due process）」を意味する用語は、決定に関する用語の近傍に**0.0%**の文書でしか出現しなかった。
• 乖離した語彙: 「救済（redress）」や「人間による再検討（human reconsideration）」といった用語は文書内に存在したが、それらは一貫して決定の文脈から切り離されていた。それらは抄録や一般的な議論には登場するものの、学習者が結果に異議を唱えるための具体的なメカニズムとしては結び付けられていなかった。
• 教師中心の「監視」: 「人間による再検討」が登場した数少ない事例（6.5%の文書）は、教師や臨床医が保持する能力（例：手動によるオーバーライド）を記述したものであり、学習者やその家族が保持する権利ではなかった。
• ターゲット検索の結果: 「救済（recourse）」および「障害／教育（disability/education）」に関する別途の検索では、102件の関連レコードが特定された。しかし、これらのタイトルのうち、AI、アルゴリズム、または機械学習に言及していたものは一つもなかった。これは、障害のある学習者のための教育的救済に関する文献と、教育におけるAIに関する文献が、互いに重なり合わない別個の領域であることを示している。

意義と主張
本論文は、教育におけるAI分野は、決定がどのように行われるかを評価するための洗練された基準を開発してきたが、決定が行われた後に何が起こるかについては対処できていないと主張している。

• 「公平性」の誤謬: 公平性に焦点を当てるだけでは不十分であると著者は論じている。公正なアルゴリズムであっても、影響を受ける学習者にとって変更不可能な決定を生み出す可能性があるからである。
• 手続き上の必要性: 異議申し立て可能性は、技術的な要件ではなく、手続き上の要件である。それは、現在の「ヒューマン・イン・ザ・ループ（人間が介在するモデル）」が提供していない、レビューを開始するための権限を学習者（またはその代表者）に譲渡することを必要とする。
• 研究の盲点: 救済措置の欠如は、障害者の権利全般に対する学術的関心の欠如によるものではなく、むしろその学問領域をAIを活用した意思決定に結びつけることができていないことに起因する。
• 限定的な範囲: 著者は、自身の知見はあくまで「研究文献」を記述したものであり、必ずしも学校における実際の慣行を記述したものではないことを明示している。効果的な再検討の実践が学校現場に存在する可能性はあるが、それが文書化されていない、あるいは法定の権利が存在しても実効性がない可能性があることを認めている。本論文は、研究コミュニックティが、単に決定の生成を最適化することから、決定後の異議申し立てのメカニズムを確立することへと焦点を移すべきであると結論づけている。