Contestability without recourse: post-decision safeguards for disabled learners in AI-supported educational decision-making

技术摘要：缺乏救济手段的可争辩性

问题陈述
本文针对人工智能（AI）在教育领域的研究中存在的一个关键不对称性提出了探讨，特别是针对残障人士及特殊教育需求（SEN）的学习者。虽然现有研究已广泛绘制了算法偏见、公平性和决策的技术生成过程，但却在很大程度上忽视了可争辩性（contestability）的问题：即在具有后果性的决策做出之后，学习者或其代表拥有何种救济手段。作者认为，一个决策在证明其生成过程是公平的同时，仍可能导致受影响的主体面临无法改变该决策的局面。核心问题在于缺乏明确的决策后保障机制（post-decision safeguards）——即允许学习者对 AI 支持的教育决策进行质疑、纠正或推翻的机制。

研究方法
本研究采用了系统综述和语料库分析法，研究结构如下：

• 语料库构建： 在 12 个文献来源（包括 Scopus、ERIC 和 Crossref）中进行了检索，关键词涉及“人工智能”、“残障/特殊教育需求”和“教育”。至关重要的是，检索词排除了与公平性、偏见、上诉或争辩相关的概念，以确保语料库不会向比较的任何一方产生偏差。
• 筛选标准： 从最初的 1,690 条记录中，通过标题/摘要筛选出 727 条，并获取并分析了 138 篇全文报告。纳入标准要求在元数据中同时验证三个核心概念（AI、残障、教育）。
• 测量协议： 分析测量了特定概念与“决策（decision）”术语的接近程度（在 240 个字符的窗口内）。
  • 决策前概念： 偏见、公平性、伦理、隐私、准确性、可解释性、知情同意。
  • 决策后机制： 人类重新审议、数据纠正、上诉、救济/补救、以及用于挑战的解释。
• 定义与排除： 本文严格定义了“决策后保障机制”，将其与常被混淆的救济概念区分开来，例如：
  • 可解释性： 提供决策说明，但不提供挑战路径。
  • 人类监督： 指教师或临床医生在决策过程中的参与（这属于操作侧控制，而非学习者的权利）。
  • 部署前审计： 在任何决策产生之前进行的检查。
  • 知情同意： 指对数据收集的许可，而非对结果的救济。
• 验证： 两名独立评审员对 138 篇全文进行了评估，以确定是否存在学习者可发起的保障措施。此外，还进行了二次针对性搜索，以确定在 AI 特定语料库之外，是否存在关于残障学习者救济手段的文献。

核心贡献

1. 概念区分： 本文正式区分了可争辩性（挑战决策的能力）与可解释性及公平性。文章指出，公平性关注的是决策如何生成，而可争辩性关注的是受影响主体在决策后可以做什么。
2. 操作性定义： 它提供了一个精确的、由五个部分组成的“决策后保障机制”定义（人类重新审议、数据纠正、上诉、救济以及用于挑战的解释），其定义足够精确，足以在研究报告中进行实证测量。
3. 法律差距分析： 本文分析了《通用数据保护条例》（GDPR）、《欧盟人工智能法案》以及《联合国残疾人权利公约》（UNCRPD）。结论指出，尽管这些法律工具推定存在争辩权，但均未规定学校层面的具体程序，以便学习者发起重新审议。
4. 实证测量： 它量化了研究关注度的差异，证明了文献高度集中于决策质量（偏见/公平性），而忽略了决策救济。

结果
对 138 篇文档构成的语料库进行的分析得出以下发现：

• 决策前主导地位： 表示“偏见”或“公平性”的术语在决策相关文档中的出现频率为 74.6%。“可解释性”出现的频率为 19.6%。
• 决策后缺失： 表示“上诉”、“挑战”或“正当程序”的术语在决策相关文档中的出现频率为 0.0%。
• 脱节的词汇： 虽然文中出现了“救济”或“人类重新审议”等术语，但它们始终与决策语境脱节。这些术语出现在摘要或一般性讨论中，但从未与学习者挑战结果的具体机制相联系。
• 以教师为中心的“监督”： 少数出现的“人类重新审议”案例（占 6.5%）描述的是教师或临床医生所持有的能力（例如手动覆盖/干预），而非学习者或其家庭所持有的权利。
• 针对性搜索结果： 针对“救济（recourse）”和“残障/教育”进行的独立搜索识别出 102 条相关记录。然而，没有任何一条标题提及 AI、算法或机器学习。这表明，关于残障学习者教育救济的文献与关于教育领域 AI 的文献是两个截然不同、互不重叠的领域。

意义与主张
本文声称，教育 AI 领域已经建立了评估决策如何产生的复杂标准，但未能解决决策做出后会发生什么。

• “公平性”谬误： 作者认为，仅仅关注公平性是不够的；一个公平的算法仍然可能产生一个对于受影响的学习者而言无法更改的决策。
• 程序必要性： 本文断言，可争辩性是一种程序性要求，而非技术性要求。它要求将权力让渡给学习者（或其代表），使其能够发起审查，而目前的“人类在环（human-in-the-loop）”模型并未提供这一步骤。
• 研究盲点： 文献中救济手段的缺失并非由于对残障权利普遍关注不足，而是由于未能将该项学术研究与 AI 支持的决策制定相结合。
• 研究范围限制： 作者明确指出，其发现描述的是研究文献，而非必然代表学校的实际做法。作者承认，学校中可能存在有效的重新审议实践，但尚未被记录；或者，法定权利可能存在，但在实践中却难以有效实施。文章总结道，研究界必须将重心从单纯优化决策生成转向建立决策后的挑战机制。