Contestability without recourse: post-decision safeguards for disabled learners in AI-supported educational decision-making

기술 요약: 구제 수단 없는 이의 제기 가능성

문제 정의
본 논문은 장애 및 특수 교육 대상(SEN) 학습자와 관련하여 인공지능(AI)을 다루는 문헌에 존재하는 결정적인 비대칭성을 다룬다. 기존 연구들은 알고리즘적 편향, 공정성, 그리고 의사결정의 기술적 생성 과정을 광범위하게 탐구해 왔으나, 정작 이의 제기 가능성(contestability), 즉 중대한 결정이 내려진 후에 학습자나 그 대리인이 가질 수 있는 구제 수단에 대한 질문은 간과해 왔다. 저자는 어떤 결정이 (그 생성 과정 측면에서) 입증 가능한 수준으로 공정할지라도, 영향을 받는 대상자가 이를 변경할 수 있는 메커니즘이 없다면 무의미하다고 주장한다. 핵심 문제는 사후 결정 보호 장치(post-decision safeguards), 즉 학습자가 AI 기반 교육적 결정을 이의 제기, 수정 또는 번복할 수 있도록 허용하는 메커니즘이 정의되지 않았다는 점이다.

연구 방법론
본 연구는 다음과 같이 구조화된 체계적 문헌 고찰 및 코퍼스 분석을 수행하였다:

• 코퍼스 구축: "인공지능", "장애/특수 교육 대상(SEN)", "교육"과 관련된 용어를 사용하여 12개의 서지 소스(Scopus, ERIC, Crossref 포함)를 검색하였다. 특히, 비교 대상에 대한 편향을 방지하기 위해 검색어에서 공정성, 편향, 항소 또는 이의 제기와 관련된 개념을 제외하였다.
• 선정 기준: 초기 1,690개의 기록 중 727개를 제목/초록 기준으로 스크erting하였으며, 138개의 전문(full-text) 보고서를 확보하여 분석하였다. 포함 기준은 메타데이터 내에서 세 가지 핵심 개념(AI, 장애, 교육)이 모두 확인되는 것을 요구하였다.
• 측정 프로토콜: 본 분석은 특정 개념이 "결정(decision)" 관련 용어와 얼마나 근접해 있는지(240자 이내의 윈도우)를 측정하였다.
  • 사전 결정 개념 (Pre-decision concepts): 편향, 공정성, 윤리, 프라이버시, 정확성, 설명 가능성, 동의.
  • 사후 결정 메커니즘 (Post-decision mechanisms): 인간에 의한 재검토, 데이터 수정, 항소, 구제/구제책, 이의 제기를 위한 설명.
• 정의 및 제외 사항: 본 논문은 구제 수단과 흔히 혼동되는 다음의 개념들을 제외함으로써 "사후 결정 보호 장치"를 엄격하게 정의한다:
  • 설명 가능성 (Explainability): 도전을 위한 경로 없이 결정에 대한 설명을 제공하는 것.
  • 인간 감독 (Human Oversight): 의사결정 과정에 교사나 임상의가 개입하는 것 (이는 운영자 측의 통제일 뿐, 학습자의 권리가 아니다).
  • 배포 전 감사 (Pre-deployment Audits): 결정이 존재하기 전에 발생하는 점검.
  • 동의 (Consent): 데이터 수집에 대한 허가이지, 결과에 대한 구제책이 아니다.
• 검증: 두 명의 독립적인 검토자가 138개의 전문을 검토하여 학습자가 행사할 수 있는 보호 장치의 존재 여부를 평가하였다. 또한, AI 특정 코퍼스 외부에 장애 학습자를 위한 구제 수단에 관한 문헌이 존재하는지 확인하기 위해 별도의 표적 검색을 실시하였다.

주요 기여

1. 개념적 구분: 본 논문은 이의 제기 가능성(결정에 도전할 수 있는 능력)을 설명 가능성 및 공정성과 공식적으로 구분한다. 공정성이 결정이 어떻게 생성되는지에 관한 문제라면, 이의 제기 가능성은 결정 이후에 대상자가 무엇을 할 수 있는지에 관한 문제라고 상정한다.
2. 운영적 정의: 연구 보고서에서 경험적으로 측정 가능할 만큼 구체적인 5단계 "사후 결정 보호 장치"(인간에 의한 재검토, 데이터 수정, 항소, 구제, 이의 제기를 위한 설명)의 정의를 제공한다.
3. 법적 공백 분석: 일반 데이터 보호 규정(GDPR), EU AI 법, UN 장애인 권리 협약(UNCRPD)을 분석한다. 본 논문은 이러한 법적 도구들이 이의 제기 권리를 전제하고 있음에도 불구하고, 학교 현장에서 학습자가 재검토를 요청할 수 있는 구체적인 절차를 명시하지 않고 있다고 결론짓는다.
4. 경험적 측정: 연구의 관심이 결정의 질(편향/공정성)에는 집중되어 있는 반면, 결정에 대한 구제(recourse)는 무시되고 있음을 정량적으로 입증하여 연구의 불균형을 보여준다.

결과
138개의 문서로 구성된 코퍼스 분석 결과는 다음과 같다:

• 사전 결정 우세: "편향" 또는 "공정성"을 나타내는 용어가 결정 용어와 근접하게 나타난 문서는 **74.6%**였다. "설명 가능성"은 19.6%에 나타났다.
• 사후 결정 부재: "항소(appeal)", "도전(challenge)" 또는 "적법 절차(due process)"를 나타내는 용어가 결정 용어와 근접하게 나타난 문서는 **0.0%**였다.
• 분리된 어휘: "구제(redress)" 또는 "인간에 의한 재검토"와 같은 용어가 문서에 등장하기는 했으나, 이들은 결정 맥락으로부터 일관되게 분리되어 있었다. 이 용어들은 초록이나 일반적인 논의에는 등장했으나, 학습자가 결과를 다투는 구체적인 메커니즘과 연결되지는 않았다.
• 교사 중심의 "감독": "인간에 의한 재검토"가 언급된 극소수의 사례(6.5%의 문서)는 교사나 임상의가 보유한 역량(예: 수동 오버라이드)을 설명했을 뿐, 학습자나 가족이 보유한 권리를 설명한 것이 아니었다.
• 표적 검색 결과: "구제(recourse)" 및 "장애/교육"을 대상으로 한 별도의 검색에서는 102개의 관련 기록이 식별되었다. 그러나 이들 중 어느 것도 AI, 알고리즘 또는 머신러닝을 언급하지 않았다. 이는 장애 학습자를 위한 교육적 구제에 관한 문헌과 AI 교육 문헌이 서로 겹치지 않는 별개의 영역임을 시사한다.

의의 및 주장
본 논문은 AI 교육 분야가 결정이 어떻게 내려지는지를 평가하는 정교한 표준은 개발했으나, 결정이 내려진 후에 어떤 일이 일어나는지에 대해서는 대응하지 못했다고 주장한다.

• "공정성"의 오류: 공정성에 집중하는 것만으로는 불충분하다고 주장한다. 공정한 알고리즘이라 할지라도 영향을 받는 학습자에게 변경 불가능한 결정을 내릴 수 있기 때문이다.
• 절차적 필요성: 이의 제기 가능성은 기술적 문제가 아니라 절차적 요구사항이다. 이는 현재의 "인간 참여형(human-in-the-loop)" 모델이 제공하지 못하는, 학습자(또는 그 대리인)가 검토를 요청할 수 있도록 권한을 양도하는 과정을 필요로 한다.
• 연구의 사각지대: 구제의 부재는 일반적인 장애 권리에 대한 학술적 관심의 부족 때문이 아니라, 그러한 학술적 성과를 AI 기반 의사결정과 연결하는 데 실패했기 때문이다.
• 제한적 범위: 저자는 자신의 연구 결과가 실제 학교 현장의 관행을 설명하는 것이 아니라 연구 문헌을 기술하고 있음을 명시한다. 효과적인 재검토 관행이 학교 현장에 존재할 수도 있지만 문서화되지 않았을 수도 있으며, 반대로 법적 권리는 존재하지만 실제로는 효과가 없을 수도 있음을 인정한다. 결론적으로 연구 공동체는 결정의 생산을 최적화하는 것에서 나아가, 결정 이후의 이의 제기 메커니즘을 구축하는 쪽으로 초점을 옮겨야 한다고 제언한다.