Contestability without recourse: post-decision safeguards for disabled learners in AI-supported educational decision-making

Technisches Resümee: Anfechtbarkeit ohne Rechtsbehelf

Problemstellung
Die Arbeit adressiert eine kritische Asymmetrie in der Literatur zur Künstlichen Intelligenz (KI) im Bildungswesen, insbesondere in Bezug auf Lernende mit Behinderungen und besonderem Förderbedarf (SEN). Während die Forschung intensiv algorithmische Voreingenommenheit (Bias), Fairness und die technische Produktion von Entscheidungen untersucht hat, hat sie die Frage der Anfechtbarkeit (Contestability) weitgehend verdrängt: Welchen Rechtsbehelf ein Lernender oder dessen Vertreter nach einer folgenreichen Entscheidung hat. Der Autor argumentiert, dass eine Entscheidung zwar nachweislich fair sein kann (im Hinblick auf ihre Produktion), das betroffene Subjekt jedoch dennoch ohne Mechanismus zur Änderung dieser Entscheidung zurücklassen kann. Das Kernproblem ist das Fehlen definierter Sicherheitsmechanismen nach der Entscheidung (post-decision safeguards) – Mechanismen, die es einem Lernenden ermöglichen, eine KI-gestützte Bildungsentscheidung anzufechten, zu korrigieren oder aufzuheben.

Methodik
Die Studie verwendet eine systematische Übersichtsarbeit und eine Korpusanalyse der Forschungsliteratur, strukturiert wie folgt:

• Konstruktion des Korpus: Eine Suche wurde über 12 bibliografische Quellen (darunter Scopus, ERIC und Crossref) unter Verwendung von Begriffen durchgeführt, die sich auf „Künstliche Intelligenz“, „Behinderung/SEN“ und „Bildung“ beziehen. Entscheidend war, dass die Suchbegriffe Konzepte in Bezug auf Fairness, Bias, Einspruch oder Anfechtung ausschlossen, um sicherzustellen, dass das Korpus nicht zugunsten einer der beiden Vergleichsseiten voreingenommen war.
• Selektionskriterien: Aus einem Pool von ursprünglich 1.690 Datensätzen wurden 727 durch Titel/Abstract gefiltert, und 138 Volltexte wurden zur Analyse bereitgestellt. Die Einschlusskriterien erforderten den Nachweis aller drei Kernkonzepte (KI, Behinderung, Bildung) in den Metadaten.
• Messprotokoll: Die Analyse untersuchte die Nähe spezifischer Konzepte zu „Entscheidungs“-Begriffen (innerhalb eines Fensters von 240 Zeichen).
  • Pre-decision-Konzepte (Vor der Entscheidung): Bias, Fairness, Ethik, Privatsphäre, Genauigkeit, Erklärbarkeit, Einwilligung.
  • Post-decision-Mechanismen (Nach der Entscheidung): Menschliche Neubewertung, Datenkorrektur, Einspruch, Rechtsbehelfe/Abhilfe und Erklärung zur Anfechtung.
• Definitionen und Ausschlüsse: Die Arbeit definiert „Sicherheitsmechanismen nach der Entscheidung“ streng und schließt Konzepte aus, die oft mit Rechtsbehelfen verwechselt werden, wie zum Beispiel:
  • Erklärbarkeit (Explainability): Die Bereitstellung einer Begründung für die Entscheidung ohne Möglichkeit zur Anfechtung.
  • Menschliche Aufsicht (Human Oversight): Die Beteiligung von Lehrkräften oder Klinikern am Entscheidungsprozess (was eine Kontrolle auf Seiten des Betreibers bleibt, kein Recht des Lernenden).
  • Prä-Deployment-Audits: Überprüfungen, die stattfinden, bevor überhaupt eine Entscheidung existiert.
  • Einwilligung (Consent): Genehmigungen zur Datenerhebung statt Rechtsmitteln gegen Ergebnisse.
• Validierung: Zwei unabhängige Reviewer bewerteten die 138 Volltexte auf das Vorhandensein von durch Lernende anfechtbaren Sicherheitsmechanismen. Eine sekundäre, gezielte Suche wurde zudem durchgeführt, um festzustellen, ob eine Literatur über Rechtsbehelfe für Menschen mit Behinderungen außerhalb des KI-spezifischen Korpus existiert.

Zentrale Beiträge

1. Konzeptionelle Unterscheidung: Die Arbeit unterscheidet formal zwischen Anfechtbarkeit (der Fähigkeit, eine Entscheidung anzufechten) und Erklärbarkeit sowie Fairness. Sie postuliert, dass sich Fairness darauf bezieht, wie eine Entscheidung produziert wird, während Anfechtbarkeit betrifft, was das Subjekt danach tun kann.
2. Operationale Definition: Sie liefert eine präzise, fünfteilige Definition eines „Sicherheitsmechanismus nach der Entscheidung“ (menschliche Neubewertung, Datenkorrektur, Einspruch, Abhilfe und Erklärung zur Anfechtung), die spezifisch genug ist, um in Forschungsberichten empirisch messbar zu sein.
3. Rechtliche Lückenanalyse: Die Arbeit analysiert die Datenschutz-Grundverordnung (DSGVO), den EU AI Act und die UN-Behindertenrechtskonvention (UNCRPD). Sie kommt zu dem Schluss, dass diese Instrumente zwar ein Recht auf Anfechtung voraussetzen, jedoch keines der Verfahren ein schulisches Vorgehen spezifiziert, um eine Neubewertung einzuleiten.
4. Empirische Messung: Sie quantifiziert die Disparität der Forschungsaufmerksamkeit und zeigt auf, dass sich die Literatur stark auf die Entscheidungsqualität (Bias/Fairness) konzentriert, während sie den Rechtsbehelf nach der Entscheidung ignoriert.

Ergebnisse
Die Analyse des 138-Dokumente umfassenden Korpus ergab folgende Befunde:

• Dominanz vor der Entscheidung: Begriffe, die „Bias“ oder „Fairness“ bezeichnen, tauchten in 74,6 % der Dokumente in unmittelbarer Nähe zu einem Entscheidungsbegriff auf. „Erklärbarkeit“ trat in 19,6 % der Fälle auf.
• Abwesenheit nach der Entscheidung: Begriffe, die „Einspruch“, „Anfechtung“ oder „rechtsstaatliches Verfahren“ bezeichnen, tauchten in 0,0 % der Dokumente in Nähe zu einem Entscheidungsbegriff auf.
• Entkoppeltes Vokabular: Während Begriffe wie „Abhilfe“ oder „menschliche Neubewertung“ in den Dokumenten vorkamen, waren sie konsequent entkoppelt vom Entscheidungskontext. Sie erschienen im Abstract oder in der allgemeinen Diskussion, wurden jedoch nie mit dem spezifischen Mechanismus einer Anfechtung durch einen Lernenden verknüpft.
• Lehrerzentrierte „Aufsicht“: Die wenigen Fälle von „menschlicher Neubewertung“ (6,5 % der Dokumente) beschrieben Fähigkeiten, die Lehrkräften oder Klinikern vorbehalten waren (z. B. manueller Override), nicht jedoch Rechte, die dem Lernenden oder seiner Familie zustehen.
• Ergebnisse der gezielten Suche: Eine separate Suche nach „Rechtsbehelf“ (Recourse) und „Behinderung/Bildung“ identifizierte 102 relevante Datensätze. Jedoch erwähnte keiner dieser Titel KI, Algorithmen oder maschinelles Lernen. Dies deutet darauf hin, dass die Literatur über Rechtsbehelfe für Lernende mit Behinderungen und die Literatur über KI im Bildungswesen zwei getrennte, sich nicht überschneidende Fachgebiete sind.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass das Feld der KI im Bildungswesen zwar anspruchsvolle Standards für die Bewertung der Entscheidungsfindung entwickelt hat, aber versäumt hat, zu behandeln, was nach der Entscheidungsfindung geschieht.

• Der „Fairness“-Trugschluss: Der Autor argumentiert, dass die Konzentration auf Fairness unzureichend ist; ein fairer Algorithmus kann dennoch eine Entscheidung produzieren, die für den betroffenen Lernenden unveränderlich bleibt.
• Verfahrenstechnische Notwendigkeit: Die Arbeit stellt fest, dass Anfechtbarkeit eine verfahrenstechnische und keine rein technische Anforderung ist. Sie erfordert die Übergabe von Macht an den Lernenden (oder dessen Vertreter), um eine Überprüfung einzuleiten – ein Schritt, den aktuelle „Human-in-the-loop“-Modelle nicht bieten.
• Forschungslücke: Das Fehlen von Rechtsbehelfen in der Literatur ist nicht auf mangelnde allgemeine Aufmerksamkeit für die Rechte von Menschen mit Behinderungen zurückzuführen, sondern auf das Versagen, diese wissenschaftliche Expertise mit der KI-gestützten Entscheidungsfindung zu verknüpfen.
• Begrenzter Umfang: Der Autor gibt explizit an, dass seine Ergebnisse die Forschungsliteratur beschreiben, nicht notwendigerweise die tatsächlichen Praktiken in Schulen. Er räumt ein, dass effektive Verfahren zur Neubewertung in Schulen existieren könnten, aber undokumentiert bleiben, oder dass gesetzliche Rechte bestehen könnten, die in der Praxis jedoch unwirksam sind. Die Arbeit schließt mit dem Appell, dass die Forschungsgemeinschaft den Fokus nicht nur auf die Optimierung der Entscheidungsfindung legen darf, sondern auch auf die Etablierung von Mechanismen zur Anfechtung nach der Entscheidung.