Contestability without recourse: post-decision safeguards for disabled learners in AI-supported educational decision-making

Résumé Technique : La contestabilité sans recours

Énoncé du problème
L'article traite d'une asymétrie critique dans la littérature concernant l'intelligence artificielle (IA) dans l'éducation, spécifiquement en ce qui concerne les apprenants en situation de handicap et à besoins éducatifs particuliers (BEP). Alors que la recherche a largement cartographié les biais algorithmiques, l'équité et la production technique des décisions, elle a largement délaissé la question de la contestabilité : quels recours un apprenant ou son représentant possède-t-il après qu'une décision conséquente a été prise. L'auteur soutient qu'une décision peut être démontrable par sa justice (en termes de production) tout en laissant le sujet affecté sans aucun mécanisme pour la modifier. Le problème central est l'absence de garanties post-décisionnelles définies — des mécanismes permettant à un apprenant de contester, de corriger ou d'infirmer une décision éducative assistée par l'IA.

Méthodologie
L'étude emploie une revue systématique et une analyse de corpus de la littérature de recherche, structurée comme suit :

• Construction du corpus : Une recherche a été effectuée dans 12 sources bibliographiques (incluant Scopus, ERIC et Crossref) en utilisant des termes liés à « l'intelligence artificielle », au « handicap/BEP » et à « l'éducation ». Crucialement, les termes de recherche ont exclu les concepts liés à l'équité, au biais, à l'appel ou à la contestation afin de garantir que le corpus ne soit pas biaisé en faveur de l'un ou l'autre côté de la comparaison.
• Critères de sélection : À partir d'un ensemble initial de 1 690 notices, 727 ont été filtrées par titre/résumé, et 138 rapports complets ont été obtenus et analysés. Les critères d'inclusion exigeaient la vérification des trois concepts fondamentaux (IA, handicap, éducation) dans les métadonnées.
• Protocole de mesure : L'analyse a mesuré la proximité de concepts spécifiques avec les termes liés à la « décision » (dans une fenêtre de 240 caractères).
  • Concepts pré-décisionnels : Biais, équité, éthique, confidentialité, précision, explicabilité, consentement.
  • Mécanismes post-décisionnels : Reconsidération humaine, correction de données, appel, recours/réparation, et explication-pour-contestation.
• Définitions et exclusions : L'article définit rigoureusement les « garanties post-décisionnelles » en excluant les concepts souvent confondus avec le recours, tels que :
  • Explicabilité : Fournir un compte rendu de la décision sans offrir de voie de contestation.
  • Supervision humaine : Implication de l'enseignant ou du clinicien dans le processus de prise de décision (ce qui reste un contrôle du côté de l'opérateur, et non un droit de l'apprenant).
  • Audits pré-déploiement : Vérifications ayant lieu avant l'existence de toute décision.
  • Consentement : Autorisations pour la collecte de données plutôt que des remèdes pour les résultats.
• Validation : Deux réviseurs indépendants ont évalué les 138 textes intégraux pour la présence de garanties invocables par l'apprenant. Une recherche secondaire ciblée a également été menée pour déterminer si une littérature sur le recours pour les apprenants en situation de handicap existe en dehors du corpus spécifique à l'IA.

Principales contributions

1. Distinction conceptuelle : L'article distingue formellement la contestabilité (la capacité de contester une décision) de l'explicabilité et de l'équité. Il pose que l'équité concerne comment une décision est produite, tandis que la contestabilité concerne ce que le sujet peut faire après coup.
2. Définition opérationnelle : Il fournit une définition précise en cinq parties d'une « garantie post-décisionnelle » (reconsidération humaine, correction de données, appel, réparation et explication-pour-contestation) suffisamment spécifique pour être mesurée empiriquement dans les rapports de recherche.
3. Analyse du vide juridique : L'article analyse le Règlement général sur la protection des données (RGPD), la loi sur l'IA de l'UE et la Convention des Nations Unies relative aux droits des personnes handicapées (CNUDPH). Il conclut que, bien que ces instruments présument un droit de contestation, aucun ne spécifie de procédure au niveau scolaire permettant à un apprenant d'initier une reconsidération.
4. Mesure empirique : Il quantifie la disparité de l'attention de la recherche, démontrant que la littérature se concentre lourdement sur la qualité de la décision (biais/équité) tout en ignorant le recours décisionnel.

Résultats
L'analyse du corpus de 138 documents a produit les résultats suivants :

• Dominance pré-décisionnelle : Les termes dénotant le « biais » ou l'« équité » sont apparus à proximité d'un terme de décision dans 74,6 % des documents. L'« explicabilité » est apparue dans 19,6 %.
• Absence post-décisionnelle : Les termes dénotant l'« appel », la « contestation » ou la « procédure régulière » sont apparus à proximité d'un terme de décision dans 0,0 % des documents.
• Vocabulaire détaché : Bien que des termes comme « réparation » ou « reconsidération humaine » soient apparus dans les documents, ils étaient systématiquement détachés du contexte décisionnel. Ils apparaissaient dans le résumé ou la discussion générale mais n'étaient jamais liés au mécanisme spécifique par lequel un apprenant conteste un résultat.
• « Supervision » centrée sur l'enseignant : Les rares cas de « reconsidération humaine » (6,5 % des documents) décrivaient des capacités détenues par les enseignants ou les cliniciens (par exemple, une annulation manuelle), et non des droits détenus par l'apprenant ou sa famille.
• Résultats de la recherche ciblée : Une recherche distincte pour « recours » et « handicap/éducation » a identifié 102 notices pertinentes. Cependant, aucune de ces publications ne mentionnait l'IA, les algorithmes ou l'apprentissage automatique dans leurs titres. Cela indique que la littérature sur le recours éducatif pour les apprenants en situation de handicap et la littérature sur l'IA dans l'éducation sont des domaines distincts et non superposables.

Signification et affirmations
L'article affirme que le domaine de l'IA dans l'éducation a développé des normes sophistiquées pour évaluer comment les décisions sont prises, mais a échoué à traiter ce qui se passe après qu'elles ont été prises.

• Le sophisme de l'équité : L'auteur soutient que se concentrer sur l'équité est insuffisant ; un algorithme équitable peut tout de même produire une décision qui est immuable pour l'apprenant affecté.
• Nécessité procédurale : L'article affirme que la contestabilité est une exigence procédurale, et non technique. Elle nécessite de céder le pouvoir à l'apprenant (ou à son représentant) pour initier une révision, une étape que les modèles actuels de « l'humain dans la boucle » ne fournissent pas.
• Angle mort de la recherche : L'absence de recours dans la littérature n'est pas due à un manque d'attention académique aux droits des personnes handicapées en général, mais plutôt à un échec de connexion entre cette recherche et la prise de décision assistée par l'IA.
• Portée modeste : L'auteur précise explicitement que ses conclusions décrivent la littérature de recherche, et non nécessairement les pratiques réelles des écoles. Il reconnaît que des pratiques de reconsidération efficaces peuvent exister dans les écoles mais restent non documentées, ou inversement, que des droits statutaires peuvent exister mais s'avérer inefficaces en pratique. L'article conclut que la communauté de recherche doit déplacer son attention de la seule optimisation de la production de décisions vers l'établissement de mécanismes de contestation post-décisionnels.