Contestability without recourse: post-decision safeguards for disabled learners in AI-supported educational decision-making

Resumen Técnico: Contestabilidad sin Recurso

Planteamiento del Problema
El artículo aborda una asimetría crítica en la literatura relativa a la Inteligencia Artificial (IA) en la educación, específicamente en lo que respecta a los estudiantes con discapacidades y necesidades educativas especiales (NEE). Mientras que la investigación ha mapeado extensamente el sesgo algorítmico, la equidad y la producción técnica de las decisiones, ha desplazado en gran medida la cuestión de la contestabilidad: qué tipo de recurso tiene un estudiante o su representante después de que se toma una decisión trascendental. El autor sostiene que una decisión puede ser demostrablemente justa (en términos de su producción) y, aun así, dejar al sujeto afectado sin ningún mecanismo para cambiarla. El problema central es la ausencia de salvaguardas post-decisión definidas: mecanismos que permitan a un estudiante impugnar, corregir o revertir una decisión educativa apoyada por IA.

Metodología
El estudio emplea una revisión sistemática y un análisis de corpus de la literatura de investigación, estructurado de la siguiente manera:

• Construcción del Corpus: Se realizó una búsqueda en 12 fuentes bibliográficas (incluyendo Scopus, ERIC y Crossref) utilizando términos relacionados con "inteligencia artificial", "discapacidad/NEE" y "educación". Crucialmente, los términos de búsqueda excluyeron conceptos relacionados con la equidad, el sesgo, la apelación o la contestación para asegurar que el corpus no estuviera sesgado hacia ninguno de los dos lados de la comparación.
• Criterios de Selección: De un grupo inicial de 1,690 registros, 727 fueron filtrados por título/resumen, y se obtuvieron y analizaron 138 informes de texto completo. Los criterios de inclusión requirieron la verificación de los tres conceptos centrales (IA, discapacidad, educación) en los metadatos.
• Protocolo de Medición: El análisis midió la proximidad de conceptos específicos a los términos de "decisión" (dentro de una ventana de 240 caracteres).
  • Conceptos pre-decisión: Sesgo, equidad, ética, privacidad, precisión, explicabilidad, consentimiento.
  • Mecanismos post-decisión: Reconsideración humana, corrección de datos, apelación, reparación/remedio y explicación para la impugnación.
• Definiciones y Exclusiones: El artículo define rigurosamente "salvaguardas post-decisión" para excluir conceptos que a menudo se confunden con el recurso, tales como:
  • Explicabilidad: Proporcionar una cuenta de la decisión sin una vía para impugnarla.
  • Supervisión Humana: La participación de docentes o clínicos en el proceso de toma de decisiones (que sigue siendo un control por parte del operador, no un derecho del estudiante).
  • Auditorías Pre-despliegue: Verificaciones que ocurren antes de que exista cualquier decisión.
  • Consentimiento: Permisos para la recolección de datos en lugar de remedios para los resultados.
• Validación: Dos revisores independientes evaluaron los 138 textos completos para verificar la presencia de salvaguardas invocables por el estudiante. También se realizó una búsqueda secundaria y dirigida para determinar si existe literatura sobre el recurso para estudiantes con discapacidad fuera del corpus específico de la IA.

Contribuciones Clave

1. Distinción Conceptual: El artículo distingue formalmente la contestabilidad (la capacidad de impugnar una decisión) de la explicabilidad y la equidad. Postula que la equidad se ocupa de cómo se produce una decisión, mientras que la contestabilidad se ocupa de qué puede hacer el sujeto después.
2. Definición Operativa: Proporciona una definición precisa de cinco partes de una "salvaguarda post-decisión" (reconsideración humana, corrección de datos, apelación, reparación y explicación para la impugnación) que es lo suficientemente específica como para ser medida empíricamente en informes de investigación.
3. Análisis de Brechas Legales: El artículo analiza el Reglamento General de Protección de Datos (RGPD), la Ley de IA de la UE y la Convención de las Naciones Unidas sobre los Derechos de las Personas con Discapacidad (CDPD). Concluye que, si bien estos instrumentos presumen un derecho a la contestación, ninguno especifica un procedimiento a nivel escolar para que un estudiante inicie una reconsideración.
4. Medición Empírica: Cuantifica la disparidad en la atención de la investigación, demostrando que la literatura se centra fuertemente en la calidad de la decisión (sesgo/equidad) mientras ignora el recurso de la decisión.

Resultados
El análisis del corpus de 138 documentos arrojó los siguientes hallazgos:

• Dominancia Pre-decisión: Los términos que denotan "sesgo" o "equidad" aparecieron en proximidad a un término de decisión en el 74.6% de los documentos. La "explicabilidad" apareció en el 19.6%.
• Ausencia Post-decisión: Los términos que denotan "apelación", "impugnación" o "debido proceso" aparecieron en proximidad a un término de decisión en el 0.0% de los documentos.
• Vocabulario Desconectado: Aunque términos como "reparación" o "reconsideración humana" aparecieron en los documentos, estos estaban consistentemente desconectados del contexto de la decisión. Aparecían en el resumen o en la discusión general, pero nunca se vincularon al mecanismo específico de un estudiante impugnando un resultado.
• "Supervisión" Centrada en el Docente: Los pocos casos de "reconsideración humana" (6.5% de los documentos) describían capacidades poseídas por docentes o clínicos (por ejemplo, la anulación manual), no derechos poseídos por el estudiante o su familia.
• Hallazgos de la Búsqueda Dirigida: Una búsqueda separada de "recurso" y "discapacidad/educación" identificó 102 registros relevantes. Sin embargo, ninguno de estos títulos mencionaba IA, algoritmos o aprendizaje automático. Esto indica que la literatura sobre el recurso educativo para estudiantes con discapacidad y la literatura sobre la IA en la educación son campos distintos y no se solapan.

Significancia y Reivindicaciones
El artículo sostiene que el campo de la IA en la educación ha desarrollado estándares sofisticados para evaluar cómo se toman las decisiones, pero ha fallado en abordar qué sucede después de que se toman.

• La Falacia de la Equidad: El autor argumenta que centrarse en la equidad es insuficiente; un algoritmo justo puede seguir produciendo una decisión que es inalterable para el estudiante afectado.
• Necesidad Procedimental: El documento afirma que la contestabilidad es un requisito procedimental, no técnico. Requiere ceder el poder al estudiante (o su representante) para iniciar una revisión, un paso que los modelos actuales de "humano en el bucle" (human-in-the-loop) no proporcionan.
• Punto Ciego de la Investigación: La ausencia de recurso en la literatura no se debe a una falta de atención académica a los derechos de las personas con discapacidad en general, sino a un fallo en conectar esa erudición con la toma de decisiones apoyada por IA.
• Alcance Modesto: El autor establece explícitamente que sus hallazgos describen la literatura de investigación, no necesariamente las prácticas reales de las escuelas. Reconoce que pueden existir prácticas efectivas de reconsideración en las escuelas pero que permanecen documentadas, o inversamente, que pueden existir derechos estatutarios pero que son ineficaces en la práctica. El artículo concluye que la comunidad de investigación debe cambiar su enfoque de la optimización exclusiva de la producción de decisiones hacia el establecimiento de mecanismos para la impugnación post-decisión.