Contestability without recourse: post-decision safeguards for disabled learners in AI-supported educational decision-making

Resumo Técnico: Contestabilidade sem Recurso

Problema de Pesquisa
O artigo aborda uma assimetria crítica na literatura sobre Inteligência Artificial (IA) na educação, especificamente no que diz respeito a alunos com deficiência e necessidades educativas especiais (NEE). Enquanto a pesquisa mapeou extensivamente o viés algorítmico, a justiça e a produção técnica de decisões, ela deslocou amplamente a questão da contestabilidade: qual recurso um aluno ou seu representante possui após uma decisão consequente ser tomada. O autor argumenta que uma decisão pode ser demonstravelmente justa (em termos de sua produção), mas deixar o sujeito afetado sem qualquer mecanismo para alterá-la. O problema central é a ausência de salvaguardas pós-decisão definidas — mecanismos que permitam ao aluno contestar, corrigir ou anular uma decisão educacional apoiada por IA.

Metodologia
O estudo emprega uma revisão sistemática e uma análise de corpus da literatura de pesquisa, estruturada da seguinte forma:

• Construção do Corpus: Uma busca foi realizada em 12 fontes bibliográficas (incluindo Scopus, ERIC e Crossref) utilizando termos relacionados a "inteligência artificial", "deficiência/NEE" e "educação". Crucialmente, os termos de busca excluíram conceitos relacionados a justiça, viés, apelação ou contestação para garantir que o corpus não fosse enviesado para nenhum dos lados da comparação.
• Critérios de Seleção: De um conjunto inicial de 1.690 registros, 727 foram triados por título/resumo, e 138 relatórios de texto completo foram obtidos e analisados. Os critérios de inclusão exigiram a verificação de todos os três conceitos centrais (IA, deficiência, educação) nos metadados.
• Protocolo de Medição: A análise mediu a proximidade de conceitos específicos aos termos de "decisão" (dentro de uma janela de 240 caracteres).
  • Conceitos pré-decisão: Viés, justiça, ética, privacidade, precisão, explicabilidade, consentimento.
  • Mecanismos pós-decisão: Reconsideração humana, correção de dados, apelação, reparação/recurso e explicação-para-contestação.
• Definições e Exclusões: O artigo define rigorosamente "salvaguardas pós-decisão" para excluir conceitos frequentemente confundidos com recurso, tais como:
  • Explicabilidade: Fornecer uma conta da decisão sem uma rota para contestação.
  • Supervisão Humana: Envolvimento de professores ou clínicos no processo de tomada de decisão (que permanece um controle do lado do operador, não um direito do aluno).
  • Auditorias Pré-implantação: Verificações que ocorrem antes de qualquer decisão existir.
  • Consentimento: Permissões para coleta de dados, em vez de remédios para resultados.
• Validação: Dois revisores independentes avaliaram os 138 textos completos quanto à presença de salvaguardas invocáveis pelo aluno. Uma busca secundária e direcionada também foi realizada para determinar se existe literatura sobre recurso para alunos com deficiência fora do corpus específico de IA.

Principais Contribuições

1. Distinção Conceitual: O artigo distingue formalmente contestabilidade (a capacidade de contestar uma decisão) de explicabilidade e justiça. Ele postula que a justiça refere-se a como uma decisão é produzida, enquanto a contestabilidade refere-se ao que o sujeito pode fazer depois.
2. Definição Operacional: Fornece uma definição precisa de cinco partes para uma "salvaguarda pós-decisão" (Reconsideração humana, Correção de dados, Apelação, Reparação e Explicação-para-contestação) que é específica o suficiente para ser medida empiricamente em relatórios de pesquisa.
3. Análise de Lacuna Legal: O artigo analisa o Regulamento Geral de Proteção de Dados (GDPR), a Lei de IA da UE e a Convenção da ONU sobre os Direitos das Pessoas com Deficiência (UNCRPD). Conclui que, embora esses instrumentos presumam o direito de contestar, nenhum especifica um procedimento ao nível escolar para um aluno iniciar uma reconsideração.
4. Medição Empírica: Quantifica a disparidade na atenção da pesquisa, demonstrando que a literatura foca pesadamente na qualidade da decisão (viés/justiça) enquanto ignora o recurso da decisão.

Resultos
A análise do corpus de 138 documentos gerou os seguintes achados:

• Dominância Pré-decisão: Termos denotando "viés" ou "justiça" apareceram em proximidade a um termo de decisão em 74,6% dos documentos. A "explicabilidade" apareceu em 19,6%.
• Ausência Pós-decisão: Termos denotando "apelação", "contestação" ou "devido processo" apareceram em proximidade a um termo de decisão em 0,0% dos documentos.
• Vocabulário Desconectado: Embora termos como "reparação" ou "reconsideração humana" tenham aparecido nos documentos, eles estavam consistentemente desconectados do contexto de decisão. Eles apareciam no resumo ou na discussão geral, mas nunca foram vinculados ao mecanismo específico de um aluno contestando um resultado.
• "Supervisão" Centrada no Professor: Os poucos casos de "reconsideração humana" (6,5% dos documentos) descreviam capacidades detidas por professores ou clínicos (ex: sobreposição manual), não direitos detidos pelo aluno ou sua família.
• Achados da Busca Direcionada: Uma busca separada por "recurso" e "deficiência/educação" identificou 102 registros relevantes. No entanto, nenhum desses títulos mencionava IA, algoritmos ou aprendizado de máquina. Isso indica que a literatura sobre recurso educacional para alunos com deficiência e a literatura sobre IA na educação são campos distintos e não sobrepostos.

Significância e Alegações
O artigo alega que o campo da IA na educação desenvolveu padrões sofisticados para avaliar como as decisões são tomadas, mas falhou em abordar o que acontece depois que elas são tomadas.

• A Falácia da "Justiça": O autor argumenta que focar na justiça é insuficiente; um algoritmo justo ainda pode produzir uma decisão que é imutável para o aluno afetado.
• Necessidade Procedimental: O artigo afirma que a contestabilidade é um requisito procedimental, não técnico. Ela exige ceder poder ao aluno (ou seu representante) para iniciar uma revisão, um passo que os modelos atuais de "humano no circuito" (human-in-the-loop) não provêm.
• Ponto Cego de Pesquisa: A ausência de recurso na literatura não se deve à falta de atenção acadêmica aos direitos das pessoas com deficiência em geral, mas sim a uma falha em conectar essa produção acadêmica com a tomada de decisão apoiada por IA.
• Escopo Modesto: O autor afirma explicitamente que seus achados descrevem a literatura de pesquisa, não necessariamente as práticas reais das escolas. Ele reconhece que práticas eficazes de reconsideração podem existir nas escolas, mas permanecem indocumentadas, ou inversamente, que direitos estatutários podem existir, mas são ineficazes na prática. O artigo conclui que a comunidade de pesquisa deve mudar seu foco de apenas otimizar a produção de decisões para estabelecer mecanismos de contestação pós-decisão.