Perceived Fairness of Algorithm Driven High Stakes Examinations The Role of Statistical Equivalence System Transparency and Explanation in Shaping Trust Legitimacy and Acceptance

Resumo Técnico: Percepção de Justiça em Exames de Alto Impacto Baseados em Algoritmos

Definição do Problema
A rápida integração da tomada de decisão algorítmica (ADM) em avaliações educacionais de alto impacto introduziu uma tensão crítica entre a justiça técnica objetiva e a percepção subjetiva do usuário. Embora os sistemas computadorizados garantam a equivalência estatística (validade psicométrica) entre diferentes formas de testes, esse rigor técnico não se traduz automaticamente em justiça percebida, confiança ou aceitação entre os estudantes. Os usuários frequentemente veem esses sistemas como "caixas pretas", o que gera ceticismo em relação à legitimidade dos resultados, mesmo quando os algoritmos subjacentes são matematicamente sólidos. A literatura existente frequentemente trata a justiça ou como uma métrica puramente técnica ou como uma percepção subjetiva, falhando em unir a validade psicométrica e o julgamento do usuário. Além disso, os papéis da transparência do sistema, da opacidade algorítmica e da explicação na formação da legitimidade algorítmica e da aceitação em contextos educacionais de alto impacto permanecem subexplorados.

Metodologia
O estudo emprega um delineamento de pesquisa quantitativa transversal utilizando uma abordagem híbrida de Modelagem de Equações Estruturais (SEM) e Redes Neurais Artificiais (ANN) para analisar dados de 502 estudantes com experiência em exames computadorizados de alto impacto.

• Coleta de Dados: Foi aplicado um questionário estruturado, medindo constros como Equivalência Estatística (SE), Transparência do Sistema (ST), Opacidade Algorítmica (AO), Exposição ao Banco de Itens (IBE), Justiça Percebida (PF), Confiança (TR), Legitimidade Algorítmica (AL), Aceitação (ACC) e Explicação (EXP).
• Análise SEM: Utilizada para validar o modelo conceitual teórico e testar relações causais lineares (hipóteses H1–H10). A análise avaliou a confiabilidade de medida (alfa de Cronbach, Confiabilidade Composta), validade (Convergente, Discriminante via HTMT e Fornell-Larcker) e coeficientes de caminho estrutural por meio de bootstrapping (5.000 reamostragens).
• Análise ANN: Um Perceptron Multicamadas (MLP) com uma camada oculta foi aplicado para complementar a SEM. O conjunto de dados foi dividido em subconjuntos de treinamento (90%) e teste (10%) através de dez redes neurais para capturar relações não lineares e determinar a importância preditiva relativa das variáveis. O desempenho foi avaliado usando o Erro Quadrático Médio (RMSE).

Principais Resultados

• Determinantes da Justiça Percebida:

  • Suportado: A Exposição ao Banco de Itens (β = 0,337), a Equivalência Estatística (β = 0,279) e a Opacidade Algorítmica (β = 0,209) influenciam significativamente a justiça percebida. Notavelmente, a familiaridade com sistemas de bancos de itens (exposição) foi o preditor mais forte, sugerindo que a experiência prévia reduz a incerteza e aumenta as percepções de justiça.
  • Não Suportado: A Transparência do Sistema não influenciou significativamente a justiça percebida (β = 0,008, p = 0,858). Isso apoia o "paradoxo da transparência", indicando que a mera divulgação da mecânica do sistema sem um contexto compreensível não melhora as percepções de justiça.

• Caminhos para a Legitimidade e Aceitação:

  • A Justiça Percebida influencia positivamente tanto a Confiança (β = 0,132) quanto a Legitimidade Algorítmica (β = 0,307).
  • A Confiança influencia significativamente a Legitimidade Algorítmica (β = 0,436).
  • A Legitimidade Algorítmica é o preditor direto mais forte da Aceitação (β = 0,774), superando amplamente o efeito direto da Confiança (β = 0,136).
  • Mediação: A justiça percebida mede a relação entre os antecedentes do nível do sistema (SE, AO, IBE) e a Confiança/Legitimidade.

• Moderação e Explicação:

  • O papel moderador hipotetizado da Explicação na relação entre Justiça Percebida e Confiança não foi significativo (H10 rejeitada).
  • No entanto, a Análise ANN revelou que a Clareza da Lógica do Resultado (Explicação) é o preditor mais influente tanto para a Legitimidade Algorítmica (100% de importância normalizada) quanto para a Aceitação (100% de importância normalizada), superando até mesmo a Justiça Percebida e a Confiança em poder preditivo não linear. Isso sugere que a explicação atua mais como um driver direto do que como um moderador.

Principais Contribuições

1. Unindo a Justiça Técnica e a Perceptual: O estudo demonstra empiricamente como mecanismos técnicos como a equivalência estatística e a exposição ao banco de itens se traduzem em justiça percebida subjetiva, integrando princípios psicométricos com a teoria da tomada de decisão algorítmica.
2. Legitimidade Algorítmica como Principal Driver: A pesquisa identifica a Legitimidade Algorítmica como o determinante mais crítico da aceitação pelo usuário em contextos de alto impacto, superando a confiança. Ela postula que a legitimidade é um resultado sequencial formado através da justiça percebida e da confiança.
3. O "Paradoxo da Transparência" na Educação: Os achados desafiam a suposição de que a transparência por si só garante a justiça. Em vez disso, o estudo destaca que a clareza da explicação (interpretabilidade) é mais vital do que a transparência bruta, pois os usuários requerem uma lógica compreensível em vez de apenas acesso às mecânicas do sistema.
4. Avanço Metodológico: Ao utilizar uma abordagem híbrida SEM–ANN, o estudo fornece uma análise mais robusta do que os métodos tradicionais isolados. A SEM validou os caminhos causais teóricos, enquanto a ANN descobriu padrões não lineares e identificou a importância preditiva superior da clareza da explicação, que modelos lineares poderiam subestimar.

Significância e Alegações
O artigo afirma que, para que os exames baseados em algoritmos de alto impacto sejam aceitos, eles devem ser não apenas tecnicamente válidos, mas também perceptualmente justos, confiáveis e institucionalmente legítimos. Os autores argumentam que a precisão técnica é insuficiente sem legitimidade comunicativa. Especificamente, o estudo afirma que:

• A legitimidade é o guardião da aceitação: Mesmo um sistema tecnicamente perfeito será rejeitado se os usuários não o perceberem como legítimo.
• A experiência mitiga o ceticismo: A familiaridade com sistemas de bancos de itens (exposição) é um fator crucial para promover percepções de justiça.
• Explicação sobre Transparência: Em ambientes de alto impacto, fornecer razões claras e compreensíveis para os resultados (explicação) é mais eficaz para construir confiança e legitimidade do que simplesmente revelar parâmetros do sistema (transparência).

O estudo conclui que a implementação bem-sucedida de tais sistemas requer uma abordagem sociotécnica que combine o rigor psicométrico com a educação do usuário, a explicação clara da lógica dos resultados e estratégias para construir a legitimidade algorítmica.