Interpretability from the Ground Up: Stakeholder-Centric Design of Automated Scoring in Educational Assessments

Título: Interpretabilidade de Baixo para Cima: Design Centrado no Stakeholder para Pontuação Automatizada em Avaliações Educacionais

1. O Problema

Sistemas de pontuação automatizada (AS) impulsionados por IA oferecem escalabilidade e eficiência para avaliar respostas complexas de estudantes. No entanto, a adoção em larga escala de avaliações reais enfrenta barreiras significativas devido à falta de transparência e interpretabilidade.

• Deficiência Atual: Embora existam avanços na precisão, os métodos atuais (muitas vezes "caixas-pretas" como LLMs ou redes neurais profundas) não conseguem explicar como ou por que uma decisão de pontuação foi tomada de forma confiável.
• Riscos: A falta de explicabilidade gera preocupações sobre viés, justiça e a capacidade de validar as decisões para fins de alto risco (como graduação ou políticas públicas).
• Lacuna na Pesquisa: Soluções interpretáveis existentes muitas vezes falham em atender às necessidades reais e diversas dos stakeholders (estudantes, desenvolvedores de testes e usuários), focando em explicações pós-hoc (como Chain-of-Thought em LLMs) que não refletem o mecanismo computacional real do modelo.

2. Metodologia e Abordagem

Os autores propõem uma abordagem baseada em princípios, começando pela análise das necessidades dos stakeholders e culminando na criação de um novo framework técnico.

A. Análise de Stakeholders e Necessidades

O trabalho identifica três grupos principais e suas necessidades específicas:

1. Estudantes: Precisam de confiança na justiça da nota e feedback acionável (explicações passo a passo sobre o que foi bem ou mal feito).
2. Desenvolvedores de Avaliação: Precisam entender quais evidências o modelo detecta para refinar rubricas, evitar viés e reutilizar componentes de modelos.
3. Usuários de Testes (Educadores, Políticas Públicas): Precisam validar a integridade do modelo e garantir que as notas reflitam verdadeiramente o construto (habilidade) medido.

B. Os 4 Princípios de Interpretabilidade (FGTI)

Para atender a essas necessidades, o artigo define quatro princípios fundamentais:

1. Fiel (Faithful): A explicação deve refletir com precisão o mecanismo computacional real do modelo, não apenas uma narrativa gerada por prompt.
2. Fundamentada (Grounded): As características (features) usadas pelo modelo devem representar elementos explicitamente identificáveis e compreensíveis pelo humano na resposta do estudante (ex: "menciona o conceito X"), e não vetores latentes opacos.
3. Rastreável (Traceable): O processo de raciocínio do modelo deve ser decomposto em etapas sequenciais claras e bem definidas.
4. Intercambiável (Interchangeable): Um humano deve ser capaz de intervir e substituir a saída de qualquer sub-rotina de raciocínio do modelo por uma decisão humana, mantendo a lógica do sistema.

C. O Framework ANALYTICSCORE

Para ilustrar a viabilidade dos princípios FGTI, os autores desenvolveram o ANALYTICSCORE, um framework modular de 3 fases para pontuação de respostas construídas baseadas em texto:

• Fase 1: Extração de Componentes Analíticos
  • O sistema extrai elementos explícitos das respostas dos estudantes (chamados de "proposições" ou componentes analíticos).
  • Implementação: Utiliza-se um LLM para extrair até 15 componentes por item de teste a partir de um conjunto de dados de treinamento.
• Fase 2: Featurização (Transformação em Características)
  • Cada resposta é convertida em um vetor de características baseado na presença dos componentes extraídos.
  • Etiquetagem: Define-se uma função de rotulagem com categorias humanas compreensíveis:
    • 2: Paráfrase direta do componente.
    • 1: Paráfrase parcial.
    • 0: Ausência do componente.
  • Otimização: Para reduzir custos, um modelo de código aberto (Llama-3.1-8B) é fine-tuned (ajustado) via distillation (destilação) usando dados gerados por um LLM proprietário (GPT-4.1) para realizar essa tarefa de featurização.
• Fase 3: Pontuação Rastreável
  • Um modelo de Regressão Logística Ordinal (com variantes de limiar imediato) é treinado sobre os dados rotulados.
  • O modelo calcula um "valor de evidência" ($\eta$) como a soma ponderada das características. A pontuação final é determinada comparando $\eta$ com limiares aprendidos ($\theta$).
  • Isso garante que a decisão final seja uma função linear transparente das características identificáveis.

3. Resultados Principais

O framework foi avaliado no conjunto de dados ASAP-SAS (10 itens de testes de escrita em Ciências e Leitura).

• Precisão de Pontuação:
  • O ANALYTICSCORE superou vários métodos de baseline não interpretáveis (como AutoSAS e ASRRN).
  • Em comparação com o estado da arte (SOTA) não interpretável (modelos BERT/DeBERTa/Llama finetuned), o ANALYTICSCORE ficou, em média, a apenas 0.06 QWK (Quadratic Weighted Kappa) de distância.
  • Em áreas específicas, a diferença foi de 0.04 QWK (Ciências) e 0.08 QWK (Leitura).
• Alinhamento com Humanos:
  • O comportamento de featurização do modelo (especialmente a versão destilada do Llama) alinhou-se bem com julgamentos humanos.
  • O coeficiente de concordância (QWK) entre o featurizador destilado e humanos foi de 0.90 em Ciências, 0.72 em Leitura Informacional e 0.81 em Leitura Literária.
  • A confiabilidade inter-rater entre humanos para a tarefa de featurização foi aceitável ($\alpha \approx 0.7$), indicando que a tarefa é bem definida.
• Eficiência: A destilação de um modelo grande (GPT-4.1) para um modelo menor (Llama-3.1-8B) resultou em uma melhoria significativa de desempenho (+0.13 QWK médio) no featurizador, tornando a solução viável economicamente.

4. Contribuições Chave

1. Mudança de Paradigma: Propõe uma mudança de tratar a pontuação automatizada como uma tarefa isolada de previsão para um ciclo de vida centrado no stakeholder, onde a explicabilidade é um requisito de design, não um acessório.
2. Princípios FGTI: Estabelece um novo padrão teórico (Fiel, Fundamentado, Rastreável, Intercambiável) para avaliar e construir sistemas de IA explicáveis em educação.
3. Framework ANALYTICSCORE: Apresenta a primeira implementação prática que incorpora esses princípios, demonstrando que é possível obter alta precisão mantendo a transparência total do processo de decisão.
4. Validação Empírica: Demonstra que soluções interpretáveis não precisam sacrificar drasticamente a precisão em relação a modelos de "caixa-preta" em cenários do mundo real.

5. Significado e Impacto

Este trabalho é fundamental para a adoção ética e prática de IA na educação.

• Confiança e Justiça: Ao permitir que humanos inspecionem e intervenham no processo de pontuação, o sistema reduz o risco de viés algorítmico oculto e aumenta a confiança de estudantes e educadores.
• Viabilidade Prática: Mostra que é possível construir sistemas de pontuação escaláveis que não apenas "acertam a nota", mas explicam o "porquê" de forma que seja auditável e útil para o feedback pedagógico.
• Futuro da Pesquisa: Abre caminho para o desenvolvimento de workflows de auditoria rigorosos e para a criação de benchmarks mais robustos que incluam a validação de construtos (alinhamento com o que o teste realmente mede), indo além da simples métrica de precisão.

Em resumo, o artigo argumenta que a interpretabilidade não é um obstáculo técnico, mas uma condição necessária para a legitimidade da avaliação automatizada em larga escala, e fornece as ferramentas e princípios para alcançá-la.