Hybrid E-Assessment in Higher Education: Semi-Automated Grading of Paper-Based Written Examinations

Resumo Técnico: Avaliação Eletrônica Híbrida no Ensino Superior

Definição do Problema
O artigo identifica uma tensão crítica na transição para a avaliação eletrônica somativa no ensino superior: o conflito entre a necessidade de eficiência automatizada e a necessidade didática de tarefas de resolução de problemas complexos e abertos. As abordagens totalmente digitais, embora ofereçam alta automação, são frequentemente limitadas a formatos de questões fechadas (ex: múltipla escolha) devido à incapacidade dos sistemas atuais de avaliar de forma confiável textos livres, derivações matemáticas, esboços ou processos de raciocínio complexos. Essa limitação força um "estreitamento didático", onde as tarefas de avaliação são redesenhadas para se ajustarem às restrições técnicas em vez de aos objetivos pedagógicos. Além disso, exames somativos totalmente digitais impõem ônus organizacionais e técnicos significativos, incluindo a necessidade de um grande número de estações de trabalho sincronizadas, protocolos de supervisão rigorosos e segurança robusta contra manipulação, que são particularmente desafiadores para grandes coortes de estudantes. Por outro lado, abordagens parcialmente digitais (ex: sistemas baseados em digitalização) frequentemente sofrem com layouts de página rígidos e baixa densidade de questões, falhando em replicar a flexibilidade dos exames tradicionais em papel.

Metodologia
Os autores propõem uma abordagem de avaliação eletrônica híbrida que mantém a flexibilidade didática das avaliações em papel, introduzindo simultaneamente uma correção semiautomatizada. A metodologia opera sob os seguintes princípios:

1. Codificação Estruturada de Lacunas (Gap Coding): As tarefas de exame são desenhadas como problemas abertos e orientados a problemas (ex: derivações em física ou consultas a bancos de dados). No entanto, resultados intermediários específicos e relevantes para a avaliação são codificados em um formato estruturado. Os alunos realizam todo o raciocínio e cálculo à mão, mas devem transferir suas respostas finais para campos de resposta predefinidos.
2. Opções de Resposta Baseadas em Letras: Em vez da entrada de texto livre, cada lacuna corresponde a um conjunto fixo de opções baseadas em letras (ex: A–Z). Esse grande conjunto de opções minimiza a probabilidade de respostas corretas por meio de tentativas ao acaso sem forçar toda a tarefa para um formato fechado.
3. Captura de Dados e Reconhecimento: As letras manuscritas inseridas pelos alunos na tabela de respostas são capturadas via digitalização. O principal desafio técnico abordado é o reconhecimento confiável desses caracteres manuscritos sob condições reais de exame.
4. Mecanismo de Validação: O sistema emprega um princípio de validação de duas passagens combinado com modelos de linguagem de grande escala (LLMs) capazes de visão. O processo de reconhecimento compara os caracteres capturados contra uma chave de solução para reduzir classificações incorretas.

Principais Contribuições

• Arquitetura Híbrida: O artigo introduz um fluxo de trabalho que desacopla o design da tarefa (que permanece aberto e em papel) da captura da resposta (que é estruturada para automação). Isso permite a avaliação de processos de raciocínio complexos sem sacrificar a eficiência da correção automatizada.
• Integração de LLMs Capazes de Visão: Os autores destacam a aplicação de recentes modelos de linguagem de grande escala capazes de visão para resolver o gargalo do reconhecimento de caracteres manuscritos em um ambiente de testes de alto risco, indo além das limitações do OCR (Reconhecimento Óptico de Caracteres) tradicional.
• Preservação Didática: Ao utilizar um "formato de codificação" para resultados intermediários, a abordagem preserva a natureza orientada à aprendizagem do exame (onde os alunos devem derivar a solução) ao mesmo tempo em que permite a automação do fluxo de trabalho de correção.

Resultados e Alegações
O artigo não apresenta dados empíricos de uma implementação específica em larga escala, mas oferece uma análise teórica e técnica do framework proposto. Os autores alegam que esta abordagem:

• Reduz Classificações Incorretas: A combinação de LLMs capazes de visão, um princípio de validação de duas passagens e a comparação com uma chave de solução melhora significativamente a confiabilidade do reconhecimento de caracteres manuscritos.
• Melhora a Validade e a Equidade: Ao permitir que tarefas complexas e orientadas a problemas sejam corrigidas semiautomaticamente, o sistema suporta uma medição mais válida da competência do aluno em comparação com os formatos restritos dos exames totalmente digitais.
• Aumenta a Escalabilidade: O método aborda as restrições organizacionais de grandes coortes ao automatizar a correção de resultados intermediários estruturados sem exigir um ambiente de exame totalmente digital.

Significância
A significância deste trabalho reside na sua proposta de reconciliar as demandas opostas da avaliação moderna: a necessidade de correção escalável e automatizada e o requisito de tarefas abertas e didaticamente ricas. O artigo argumenta que a tecnologia deve apoiar a correção e o pós-processamento dos exames sem restringir o design das tarefas em si. Ao manter o formato de papel para o processo de resolução de problemas e apenas digitalizar a captura estruturada dos resultados, este modelo híbrido oferece um caminho viável para a implementação da correção semiautomatizada em avaliações somativas onde as soluções totalmente digitais são atualmente insuficientes.