Cost-efficient generative AI summarization for scalable automated essay scoring in educational assessment

Resumo Técnico: Resumo de IA Generativa de Baixo Custo para Pontuação Automatizada de Redações Escalável

Definição do Problema
A Pontuação Automatizada de Redações (AES - Automated Essay Scoring) enfrenta um gargalo crítico no processamento de redações de longo formato devido às restrições rigorosas de comprimento de entrada (tipicamente 512 tokens) dos modelos de incorporação (embedding) baseados em transformadores padrão (ex: BERT, RoBERTa, DeBERTa). Quando as redações excedem esses limites, os pipelines padrão recorrem à truncagem, o que corre o risco de descartar informações educacionalmente relevantes, particularmente em redações de alta pontuação, que tendem a ser mais longas e complexas. Embora codificadores de contexto longo (ex: Longformer) e a pontuação direta por LLMs existam, eles frequentemente exigem recursos computacionais significativos, ajuste fino (fine-tuning) específico para a tarefa ou introduzem desafios relacionados à sensibilidade ao prompt e calibração de pontuação. Este estudo aborda a necessidade de uma estratégia de pré-processamento de custo-benefício que preserve a integridade semântica enquanto possibilita o uso de pipelines de incorporação de comprimento fixo.

Metodologia
O estudo propõe um framework de AES híbrido que utiliza IA generativa para sumarização adaptativa como uma etapa de pré-processamento. A metodologia é estruturada da seguinte forma:

• Conjunto de Dados: A pesquisa utiliza o conjunto de dados Learning Agency Lab – Automated Essay Scoring 2.0 (Kaggle), composto por aproximadamente 24.000 redações argumentativas com avaliações humanas em uma escala de 1 a 6. O conjunto de dados exibe uma variação significativa de comprimento, com redações de pontuação mais alta frequentemente excedendo 1.000 tokens.
• Sumarização Generativa: Três variantes do modelo GPT-5 (GPT-5, GPT-5 mini, GPT-5 nano) foram empregadas para gerar resumos de comprimento controlado. Para garantir a conformidade com os limites de tokens subsequentes, uma estratégia de sumarização iterativa adaptativa foi implementada: se um resumo excedesse o limite de 512 tokens, o modelo era re-instigado com um alvo mais rigoroso (80% do limite anterior) até que a restrição fosse atendida. Os prompts impuseram alta fidelidade semântica, exigindo a retenção de argumentos e terminologia de domínio, enquanto reduziam a redundância.
• Representação de Características Híbrida: O framework integra duas fontes distintas de características:
  1. Embeddings Semânticos: Os textos sumarizados são codificados usando o modelo Qwen3-Embedding-4B para gerar representações vetoriais densas e contextuais.
  2. Características Manuais (Handcrafted Features): Para mitigar a perda de informação durante a sumarização, 22 características engenheiradas manualmente foram extraídas das redações originais, não sumarizadas. Essas características cobrem cinco dimensões: estatísticas de superfície, riqueza lexical, coerência/discurso, legibilidade e taxas de erro.
• Sistema de Pontuação: As características concatenadas (embeddings + manuais) servem como entradas para classificadores de árvores de decisão baseados em gradiente (gradient-boosted decision trees: XGBoost e LightGBM).
• Métricas de Avaliação:
  • Desempenho de Pontuação: Medido via Kappa de Peso Quadrático (QWK) para avaliar a concordância com avaliadores humanos.
  • Qualidade da Sumarização: Avaliada via sobreposição lexical (ROUGE-1/2/L), similaridade semântica (Similaridade de Cosseno), retenção de informação (Cobertura de Entidades, Sobreposição de Palavras-chave, Taxa de Compressão) e controle de qualidade (FactScore, QuestEval, Redundância).

Principais Resultados

• Desempenção de Pontuação Subsequente: Contrariando a suposição de que modelos maiores geram melhores resultados subsequentes, o GPT-5 mini alcançou a maior concordância com avaliadores humanos (QWK = 0,8435), superando ligeiramente o GPT-5 completo (QWK = 0,8350) e o GPT-5 nano (QWK = 0,8332).
• Qualidade da Sumarização: O modelo GPT-5 completo demonstrou desempenho superior na maioria das métricas de qualidade de sumarização, incluindo pontuações ROUGE, similaridade semântica, cobertura de entidades e sobreposição de palavras-chave. O GPT-5 mini seguiu de perto com quedas marginais de desempenho, enquanto o GPT-5 nano mostrou declínios mais significativos na preservação de conteúdo, mas alcançou a maior taxa de compressão.
• Tendências ao Nível de Pontuação: Um padrão consistente emergiu onde a qualidade da sumarização (similaridade semântica, ROUGE, cobertura de entidades) declinou conforme as pontuações das redações aumentavam. Isso sugere que sumarizar redações de alta pontuação e complexas é inerentemente mais difícil e propenso à perda de informação do que sumarizar redações de pontuação inferior e mais curtas.
• Eficiência de Custo: O estudo destaca um equilíbrio entre custo e desempenho. O GPT-5 mini oferece um desempenho de AES quase equivalente ou superior ao modelo GPT-5 completo por uma fração do custo de API (aprox. \0,25 vs. \1,25 por 1M de tokens de entrada).

Principais Contribuições e Alegações
O artigo posiciona-se não como um novo benchmark de Estado da Arte (SOTA) contra todos os sistemas de AES existentes, mas como uma avaliação controlada de um caminho específico de pré-processamento. Suas principais contribuições incluem:

1. Validação do Pré-processamento Híbrido: O estudo demonstra que a sumarização generativa pode servir como uma ponte eficaz entre redações de longo formato e pipelines de incorporação de comprimento fixo, desde que as pistas linguísticas críticas sejam preservadas via características manuais do texto original.
2. Insights sobre Seleção de Modelo: Ele desafia a noção de que modelos maiores são sempre superiores para tarefas de AES. Os achados sugerem que variantes menores e otimizadas (especificamente o GPT-5 mini) podem alcançar um melhor desempenho de pontuação subsequente, provavelmente por gerarem resumos que se alinham de forma mais eficiente às necessidades do classificador de pontuação, evitando a retenção de detalhes desnecessários que modelos maiores poderiam preservar.
3. Identificação de Viés Sistemático: A pesquisa identifica uma limitação sistemática onde a qualidade da sumarização degrada para redações de pontuação mais alta. Isso levanta preocupações sobre a validade do constructo, pois o processo de compressão pode remover desproporcionalmente os argumentos complexos e as estruturas sutis que definem a escrita de alta qualidade, potencialmente enviesando o sistema contra alunos avançados.
4. Escalabilidade e Praticidade: O estudo argumenta que, para avaliação educacional em larga escala, a estratégia ideal envolve equilibrar a capacidade do modelo, a fidelidade do resumo e o custo computacional. O framework proposto oferece uma alternativa escalável e de custo-benefício para evitar o retreinamento de modelos de contexto longo ou a dependência de pontuação direta por LLM dispendiosa.

Limitações e Direções Futuras
Os autores reconhecem explicitamente certas limitações: o estudo não comparou contra a truncagem direta, codificadores de contexto longo (ex: Longformer) ou pontuação direta via zero-shot LLM; apenas uma estratégia de prompt de sumarização e um modelo de embedding foram utilizados; e os resultados baseiam-se em um único conjunto de dados. O artigo conclui que, embora o framework híbrido proposto seja promissor, afirmações de generalização mais fortes exigem trabalhos futuros envolvendo estudos de ablação abrangentes, conjuntos de dados diversos e investigações sobre métodos de sumarização conscientes da pontuação (score-aware) para mitigar a queda de desempenho observada em redações de pontuação elevada.