💬 NLP

Enhancing Automated Essay Scoring With Three Techniques: Two-Stage Fine-Tuning, Score Alignment, and Self-Training

Este artigo propõe uma abordagem inovadora para aumentar o desempenho da Avaliação Automática de Redações tanto em cenários de dados limitados quanto de dados completos, integrando três técnicas principais — ajuste fino em dois estágios (Two-Stage fine-tuning), Alinhamento de Pontuação (Score Alignment) e autotreinamento consciente de incerteza (uncertainty-aware self-training) — ao modelo DualBERT, alcançando resultados de estado da arte em múltiplos conjuntos de dados, incluindo o ASAP++.

Autores originais: Hongseok Choi, Serynn Kim, Wencke Liermann, Jin Seong, Jin-Xia Huang

Publicado 2026-08-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hongseok Choi, Serynn Kim, Wencke Liermann, Jin Seong, Jin-Xia Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde um professor cansado tem que corrigir centenas de redações todas as semanas. É um trabalho massivo, e corrigi-las de forma justa exige tempo e energia. Para ajudar, cientistas construíram sistemas de "Avaliação Automática de Redações" (AES - Automated Essay Scoring), programas de computador que leem a escrita dos alunos e atribuem uma nota, tal como um humano faria. Pense nesses programas como assistentes digitais de ensino. Durante muito tempo, esses assistentes eram como robôs inteligentes, mas desajeitados; eles precisavam ler milhares de exemplos antes de ficarem bons em corrigir. Se um professor tivesse apenas algumas redações para corrigir, o robô ficaria confuso e daria notas ruins. Este é um grande problema porque, no mundo real, os professores muitas vezes não têm milhares de redações para treinar o computador; eles têm apenas uma pilha de papéis da sua própria turma.

O desafio é que ensinar um computador a entender a escrita é difícil. Não se trata apenas de contar palavras ou verificar a gramática; trata-se de entender o fluxo de ideias, o tom e a estrutura. Embora existam modelos de IA gigantes e poderosos (como aqueles que escrevem histórias ou conversam com você), eles costumam ter dificuldade com essa tarefa específica, a menos que recebam uma quantidade massiva de dados. Portanto, a grande questão para os pesquisadores é: Como podemos criar um corretor de computador que seja inteligente e justo, mesmo quando não viu muitos exemplos?

Este artigo apresenta uma nova maneira inteligente de treinar esses corretores digitais, especialmente quando há pouquíssimas redações para aprender. Os pesquisadores, trabalhando com um modelo chamado DualBERT (que é como um leitor inteligente que entende tanto frases individuais quanto a redação inteira), desenvolveram três técnicas especiais para aumentar o desempenho.

Primeiro, eles utilizaram um método chamado Ajuste Fino em Dois Estágios com LoRA (Two-Stage Fine-Tuning with LoRA). Imagine que você está ensinando um aluno que já conhece o básico de inglês. Em vez de fazê-lo reaprender tudo do zero, você lhe dá um conjunto especial de "canetas marca-texto" (LoRA) que o permitem focar em partes específicas e difíceis da tarefa sem estragar o que ele já sabe. Os pesquisadores permitiram que o modelo praticasse com essas canetas em duas rodadas, tentando diferentes formas de pesar a importância de diferentes traços da redação (como conteúdo versus organização) até encontrar o equilíbrio perfeito.

Segundo, eles introduziram o Alinhamento de Pontuação (Score Alignment). Às vezes, mesmo um corretor inteligente fica um pouco nervoso e joga pelo seguro. Se um aluno escreve uma redação perfeita, o computador pode ter medo de dar uma nota perfeita e, em vez disso, dá um 9,8 de 10. Se a redação for terrível, ele pode dar um 0,2 em vez de 0. Esta técnica atua como uma "ferramenta de calibração". Os pesquisadores observam como o computador corrigiu um pequeno conjunto de prática de redações, veem onde ele estava sendo tímido demais ou ousado demais, e então aplicam um ajuste matemático simples para corrigir as notas para o teste real. É como afinar uma guitarra para que cada nota atinja o tom correto.

Terceiro, eles usaram o Autotreinamento Consciente de Incerteza (Uncertainty-Aware Self-Training). É aqui que o computador tem a chance de praticar em redações que ainda não foram corrigidas. O computador lê essas redações não corrigidas e dá a elas uma nota "fictícia". Mas aqui está o detalhe: se o computador estiver incerto sobre sua própria nota (estiver "incerto"), ele descarta essa redação. Ele apenas mantém as redações sobre as quais se sente confiante para usar como material de prática extra. Dessa forma, o computador aprende com mais exemplos sem acidentalmente aprender com seus próprios erros.

Quando os pesquisadores testaram esses três truques juntos em um conjunto de dados chamado ASAP++, os resultados foram impressionantes. Em um cenário onde o computador tinha apenas 32 redações para aprender (uma quantidade muito pequena), o novo método melhorou significamente a precisão da correção. Ele atingiu 91,2% do nível de desempenho de um modelo que havia sido treinado com cerca de 1.000 redações. Em termos mais simples, com apenas um pouquinho de dados e estes três truques inteligentes, o computador tornou-se quase tão bom quanto se tivesse lido uma biblioteca inteira de redações.

Ainda mais interessante, quando o computador tinha muitos dados (o cenário de "dados totais"), o truque de "Alinhamento de Pontuação" sozinho ajudou-o a superar todos os recordes anteriores, alcançando uma nova pontuação máxima. Os pesquisadores também testaram isso em outros conjuntos de dados com diferentes tipos de redações e descobriram que os truques funcionaram lá também, sugerindo que estes métodos são robustos e não apenas uma coincidência de um teste específico.

O artigo sugere que estas técnicas são modulares, o que significa que podem ser misturadas e combinadas com outros sistemas. No entanto, os autores são cuidadosos ao notar que, embora os resultados sejam fortes, eles ainda enfrentam limitações. Por exemplo, o método de "Autotreinamento" precisa de uma grande pilha de redações não corrigidas para funcionar, o que pode nem sempre estar disponível em todas as escolas. Além disso, o método de "Dois Estágios" leva um pouco mais de tempo para treinar o computador inicialmente, embora não atrase o processo de correção real posteriormente.

Em última análise, este estudo mostra que não precisamos sempre de quantidades massivas de dados para construir ótimas ferramentas de IA. Ao usar estratégias inteligentes para ajustar modelos, calibrar suas pontuações e selecionar cuidadosamente o material de prática, podemos criar corretores automatizados que são confiáveis mesmo quando os dados são escassos. Isso nos aproxima de termos assistentes digitais mais úteis, justos e eficientes para professores em todos os lugares.

Resumo Técnico: Aprimorando a Avaliação Automatizada de Redações com Três Técnicas

Definição do Problema
A Avaliação Automatizada de Redações (AES - Automated Essay Scoring) é fundamental para uma educação escalável, mas enfrenta obstáculos significativos em sua implementação no mundo real, principalmente devido à extrema escassez de dados rotulados. A construção de conjuntos de dados de AES é trabalhosa, cara e sujeita à inconsistência entre avaliadores. Embora os Grandes Modelos de Linguagem (LLMs) tenham tido sucesso em várias tarefas de PLN, seu desempenho em AES permanece subótimo (Kappa de Peso Quadrático [QWK] de ~0,5–0,6) em comparação com modelos de aprendizado profundo específicos para a tarefa, e seus requisitos computacionais impõem barreiras à adoção. Além disso, as abordagens de aprendizado profundo existentes frequentemente enfrentam dificuldades em cenários de baixos recursos, onde apenas um pequeno número de redações rotuladas está disponível.

Metodologia
Os autores propõem uma abordagem inovadora para melhorar o desempenho da AES tanto em configurações de dados limitados quanto de dados completos, integrando três técnicas principais ao modelo base, DualBERT, que captura semântica inter-token e inter-sentença.

Ajuste Fino de Dois Estágios com Adaptação de Baixo Posto (LoRA):
- Estágio 1: O modelo base DualBERT é ajustado finamente no conjunto de dados rotulado.
- Estágio 2: Camadas LoRA são inseridas no modelo base congelado. Os autores introduzem uma estratégia para varrer várias configurações de pesos de perda específicos por traço. Em vez de realizar o ajuste fino completo de modelos separados para diferentes combinações de pesos, o método treina apenas as camadas de adaptador (LoRA) para cada configuração. A configuração que produz o melhor desempenho no conjunto de desenvolvimento é selecionada. Isso permite que o modelo capture características detalhadas e se adapte eficientemente aos requisitos de traços específicos.
Alinhamento de Pontuação (SA - Score Alignment):
- Esta é uma técnica de pós-processamento livre de treinamento, projetada para corrigir o viés de distribuição entre as pontuações previstas e as reais. Modelos ajustados finamente frequentemente falham em prever pontuações extremas (ex: prevendo 0,95 em vez de 1,0).
- O SA aplica uma transformação linear nas previsões do conjunto de teste com base na discrepância entre as pontuações reais e previstas observada no conjunto de desenvolvimento retido. Especificamente, ele calcula as diferenças médias para os $p\%$ superiores e inferiores de pontuações no conjunto de desenvolvimento e utiliza estas para ajustar os limites mínimo e máximo das previsões de teste, garantindo que a distribuição prevista se alinhe mais proximamente com a distribuição real.
Autotreinamento Consciente de Incerteza (UST - Uncertainty-Aware Self-Training):
- Projetado para alavancar dados não rotulados (que são mais fáceis de coletar do que dados rotulados), o UST estima a incerteza das previsões em redações não avaliadas.
- A incerteza é medida como o desvio padrão das previsões obtidas via dropout de Monte Carlo (passagens repetidas de dropout).
- As amostras são particionadas em compartimentos (bins) com base na magnitude da pontuação prevista. De cada compartimento, um número fixo de amostras com a menor incerteza é selecionado para servir como dados com rótulos pseudo-gerados (pseudo-labeled). Este filtragem mitiga a propagação do ruído de rótulo. O conjunto de dados aumentado (original rotulado + pseudo-rotulado selecionado) é então utilizado para retreinar o modelo.

Principais Contribuições

Integração Inovadora: O artigo integra o ajuste fino de dois estágios, o Alinhamento de Pontuação e o UST em um framework modular. Isso permite que as técnicas sejam combinadas ou aplicadas independentemente para abordar gargalos complementares: adaptação do modelo, calibração de saída e aumento de dados.
Inovação no Alinhamento de Pontuação: Os autores demonstram que o Alinhamento de Pontuação melhora consistentemente o desempenho tanto em configurações de dados limitados quanto de dados completos. Quando combinado com LoRA, o modelo DualBERT alcança novos resultados de estado da arte (SOTA) na configuração de dados completos, superando métodos de AES existentes.
Eficácia em Baixos Recursos: O estudo fornece evidências extensas de que a abordagem integrada aumenta significamente o desempenho quando os dados rotulados são escassos, atingindo 91,2% do desempenho de dados completos usando apenas 32 amostras rotuladas por prompt.

Resultos Experimentais
Experimentos foram conduzidos no conjunto de dados ASAP++, com generalização testada no TOEFL11 e ELLIPSE.

Configuração de Dados Completos (ASAP++): A integração de LoRA e Alinhamento de Pontuação com DualBERT alcançou um novo resultado SOTA, superando métodos anteriores como ArTS+RMTS e SaMRL. O QWK melhorou 0,011 (por traço) e 0,008 (por prompt) em relação ao baseline DualBERT, com a integração total (LoRA+SA) atingindo 0,714 (por traço) e 0,732 (por prompt). Embora o Alinhamento de Pontuação sozinho tenha performado de forma comparável aos melhores baselines supervisionados, a combinação com LoRA rendeu os melhores resultados globais.
Configuração de Dados Limitados (32-dados): Na configuração de 32 dados, o método integrado (LoRA+SA+UST) melhorou o QWK em 4,6 pontos (por traço) e 5,4 pontos (por prompt) em relação ao DualBERT base. Isso resultou em uma pontuação final de 0,639 (por traço), que é 91,2% do desempenho de dados completos.
Comparação com LLMs: O método proposto superou os baselines de LLM de poucos disparos (few-shot, ex: Llama-3.1-8B-Instruct) no ASAP++ em cenários de baixos recursos, enquanto exigiu significativamente menos recursos computacionais e parâmetros.
Generalização: No TOEFL11 e ELLIPSE, o Alinhamento de Pontuação e o UST melhoraram consistentemente o desempenho em relação ao baseline, embora o LoRA tenha mostrado efeitos marginais ou negativos em configurações de múltiplos prompts devido ao overfitting em conjuntos de traços homogêneos.

Significância e Alegações
O artigo alega que sua abordagem aborda efetivamente o desafio da escassez de dados em AES sem depender de LLMs massivos. A significância reside na modularidade das técnicas propostas, que permite melhorias incrementais de desempenho. Os autores enfatizam que o Alinhamento de Pontuação é particularmente robusto, proporcionando ganhos consistentes independentemente do volume de dados. O método integrado demonstra que uma AES de alta qualidade é alcançável mesmo com severa escassez de rótulos (ex: 32 amostras), diminuindo a lacuna entre o desempenho de dados limitados e as capacidades de dados completos. O estudo conclui que essas técnicas oferecem um caminho prático e eficiente para implantar sistemas de AES robustos em cenários educacionais do mundo real, onde os dados rotulados são um gargalo.

Mais como este