The Order Matters: Sequential Fine-Tuning of LLaMA for Coherent Automated Essay Scoring

Resumo Técnico: A Ordem Importa: Ajuste Fino Sequencial de LLaMA para Avaliação Automatizada de Redações Coerente

Problema
Os sistemas de Avaliação Automatizada de Redações (AES - Automated Essay Scoring) enfrentam um desafio crítico ao modelar a natureza interdependente dos elementos de discurso em uma redação. As abordagens tradicionais frequentemente tratam componentes como a introdução (lead), posição, tese (claim), evidência e conclusão de forma isolada. Essa fragmentação falha em capturar o fluxo lógico e as dependências hierárquicas inerentes à escrita argumentativa (por exemplo, como a clareza de uma posição influencia a força de uma tese). Consequentemente, os modelos existentes têm dificuldade com a coerência, a generalização entre diversos estilos de escrita e a avaliação confiável de componentes integrativos. Além disso, embora os Grandes Modelos de Linguagem (LLMs) ofereçam potencial, há uma falta de compreensão sobre se modelos menores, ajustados finamente de forma eficiente, podem superar bases massivas de uso geral quando as dependências da tarefa são explicitamente modeladas.

Metodologia
O estudo investiga o impacto de currículos de treinamento no ajuste fino (fine-tuning) do LLaMA-3.1-8B para AES. Os autores utilizam o corpus PERSUADE 2.0, um conjunto de dados de mais de 25.000 redações argumentativas anotadas com cinco componentes de discurso específicos: Introdução (Lead), Posição, Tese (Claim), Evidência e Conclusão.

Para adaptar o modelo de forma eficiente, os autores empregam Adaptação de Baixo Rank (LoRA) com quantização de 4 bits (NF4), permitindo o treinamento em uma única GPU A100 enquanto preservam o conhecimento pré-treinado. O design experimental central compara três currículos de treinamento distintos contra uma base zero-shot do LLaMA-70B:

1. Ajuste Fino Independente: Cinco modelos separados são treinados, cada um dedicado a um único componente de discurso, utilizando adaptadores LoRA específicos para a tarefa. Isso serve como uma base para avaliar o valor das representações compartilhadas.
2. Ajuste Fino Aleatorizado (Multitarefa): Um único modelo é treinado em uma mistura embaralhada de todos os cinco conjuntos de dados de componentes simultaneamente. Esta abordagem trata as tarefas como independentes e identicamente distribuídas, ignorando a estrutura sequencial.
3. Ajuste Fino Sequencial (Curricular): O principal método proposto. Um único modelo é ajustado finamente de forma progressiva seguindo a ordem lógica natural da escrita de uma redação: Introdução $\rightarrow$ Posição $\rightarrow$ Tese $\rightarrow$ Evidência $\rightarrow$ Conclusão. Os parâmetros aprendidos em uma etapa servem como a inicialização para a próxima, visando construir representações complexas ao alavancar o conhecimento de componentes fundamentais.

Resultos Principais
Experimentos no conjunto de teste PERSUADE 2.0 revelam que a estrutura do currículo de treinamento impacta significativamente o desempenho do modelo:

• Superioridade do Aprendizado Sequencial: O currículo Sequencial rendeu os resultados mais fortes no geral. Ele alcançou os maiores escores F1 em três dos cinco componentes: Tese (40%), Evidência (65%) e Conclusão (87%). Notavelmente, alcançou uma acurácia de 85% na tarefa de Conclusão.
• Interdependência de Tarefas: O modelo Sequencial superou significativamente os modelos Independentes, particularmente na tarefa de Conclusão (87% F1 vs. 12% F1 para o Independente). Isso sugere que a avaliação de componentes integrativos requer representações contextuais informadas por seções anteriores da redação, algo que o treinamento isolado falha em capturar.
• Inconsistência do Aprendizado Aleatorizado: Embora a abordagem Aleatorizada tenha melhorado a pontuação de Posição (57% F1), ela teve um desempenho ruim no componente de Introdução (7% F1), indicando que o aprendizado multitarefa não estruturado é menos robusto do que um currículo alinhado à estrutura do discurso.
• Modelos Pequenos vs. Grandes: Um modelo LLaMA-8B compacto e otimizado para a tarefa (Sequencial) superou a base LLaMA-70B muito maior e zero-shot em tarefas dependentes de contexto. Especificamente, o modelo 8B superou a base 70B em Evidência (65% vs. 49% F1) e Conclusão (87% vs. 60% F1), apesar da capacidade superior do modelo 70B.

Significância e Alegações
O artigo afirma que "a ordem importa" no ajuste fino, sustentando que o design de currículo alinhado à estrutura intrínseca da tarefa atua como um poderoso viés indutivo. Os autores argumentam que:

1. O Design de Currículo é Crítico: Modelar as dependências de tarefas através do ajuste fino sequencial melhora materialmente o desempenho de AES, particularmente para componentes integrativos onde o fluxo lógico é essencial.
2. Eficiência e Competitividade: Modelos menores e otimizados para a tarefa podem ser competitivos e até superar LLMs substancialmente maiores quando a estratégia de treinamento está alinhada com a natureza hierárquica da tarefa. Isso oferece um caminho prático e de custo-benefício para a avaliação educacional escalável sem depender de APIs proprietárias que exigem muitos recursos.
3. Generalização: Ao se afastar da pontuação de componentes isolados, a abordagem proposta aborda a questão do feedback incoerente, fornecendo um framework mais robusto para avaliar a escrita de estudantes que reflete as relações lógicas entre as seções da redação.

Os autores concluem que, para tarefas de predição estruturada em NLP, como um modelo é ensinado (o currículo) é tão importante quanto o que ele é ensinado, permitindo a indução de representações mais robustas e eficientes.