From Prompting to Preference Optimization: A Comparative Study of LLM-based Automated Essay Scoring

Este estudo apresenta uma comparação abrangente de quatro paradigmas de LLM para a avaliação automatizada de redações em inglês como segunda língua (L2), demonstrando que uma configuração que integra ajuste fino supervisionado (SFT) e geração aumentada por recuperação (RAG) alcança o melhor desempenho geral com uma pontuação F1 de 93%.

O essencial

Imagine que você é um professor de inglês muito ocupado, com centenas de redações para corrigir. Sua tarefa é dar uma nota (de 0 a 9) e explicar por que o aluno recebeu aquela nota, baseando-se em regras específicas: o aluno respondeu à pergunta? O texto faz sentido? O vocabulário é bom? A gramática está correta?

Fazer isso manualmente é exaustivo e cansativo. É aí que entra a Inteligência Artificial (especificamente os Modelos de Linguagem Grandes, ou LLMs, como o GPT-4). Mas, como programar um robô para fazer esse trabalho de forma perfeita?

Este artigo é como um "Grande Torneio de Corretores Robôs". Os pesquisadores testaram quatro métodos diferentes para ver qual deles consegue corrigir redações de alunos (que estão aprendendo inglês como segunda língua) da maneira mais justa, precisa e barata possível.

Aqui está a explicação simples dos quatro "competidores" e quem venceu:

1. O "Estudante de Engenharia" (Ajuste Discriminativo)

• A Analogia: Imagine um aluno que decorou milhares de redações antigas e suas notas. Ele não "entende" a redação como um humano; ele apenas procura padrões. Se a redação tem muitas palavras difíceis e frases longas, ele chuta que a nota é alta.
• O Resultado: Ele é rápido e barato, mas é um pouco "burro". Ele erra detalhes sutis e não consegue explicar bem por que deu a nota. É como tentar adivinhar o sabor de um bolo apenas olhando a cor da farinha.

2. O "Visitante de Visita" (Prompting / Zero-shot)

• A Analogia: Aqui, você pega um robô superinteligente (como o GPT-4) e diz: "Olha, você é um examinador do IELTS. Leia essa redação e dê uma nota". Você não ensina nada novo para ele, apenas pede educadamente.
• O Resultado: É muito flexível e não custa nada para "treinar" o robô. Mas, como ele não foi treinado especificamente para essa tarefa, ele pode ficar confuso. Às vezes ele é ótimo, às vezes ele alucina (inventa coisas) ou dá notas muito variadas dependendo de como você faz a pergunta. É como pedir para um chef famoso cozinhar um prato que ele nunca viu antes, apenas com uma receita escrita.

3. O "Estagiário Especializado com Manual" (Ajuste de Instrução + RAG)

• A Analogia: Este é o grande vencedor do torneio. Imagine que você pega um robô inteligente e:
  1. Treina ele especificamente para ser um examinador (ensinando-o as regras).
  2. Dá a ele um "Manual de Instruções" (o RAG - Geração Aumentada por Recuperação) que ele pode consultar a qualquer momento. Se ele tiver dúvida sobre o que é "Coerência", ele consulta o manual e vê exemplos reais de redações boas e ruins.
• O Resultado: Ele é extremamente preciso. Ele consegue dar a nota exata (93% de precisão!) e explicar os erros com detalhes, citando as regras. É como ter um professor experiente que, ao mesmo tempo, tem um livro de respostas aberto na mesa para garantir que não cometa erros.

4. O "Mentor Humanizado" (Ajuste com Preferência Humana)

• A Analogia: Este robô foi treinado não apenas para dar a nota, mas para agradar os humanos. Ele aprendeu com feedbacks de pessoas reais: "Essa explicação foi confusa", "Essa foi muito útil". Ele tenta imitar o estilo de um professor humano, focando em dar conselhos construtivos e naturais.
• O Resultado: Ele é excelente em dar feedbacks que soam humanos e encorajadores. No entanto, às vezes ele erra a nota exata (diz 6.5 quando deveria ser 7.0) porque está focado em ser "legal" e coerente, em vez de ser matematicamente perfeito. É como um professor que adora seus alunos e dá um feedback maravilhoso, mas às vezes é um pouco generoso demais na nota.

O Veredito Final: O Que Aprendemos?

O estudo descobriu que não existe um "robô perfeito" para tudo. Tudo depende do que você precisa:

• Se você precisa de precisão cirúrgica (como em exames oficiais onde a nota define se você passa ou não): O Método 3 (Robô com Manual de Instruções) é o campeão. Ele acerta a nota quase sempre.
• Se você precisa de um feedback amigável para ajudar o aluno a aprender (como em um curso online): O Método 4 é melhor. Ele fala de forma mais natural e construtiva, mesmo que a nota não seja 100% exata.
• Custo vs. Benefício: Métodos mais simples (como o 1 e o 2) são baratos, mas imprecisos. Métodos mais complexos (3 e 4) exigem mais poder de computador, mas valem a pena pela qualidade.

Em resumo: A pesquisa nos mostrou que, para corrigir redações de alunos estrangeiros, a melhor estratégia é ensinar o robô as regras específicas e dar a ele exemplos reais para consultar, em vez de apenas pedir para ele "adivinhar" ou tentar imitar um humano sem treino. É a combinação de conhecimento técnico + exemplos práticos que traz a melhor nota.

Resumo técnico

Resumo Técnico: Da Prompting à Otimização de Preferência

1. Problema e Motivação

A Avaliação Automática de Redação (AES - Automated Essay Scoring) visa atribuir pontuações a textos escritos que sejam consistentes com avaliadores humanos. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham revolucionado a AES, a pesquisa anterior tende a examinar técnicas individuais (como prompting ou fine-tuning) de forma isolada.

• Lacuna Identificada: Não existe uma comparação unificada e sistemática de diferentes paradigmas de adaptação de LLMs para a avaliação de escrita em Inglês como Segunda Língua (L2), especificamente no contexto do IELTS Writing Task 2.
• Desafios Específicos: Os modelos discriminativos tradicionais muitas vezes tratam a pontuação como uma simples regressão, ignorando o raciocínio nuanceado necessário para justificar notas com base em rubricas complexas (Resposta à Tarefa, Coerência, Recursos Lexicais, Gramática). Além disso, técnicas como Retrieval-Augmented Generation (RAG) e Otimização de Preferência Direta (DPO) ainda não foram sistematicamente comparadas neste domínio.

2. Metodologia

Os autores propõem um benchmark unificado para comparar quatro abordagens principais de LLMs aplicadas a 10.328 redações do IELTS. O objetivo é prever a pontuação da banda (0-9) e gerar feedback pedagógico.

As quatro abordagens avaliadas são:

1. Ajuste Fino Discriminativo (Approach 1):

   • Modelos baseados em codificadores (ex: RoBERTa, GPT-2 Encoder) treinados como classificadores supervisionados.
   • Mapeamento direto do texto para uma classe discreta (banda do IELTS).
   • Serve como baseline neural forte, mas não gera feedback explicativo nativamente.

2. Aprendizado em Contexto (In-Context Learning - Approach 2):

   • Uso de LLMs generativos (ex: GPT-4o, Llama-3-70B) sem atualização de parâmetros.
   • Avalia cenários zero-shot e few-shot (com exemplos), onde o modelo é instruído a agir como um examinador do IELTS.
   • Foca na capacidade de raciocínio pré-treinado do modelo.

3. Ajuste Fino de Instrução com RAG (Approach 3 - k-Instruction Tuning):

   • Combina Instruction Tuning (usando LoRA para eficiência de parâmetros) com Retrieval-Augmented Generation (RAG).
   • Inovação: Decomposição da tarefa em 4 critérios específicos do IELTS (TR, CC, LR, GRA). O modelo é ajustado com adaptadores LoRA independentes para cada critério.
   • O RAG recupera exemplos de redações e descrições de rubricas para fundamentar a inferência e reduzir alucinações.

4. Ajuste Fino Supervisionado com Otimização de Preferência e RAG (Approach 4):

   • Um pipeline híbrido: (1) Supervised Fine-Tuning (SFT) para gerar pares de pontuação-feedback; (2) Direct Preference Optimization (DPO) para alinhar o modelo com preferências humanas (qualidade do feedback); (3) RAG na fase de inferência.
   • Visa melhorar a robustez, calibração e a qualidade pedagógica do feedback, alinhando-se a julgamentos humanos.

Configuração Experimental:

• Dataset: Dados consolidados do IELTS Writing Task 2 (Hugging Face + Kaggle), com 9.833 amostras para treino e 495 para teste.
• Métricas: Acurácia, F1-Score, RMSE (Raiz do Erro Quadrático Médio) e MAE (Erro Médio Absoluto).
• Hardware: Treinamento em GPU NVIDIA Tesla T4 com técnicas de eficiência (4-bit quantization, LoRA).

3. Principais Contribuições

1. Primeiro Benchmark Unificado: A primeira comparação sistemática de quatro paradigmas principais de adaptação de LLMs (Discriminativo, Prompting, Instrução+RAG, SFT+DPO+RAG) para AES em L2.
2. Framework Sensível a Critérios: Desenho de um sistema que alinha as previsões do LLM com as rubricas oficiais do IELTS, utilizando decomposição de critérios e recuperação de exemplos.
3. Análise de Trade-offs: Revelação clara das compensações entre Acurácia, Custo Computacional e Robustez, oferecendo diretrizes práticas para a implantação de sistemas de correção automática.

4. Resultados Chave

• Desempenho Geral:

  • Ajuste Discriminativo (A1): Desempenho moderado (Acurácia ~0.73, F1 < 0.31). Limitado na captura de nuances de rubrica.
  • Prompting (A2): Flexível, mas com alta variância. Modelos fechados (GPT-4o) performam bem em zero-shot, mas com alto custo e erro variável.
  • Instrução + RAG (A3): Superou significativamente os paradigmas anteriores. A configuração Llama-3.1-8B com k-Instruction Tuning e RAG alcançou os melhores resultados globais: Acurácia de 0.9902 e F1-Score de 0.9350.
  • SFT + DPO + RAG (A4): Obteve a melhor calibração e menores erros (RMSE/MAE), indicando previsões mais alinhadas com humanos, embora com custo computacional mais alto.

• Hierarquia de Desempenho:
  Discriminativo < Prompting < Instrução < SFT+DPO+RAG < k-Instruction+RAG (em precisão de pontuação)

• Trade-off Custo vs. Acurácia:

  • Abordagens leves (A1, A2) têm baixo custo, mas baixa precisão.
  • A abordagem k-Instruction Tuning com RAG (A3+RAG) oferece o melhor equilíbrio, atingindo 99% de acurácia com tempo de treinamento moderado.
  • A abordagem com DPO (A4) traz retornos decrescentes em acurácia bruta, mas melhora a qualidade do feedback.

• Análise Qualitativa (Estudo de Caso):

  • A3+RAG: Excelente para previsão precisa de bandas e feedback diagnóstico granular (identifica erros específicos por critério). Ideal para avaliação de alto risco.
  • A4 (com DPO): Gera feedback mais holístico, coerente e natural (estilo de examinador), embora possa errar ligeiramente na pontuação exata. Ideal para feedback formativo ao aluno.

5. Significado e Impacto

Este estudo demonstra que a simples aplicação de prompting ou o ajuste fino discriminativo tradicional não são suficientes para replicar a complexidade da avaliação humana em redações L2.

• Conclusão Principal: A integração de RAG (para fundamentação em evidências externas) e Instrução Específica por Critério (k-Instruction Tuning) é a estratégia mais eficaz para maximizar a precisão da pontuação automática.
• Implicação Prática: Para cenários de alto risco (exames padronizados), a abordagem A3+RAG é superior. Para cenários de aprendizado e feedback formativo, a abordagem A4 (com DPO) oferece feedback mais pedagógico e natural.
• O trabalho fornece um roteiro claro para pesquisadores e desenvolvedores que desejam implementar sistemas de correção automática robustos, equilibrando custo computacional e qualidade de avaliação.

O código do projeto está disponível publicamente no GitHub, permitindo a reprodutibilidade e o avanço futuro na área de AES baseada em LLMs.