🤖 AI

SEFORA: Student Essays with Feedback Corpus and LLM Feedback Evaluation Framework

Este artigo apresenta o SEFORA, um corpus de grande escala de redações de estudantes com feedbacks reais de instrutores, e o UniMatch, uma nova estrutura de avaliação que revela que os atuais LLMs têm dificuldade em gerar feedbacks que se alinhem com as prioridades dos instrutores humanos, alcançando uma pontuação F1 máxima de apenas 0,4 através de experimentos extensivos.

Autores originais: Shayan Peyghambari Oskoui, Norah Almousa, Zhaoyi Joey Hou, Carolina Gustafson, Gayle Rogers, Raquel Coelho, Diane Litman, Xiang Lorraine Li

Publicado 2026-07-02

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Shayan Peyghambari Oskoui, Norah Almousa, Zhaoyi Joey Hou, Carolina Gustafson, Gayle Rogers, Raquel Coelho, Diane Litman, Xiang Lorraine Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um professor corrigindo uma pilha de redações de alunos. Você tem que ler cada frase, encontrar as partes boas, apontar as partes confusas e escrever notas específicas nas margens para ajudar o aluno a melhorar. É um trabalho árduo, e fazer isso por centenas de alunos ao mesmo tempo é quase impossível para um ser humano.

Recentemente, tentamos usar "professores de IA" (Modelos de Linguagem de Grande Escala) para fazer esse trabalho. Mas há um problema: não sabemos realmente se a IA está dando um bom conselho, e não temos uma boa régua para medi-lo.

Este artigo apresenta duas coisas para resolver isso: uma biblioteca massiva de notas de professores reais chamada SEFORA, e uma nova ferramenta de medição chamada UNIMATCH.

1. A Biblioteca: SEFORA (A Coleção "Padrão-Ouro")

Pense no SEFORA como um grande álbum de recortes organizado.

O que há dentro: Contém 564 rascunhos de redações de alunos (alguns escritos uma vez, outros reescritos várias vezes) de aulas universitárias reais.
A parte especial: Ao lado de cada redação de aluno, há as notas reais escritas por professores humanos. Estas não são apenas marcas vermelhas dizendo "errado". São notas adesivas e destaques que dizem coisas como: "Este personagem parece real", ou "A que 'isso' se refere aqui?".
Por que isso importa: Antes disso, a maioria dos conjuntos de dados de IA continha apenas pontuações (como "85/100") ou etiquetas de erro simples. O SEFORA é especial porque captura a nuance de como os professores reais falam com os alunos, incluindo as partes específicas do texto sobre as quais eles estão falando.

2. A Régua: UNIMATCH (O "Detetive de Feedback")

Agora, imagine que você pede a uma IA para escrever um feedback sobre a redação de um aluno. Como você sabe se ele é bom?

O jeito antigo: Você poderia comparar as palavras da IA com as palavras do professor para ver se elas se parecem. Mas isso é como julgar um chef pelo fato de ele ter usado as mesmas palavras da receita, em vez de verificar se a comida está saborosa. Se o professor diz "Torne mais curto" e a IA diz "Corte a gordura", uma verificação simples de contagem de palavras pode dizer que são diferentes, embora signifiquem a mesma coisa.
O novo jeito (UNIMATCH): Esta ferramenta atua como um detetive. Ela decompõe tanto as notas do professor quanto as notas da IA em pequenas "unidades de feedback" individuais (um pensamento específico por unidade).
- Passo 1: Ela divide as notas em partes.
- Passo 2: Ela pergunta: "Esta parte da IA corresponde ao significado de uma parte do professor?" (ex: "Corte a gordura" corresponde a "Torne mais curto"?).
- Passo 3: Ela usa um sistema de correspondência inteligente (como combinar meias) para ver quantos dos pontos importantes do professor a IA conseguiu encontrar e quantos pontos extras e inúteis a IA inventou.

3. A Grande Descoberta: O Problema do "Tagarela"

Os pesquisadores testaram 74 formas diferentes de pedir a modelos de IA para escrever feedback. Os resultados foram surpreendentes e um pouco decepcionantes:

A Pontuação: Mesmo os modelos de IA mais inteligentes conseguiram apenas uma pontuação de cerca de 0,4 de 1,0. Isso significa que eles estão perdendo a maior parte do feedback específico e de alta prioridade que um professor humano daria.
O Principal Culpado: A maior razão para as pontuações baixas foi a verbosidade (falar demais).
- A Analogia: Imagine que um aluno pede ajuda com um problema de matemática. Um bom tutor dá uma dica clara. A IA, no entanto, age como um tagarela nervoso. Ela dá a dica, mas depois adiciona cinco sugestões que o professor nunca teria feito, ou repete o mesmo ponto de três maneiras diferentes.
- O Resultado: Porque a IA gera tanto "ruído extra", sua precisão cai. É como um aluno que escreve uma redação de 10 páginas para responder a uma pergunta de uma frase; ele pode até dar a resposta certa, mas a enterrou sob tanto excesso de informação que ela não é útil.

Resumo

O artigo nos diz que, embora a IA possa gerar texto, ela atualmente tem dificuldade em agir como um professor humano atencioso. Ela tende a explicar demais e a perder os pontos específicos e de alto valor que os instrutores reais priorizam.

Para consertar isso, precisamos de:

Melhores Dados: Exemplos reais de como os professores realmente falam (o que o SEFORA fornece).
Melhor Medição: Uma forma de julgar se a IA está atingindo os pontos certos, não apenas usando as palavras certas (o que o UNIMATCH fornece).

Até que a IA aprenda a ser concisa e a atingir os alvos corretos, ela não está totalmente pronta para substituir o toque humano na sala de aula.

Resumo Técnico: SEFORA e UNIMATCH

Problema

O feedback eficaz na escrita é um dos principais motores do aprendizado do aluno, mas produzi-lo em escala é uma tarefa laboriosa. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam um caminho para automatizar esse processo, dois gargalos críticos impedem o progresso:

Escassez de Dados: Poucos corpora públicos capturam como os instrutores realmente entregam o feedback em salas de aula reais. Os conjuntos de dados existentes frequentemente substituem comentários formativos por rótulos estruturados (ex: tags de erro, pontuações), restringem a cobertura a gêneros ou comandos únicos, ou dependem de feedback gerado por multidões/IA em vez de anotações autênticas de instrutores.
Deficiências de Avaliação: Os métodos atuais para avaliar o feedback gerado são insuficientes. A avaliação sem referência (ex: LLM-como-juiz) sofre de ambiguidade e viés, pois um "bom" feedback carece de uma definição operacional única. Métricas baseadas em referência (ex: BLEU, ROUGE, similaridade de embeddings) falham em capturar a correspondência semântica do feedback aberto, particularmente porque as mensagens de feedback frequentemente agrupam múltiplas "unidades de feedback" distintas (ex: uma única frase contendo tanto elogio quanto uma crítica). A comparação holística não consegue determinar quais observações específicas foram recuperadas ou perdidas.

Metodologia

O artigo introduz dois componentes principais: o corpus SEFORA e a estrutura de avaliação UNIMATCH.

1. SEFORA: Corpus de Ensaios de Estudantes com Feedback

O SEFORA é um corpus público projetado para preencher a lacuna de dados. Ele emparelha feedback inline autêntico, elaborado por instrutores, com comandos de tarefas, rubricas, pontuações analíticas e revisões de múltiplos rascunhos através de diversos gêneros de escrita universitária.

Escala e Escopo: O corpus contém 564 rascunhos de 155 estudantes em 34 tarefas de 9 cursos de primeiro ano de graduação (abrangendo composição, ESL, narrativa e escrita criativa). Inclui 8.240 anotações de instrutores.
Granularidade da Anotação: Ao contrário dos conjuntos de dados de tags de erro, o SEFORA preserva a estrutura original do parágrafo e alinha as anotações a trechos específicos de texto (frases, sentenças ou palavras). O feedback é predominantemente "facilitador" (convidando à reflexão) em vez de "diretivo" (prescrevendo mudanças), frequentemente propondo questões abertas.
Privacidade: A coleta de dados foi aprovada pelo IRB. Identificadores diretos foram removidos e nomes dentro dos ensaios foram substituídos por pseudônimos, preservando a coerência narrativa.

2. UNIMATCH: Estrutura de Avaliação Baseada em Referência

O UNIMATCH é uma estrutura para avaliar o feedback gerado por LLMs comparando-o com o feedback do instrutor ao nível da unidade de feedback, em vez de forma holística. O pipeline opera em três estáções:

Segmentação de Feedback:
- O feedback é segmentado em "unidades de feedback", definidas como declarações autocontidas que abordam um aspecto específico da escrita.
- Uma diretriz de segmentação foi desenvolvida, e um segmentador automático (GPT-5-nano) foi validado contra anotadores humanos, alcançando alta concordância (F1 = 0,97).
Pontuação de Similaridade de Unidade de Feedback:
- Pares de unidades de feedback do instrutor e do modelo são pontuados em correspondência semântica usando uma escala de 0 a 4 baseada em duas dimensões: o alvo (aspecto abordado) e o comentário (avaliação/sugestão).
- Um pontuador de similaridade (gemini-3.1-flash-lite-preview) foi treinado/validado contra julgamentos humanos, alcançando uma correlação de Pearson de $r = 0,813$ .
- Para reduzir custos, uma estratégia de loteamento (batching) foi empregada, mantendo alta concordância com as pontuações humanas.
Correspondência Ótima e Cálculo de Métrica:
- O UNIMATCH calcula uma correspondência bipartida de peso máximo (usando o algoritmo de Hungarian) entre o conjunto de unidades do instrutor ( $G$ ) e as unidades do modelo ( $P$ ) com base em suas pontuações de similaridade.
- Ele calcula precisão suave (soft precision), revocação suave (soft recall) e F1 normalizando o peso total do correspondência contra a autossimilaridade de cada conjunto. Esta abordagem captura tanto o que o modelo omite (revocação) quanto o que ele gera em excesso (precisão).

Principais Resultados

Os autores avaliaram 74 configurações experimentais através de múltiplos LLMs (incluindo Llama-3.1-8B, Mistral-7B, DeepSeek-R1, Qwen2.5-72B e GPT-5.1) usando a estrutura UNIMATCH no corpus SEFORA.

Teto de Desempenho: Nenhuma configuração excedeu uma pontuação F1 de 0,4. Mesmo os modelos mais fortes (GPT-5.1 e Qwen2.5-72B) alcançaram apenas melhorias marginais sobre modelos menores, com o GPT-5.1 atingindo uma precisão de 0,38 e revocação de 0,27.
O Problema da Verbosidade: O fator dominante que impulsionou o desalinhamento foi a verbosidade. Modelos que geraram mais unidades de feedback (sobre-geração) viram um declínio acentuado na precisão sem um aumento compensatório na revocação. O comando restrito (limitando a saída a uma unidade) superou significativamente os comandos não restritos.
Fatores de Prompting:
- Orientação: Fornecer categorias de feedback explícitas (ex: Restrições de Tarefa, Elogio, Erros) melhorou o F1 em aproximadamente +0,059.
- Rubricas e Few-Shot: Incluir rubricas de tarefas teve um efeito negligenciável. O prompting few-shot proporcionou um pequeno ganho (+0,017), primariamente na precisão, mas foi secundário à estrutura e orientação do prompt.
Validação End-to-End: As pontuações do UNIMATCH correlacionaram-se fortemente ( $r \approx 0,84$ ) com o ranking humano de especialistas sobre a qualidade do feedback, validando a capacidade da estrutura de recuperar os julgamentos dos instrutores.

Significância e Alegações

O artigo alega que o desafio central para LLMs no feedback de escrita não é a produção de comentários, mas a priorização dos comentários específicos que um instrutor enfatizaria.

Relevância Pedagógica: A descoberta de que a sobre-geração prejudica o desempenho é descrita como "pedagogicamente significativa". Sabe-se que sobrecarregar alunos com feedback excessivo é contraproducente; assim, a penalidade do UNIMATCH para a verbosidade alinha-se com as melhores práticas educacionais.
Fundação para Trabalhos Futuros: Ao fornecer o SEFORA e o UNIMATCH, os autores lançam uma base para o estudo sistemático do feedback gerado por LLM na granularidade em que os instrutores realmente trabalham. A estrutura oferece uma métrica confiável, interpretável e baseada em referência que vai além da sobreposição superficial para avaliar o alinhamento semântico com a intenção do instrutor.
Limitações: Os autores observam que a avaliação opera em unidades pré-segmentadas (não em identificação de trechos), utiliza modelos de código fechado para o pipeline de avaliação (embora a destilação de código aberto seja proposta como o próximo passo) e trata o feedback do instrutor como a verdade fundamental (ground truth) sem um estudo humano complementar sobre a utilidade ou aplicabilidade geral.