💬 NLP

Exposía: Teaching and Assessment of Academic Writing Skills for Research Project Proposals and Peer Feedback

O artigo apresenta o Expos'ia, o primeiro conjunto de dados público que conecta redação e feedback no ensino superior, permitindo o desenvolvimento e a avaliação de abordagens computacionais para o ensino de escrita acadêmica, além de demonstrar que modelos de linguagem fechados superam os de código aberto na automação de pontuações e que estratégias de prompt que avaliam múltiplos aspectos simultaneamente são as mais eficazes.

Autores originais: Dennis Zyska, Alla Rozovskaya, Ilia Kuznetsov, Iryna Gurevych

Publicado 2026-04-16

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Dennis Zyska, Alla Rozovskaya, Ilia Kuznetsov, Iryna Gurevych

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está aprendendo a cozinhar um prato complexo, como um soufflé. No início, você escreve o cardápio (o Exposé, que é basicamente um projeto de pesquisa), mas não sabe se vai dar certo. Você precisa de alguém para provar o prato, apontar onde falta sal ou onde o forno está muito quente, e depois você ajusta a receita.

O artigo que você leu apresenta o Exposía, que é como uma "biblioteca gigante de receitas e críticas" criada por pesquisadores da Alemanha e dos EUA. Eles queriam resolver dois grandes problemas na faculdade:

Os alunos têm dificuldade em escrever projetos de pesquisa.
Os alunos também têm dificuldade em dar feedback útil uns aos outros (como um chef júnior criticando o prato de outro júnior).

Aqui está a explicação do projeto, usando analogias do dia a dia:

1. O Que é o Exposía? (A "Cozinha de Aprendizado")

O Exposía não é apenas um arquivo de textos. É um filme completo do processo de aprendizado.

O Roteiro: Os alunos escrevem um rascunho do projeto (o "Exposé").
A Crítica: Eles recebem duas coisas:
- Comentários de "Post-It": Professores e colegas colam observações específicas em partes do texto (ex: "Essa frase está confusa" ou "Ótima ideia!").
- A Resenha Geral: Um texto longo resumindo o que está bom e o que precisa melhorar.
O Reajuste: O aluno pega todas essas dicas, reescreve o projeto e entrega a versão final.

O incrível é que o Exposía guarda tudo: o rascunho original, os comentários coloridos, a resenha completa e a nota final que o professor deu para cada detalhe. É como ter um "antes e depois" de 55 projetos, com todas as anotações de quem corrigiu.

2. O Grande Desafio: A "Balança Mágica" (Inteligência Artificial)

Os autores usaram essa biblioteca para testar se as Inteligências Artificiais (IAs) modernas (como o GPT, Claude, etc.) conseguem atuar como "chefes de cozinha" e dar notas justas.

Eles pediram para as IAs fazerem duas tarefas:

Avaliar o Prato (O Projeto): Dar uma nota para o projeto do aluno.
Avaliar o Crítico (O Feedback): Dar uma nota para a qualidade do feedback que o aluno escreveu para o colega.

O que eles descobriram?

IAs "Fechadas" vs. "Abertas": As IAs mais poderosas e pagas (como as da OpenAI e Anthropic) foram melhores em entender o contexto e dar notas parecidas com as dos humanos. As IAs gratuitas ou de código aberto (que as escolas poderiam usar sem pagar) ainda tropeçaram um pouco, como um aprendiz de chef que às vezes não percebe que o sal está em excesso.
O Segredo do Prompt (O Pedido): Descobriram que pedir para a IA avaliar tudo de uma vez (como se fosse uma lista de compras completa) funciona muito melhor do que pedir para ela avaliar item por item separadamente. É como pedir para um juiz dar a nota final do show inteiro de uma vez, em vez de pedir para ele julgar cada instrumento musical isoladamente.
Especialistas Diferentes: Uma IA pode ser ótima em avaliar o projeto, mas péssima em avaliar o feedback do colega. Não existe um "robô universal" perfeito para tudo ainda.

3. Por que isso é importante? (O Futuro da Sala de Aula)

Hoje, corrigir trabalhos e dar feedback detalhado consome horas e horas da vida dos professores. É como tentar corrigir 300 provas de matemática sozinho.

O Exposía mostra o caminho para o futuro:

Assistentes, não Substitutos: A IA não deve substituir o professor. Ela deve ser um "segundo par de olhos" que faz o trabalho pesado de ler e sugerir notas, deixando o professor focar no que realmente importa: o ensino e a motivação.
Privacidade: Como as IAs gratuitas ainda não são tão boas quanto as pagas, os autores alertam que as escolas precisam desenvolver suas próprias IAs (que rodam nos computadores da escola) para proteger a privacidade dos alunos, sem enviar os textos para servidores públicos.

Resumo em uma frase

O Exposía é um "treinador de IA" que aprendeu com a experiência real de alunos e professores, mostrando-nos que, embora a tecnologia já ajude muito a corrigir redações e dar feedback, ainda precisamos de humanos no comando para garantir que o aprendizado seja justo, ético e eficaz.

1. Problema e Motivação

A escrita de propostas de projetos de pesquisa (conhecidas como exposés em muitos contextos acadêmicos) é um dos maiores desafios na educação superior e uma habilidade essencial para o sucesso acadêmico. No entanto, muitos estudantes carecem das competências necessárias para estruturar essas propostas, incluindo a formulação de perguntas de pesquisa, metodologia e hipóteses.

Simultaneamente, a educação superior enfrenta uma "crise de revisão por pares". O feedback entre pares é uma ferramenta pedagógica poderosa que melhora a escrita tanto do autor quanto do revisor, mas raramente é ensinada formalmente em sala de aula.

Existem lacunas significativas nos recursos computacionais atuais:

Falta de dados integrados: Os conjuntos de dados existentes geralmente focam apenas em ensaios persuasivos gerais, separando a escrita do feedback e das revisões.
Ausência de avaliação granular: Não há dados públicos que conectem rascunhos, feedback detalhado (comentários inline e revisões livres), versões finais e pontuações de avaliação baseadas em critérios pedagógicos específicos.
Dificuldade de Escala: A avaliação humana de exposés e feedbacks exige esforço substancial, limitando a escalabilidade e a pesquisa sobre intervenções automatizadas.

O objetivo deste trabalho é preencher essa lacuna criando um recurso que permita o estudo computacional do ensino e avaliação de habilidades de escrita acadêmica e feedback.

2. Metodologia e o Dataset Exposía

Os autores apresentaram o Exposía, o primeiro conjunto de dados público que conecta escrita, feedback e revisão em um ambiente educacional real.

Coleta de Dados

Contexto: O dataset foi coletado no curso de graduação em Ciência da Computação "Introdução ao Trabalho Científico" (Inverno de 2024) na TU Darmstadt.
Participantes: 159 estudantes concluíram todos os requisitos. O dataset final contém 55 exposés completos (com consentimento), 306 revisões e 2.253 comentários inline.
Fluxo de Trabalho:
1. Os alunos escrevem um rascunho do exposé.
2. Recebem feedback de pares (duplo cego) e instrutores. O feedback consiste em:
  - Comentários Inline: Destacados em trechos específicos do texto com tags (Força, Fraqueza, Destaque, Outro).
  - Revisão Livre: Um documento de texto livre com avaliação geral.
3. Os alunos revisam o rascunho com base no feedback e submetem a versão final.
4. Instrutores avaliam tanto os rascunhos quanto as versões finais, bem como as revisões feitas pelos alunos.

Esquema de Avaliação (Rubricas)

Diferente de pontuações holísticas simples, o Exposía utiliza um esquema de avaliação granular e pedagogicamente fundamentado:

Para Exposés: 36 critérios agrupados em 9 rubricas (ex: Motivação, Abordagem, Metodologia, Cronograma, Bibliografia).
Para Revisões (Feedback): 24 critérios agrupados em 8 rubricas (ex: Estrutura/Clareza, Feed Up, Feed Back, Feed Forward, Qualidade do Conteúdo).
Escala: Os critérios são avaliados em escalas ordinais (ex: [0,1], [0,1,2] ou [-1,0,1]).
Confiabilidade: Foi calculada a concordância inter-avaliadores (IAA) entre dois instrutores, utilizando métricas como QWA (Quadratic Weighted Agreement) e Krippendorff's $\alpha$ .

3. Contribuições Principais

Novo Dataset Público (Exposía): Um corpus único que integra rascunhos, feedbacks (comentários e revisões), versões finais e pontuações detalhadas de critérios. É o primeiro a capturar relações cruzadas entre documentos (draft-feedback-revision) em um contexto educacional.
Definição de Tarefa: Estabelece uma nova definição de problema para o ensino e avaliação de habilidades de escrita de propostas de pesquisa e feedback entre pares.
Linhas de Base com LLMs: Apresenta benchmarks de modelos de linguagem grandes (LLMs) em duas tarefas:
- Pontuação automatizada de propostas (exposé scoring).
- Pontuação automatizada de revisões de alunos (review scoring).
Análise de Estratégias de Prompting: Compara a eficácia de prompts de "critério único" versus "combinação de critérios".

4. Resultados Experimentais

Os autores avaliaram vários LLMs (incluindo modelos fechados como GPT-5.2, Claude Opus, Gemini e modelos abertos como Llama 3.3, Qwen e GPT OSS) usando a divergência de Jensen-Shannon (JSD) binned para medir o alinhamento com as distribuições de pontuação humana.

Desempenho dos Modelos:
- Modelos Fechados vs. Abertos: Modelos fechados (API) consistentemente superaram os modelos de pesos abertos (open-weight) em ambas as tarefas, apresentando menor JSD (melhor alinhamento com humanos).
- Especificidade da Tarefa: Diferentes modelos se destacaram em tarefas diferentes. Por exemplo, o GPT-5.2 teve o melhor desempenho na pontuação de exposés, mas foi um dos piores na pontuação de revisões, enquanto o Llama 3.3 mostrou o comportamento oposto. Isso sugere que não existe um "modelo único" ideal para ambos os tipos de avaliação.
Estratégia de Prompting:
- Prompting Combinado (Combined Prompting): Avaliar todos os critérios em uma única chamada ao modelo foi mais eficaz e mais eficiente computacionalmente do que avaliar critério por critério separadamente.
- Eficiência: O prompting combinado reduziu o tempo de execução em 1,3x a 5,3x e evitou o custo linear de múltiplas chamadas, sendo crucial para cenários de sala de aula com prazos apertados.
Análise de Revisão:
- As revisões finais dos alunos mostraram melhorias significativas em critérios conceituais (Motivação, Abordagem, Metodologia) em comparação com os rascunhos, indicando que o feedback foi eficaz.
- Comentários de instrutores eram mais curtos, mas com maior densidade e diversidade lexical do que os de alunos.

5. Significado e Implicações

Pesquisa Educacional: O Exposía permite estudos sobre como o feedback media a aprendizagem e o desenvolvimento da escrita no ensino superior, algo anteriormente limitado pela falta de dados estruturados.
Aplicações Práticas:
- Geração de Feedback: O dataset suporta a criação de sistemas que geram feedback automatizado detalhado, ajudando a escalar a avaliação em turmas grandes.
- Avaliação Escalável: Oferece uma base para ferramentas de apoio à decisão que podem auxiliar instrutores na avaliação de propostas e feedbacks, reduzindo a carga de trabalho manual.
Desafios Éticos e Técnicos:
- O estudo destaca a necessidade de modelos de pesos abertos mais robustos para garantir a privacidade dos dados dos alunos (evitando o envio para APIs públicas).
- Os autores alertam que, embora os LLMs sejam úteis, eles não devem substituir totalmente a avaliação humana devido a vieses sistemáticos e à possibilidade de os alunos "jogarem" o sistema (gaming the system). A recomendação é um fluxo de trabalho com humano no loop.

Em suma, o Exposía representa um marco na interseção entre Processamento de Linguagem Natural (NLP) e Ciência da Educação, fornecendo a infraestrutura de dados necessária para desenvolver ferramentas computacionais que apoiem efetivamente a escrita acadêmica e a cultura de feedback.