SCALEFeedback: A Large-Scale Dataset of Synthetic Computer Science Assignments for LLM-generated Educational Feedback Research

Resumo Técnico: Conjunto de Dados SCALEFeedback para Pesquisa de Feedback Educacional em LLMs

Problema
A integração de Modelos de Linguagem de Grande Escala (LLMs) na educação oferece um potencial significativo para fornecer feedback automatizado e oportuno aos alunos. No entanto, a pesquisa em metodologias generalizáveis para gerar feedback educacional eficaz e responsável é atualmente dificultada pela falta crítica de conjuntos de dados de código aberto. As pesquisas existentes são frequentemente limitadas a tarefas de programação específicas ou cursos únicos, e a criação de conjuntos de dados abertos abrangentes que contenham descrições de tarefas, rubricas e diversas submissões de alunos é obstruída pelos direitos de propriedade intelectual universitária e pelas preocupações com a privacidade dos alunos. Consequentemente, não existe um conjunto de dados aberto e de grande escala que inclua de forma abrangente esses elementos em vários cursos para apoiar o desenvolvimento de sistemas de feedback escaláveis e generalizáveis.

Metodologia: Mimetismo de Tarefas Sofisticado (SAM)
Para enfrentar a escassez de dados educacionais compartilháveis, os autores apresentam o SCALEFeedback (Synthetic Computer science Assignments for LLM Educational Feedback Research), um conjunto de dados gerado usando uma nova estrutura chamada Mimetismo de Tarefas Sofisticado (SAM).

A metodologia envolve um processo de imitação um-para-um baseado em LLM projetado para preservar o significado semântico e a distribuição de dados do mundo real, enquanto remove informações de identificação pessoal (PII). O processo segue um ciclo de instrução iterativo de quatro etapas:

1. Avaliar: O LLM analisa a descrição da tarefa original (tema, objetivos, estilo, extensão, rubrica) e a respectiva submissão real do aluno (extensão, detalhamento, correção e nota estimada).
2. Gerar: O LLM cria uma descrição de tarefa sintética e uma submissão de aluno sintética, imitando estritamente as dimensões avaliadas na etapa anterior.
3. Reavaliar: O LLM avalia os novos dados sintéticos gerados contra as mesmas dimensões usadas para os dados originais.
4. Comparar e Ciclar: O LLM compara os resultados da avaliação dos dados sintéticos com os dados originais. Se a imitação for considerada bem-sucedida, os dados são emitidos; caso contrário, o processo retorna à etapa 2.

Para garantir a privacidade, a estrutura utiliza um portão de privacidade externo usando um LLM de alto raciocínio (o4-mini). Este portão realiza uma verificação de três etapas para verificar se nenhum nome ou ID de aluno das submissões reais aparece na saída sintética. Se uma correspondência for encontrada, a geração é descartada e reiniciada.

O conjunto de dados foi construído a partir de 45.126 submissões reais de alunos da Faculdade de Tecnologia da Informação da Universidade Monash (primeiro semestre de 2021). Após filtrar por restrições de comprimento (abaixo de 7.500 palavras para acomodar janelas de contexto de LLMs mais antigos) e ponderação proporcional, 10.000 submissões sintéticas foram geradas em 155 tarefas de 59 cursos de ciência da computação.

Principais Contribuições
O artigo apresenta quatro contribuições primárias:

1. Lançamento de Conjunto de Dados Aberto: A liberação do SCALEFeedback, contendo 10.000 submissões de alunos sintéticas em 155 tarefas e 59 cursos, formatado para pesquisa em métodos de feedback automatizado generalizáveis.
2. Validação Técnica: Validação extensiva demonstrando que os dados sintéticos se assemelham de perto aos dados reais em termos de notas de submissão, similaridade semântica, métricas linguísticas (LIWC) e métricas de legibilidade (Coh-Metrix), enquanto garantem a remoção de informações identificáveis do aluno.
3. Utilidade como Proxy: Evidência mostrando que o conjunto de dados serve como um proxy confiável para pesquisa de feedback baseada em LLM. O feedback gerado para submissões sintéticas é comparável em qualidade ao feedback gerado para as submissões reais correspondentes.
4. Processo de Síntese de Preservação de Privacidade: Documentação de um processo de síntese um-para-um baseado em LLM que mantém as características distributivas de dados educacionais sensíveis, permitindo o compartilhamento aberto.

Resultados

• Semelhança: O método SAM alcançou alta similaridade semântica (BERTScore F1 > 0,85) e forte correlação positiva em comprimento (PCC > 0,85) em comparação com os dados originais. Em contraste, uma linha de base de "mimetismo ingênuo" mostrou correlação de comprimento significativamente menor (PCC ≈ 0,5) e taxas de erro mais altas.
• Linguística e Legibilidade: As descrições e submissões sintéticas exibiram similaridades de cosseno superiores a 0,94 com os dados reais em 83 recursos linguísticos LIWC e 68 índices de legibilidade Coh-Metrix.
• Distribuição de Notas: Embora as submissões sintéticas tenham mostrado uma correlação positiva moderada com as notas originais (PCC = 0,624) em comparação com a linha de base ingênua (PCC = 0,421), os autores observam que os dados sintéticos tendem a se agrupar em torno da média, mostrando menos eficácia em imitar padrões de cauda longa (ex: notas extremamente altas ou baixas).
• Avaliação de Utilidade: Usando 10 LLMs comerciais diferentes para gerar feedback, o estudo encontrou alta consistência entre o feedback para submissões sintéticas e reais. O alinhamento médio foi de 0,847 e o F1 score foi de 0,856, indicando que os dados sintéticos preservam efetivamente os recursos necessários para acionar componentes específicos de feedback.
• Proteção de Privacidade: A combinação de proteção no prompt e o portão de privacidade externo alcançou uma taxa de proteção de privacidade de 100%, superando significativamente o método de mimetismo ingênuo (96,5%) e abordagens de mecanismo único.

Significância e Limitações
Os autores posicionam o SCALEFeedback como uma contribuição valiosa para pesquisadores que visam desenvolver métodos escaláveis e generalizáveis para feedback educacional automatizado. Ao fornecer um conjunto de dados de código aberto e padronizado que evita restrições legais e éticas, ele facilita a descoberta, o reuso e o benchmarking metodológico.

No entanto, o artigo mantém uma postura modesta em relação às limitações. Os autores reconhecem que o método de síntese não capturou totalmente a diversidade comportamental de "outliers" estudantis, como aqueles com contagens de palavras extremamente altas ou notas baixas, já que os dados sintéticos tendem a ser mais centralizados do que os dados do mundo real. Consequentemente, o conjunto de dados pode não ser adequado para treinar modelos especificamente desenhados para detectar estudantes em situação de reprovação ou casos de má conduta acadêmica, que são frequentemente fenômenos de cauda longa. O artigo sugere que a estrutura SAM pode ser adotada por outras instituições para transformar conjuntos de dados internos sensíveis em recursos compartilháveis.