A Controlled Synthetic Benchmark for Educational Aspect-Based Sentiment Analysis

Resumo Técnico: Um Benchmark Sintético Controlado para Análise de Sentimento Baseada em Aspectos Educacionais

Declaração do Problema
A Análise de Sentimento Baseada em Aspectos (ABSA) Educacional oferece um caminho para transformar feedback bruto de estudantes em insights acionáveis sobre design de curso, clareza instrucional e ambientes de aprendizagem. No entanto, o desenvolvimento de modelos ABSA robustos é severamente prejudicado pela escassez de conjuntos de dados públicos com rótulos de aspectos. O feedback real de estudantes é frequentemente privado, específico de instituições e custoso para anotar devido à complexidade de identificar aspectos implícitos, sentimentos mistos e terminologia pedagógica específica do domínio. Recursos existentes de mineração de texto educacional são frequentemente muito pequenos, não harmonizados ou limitados a sinais grosseiros de satisfação, em vez de dimensões pedagógicas granulares.

Metodologia
O estudo aborda essa escassez de dados introduzindo um pipeline controlado de geração de dados sintéticos acoplado a um quadro rigoroso de avaliação de benchmark.

1. Protocolo de Geração de Dados Sintéticos:

   • Esquema: O corpus é construído sobre um esquema pedagógico de 20 aspectos categorizados em cinco blocos: qualidade instrucional, avaliação e gestão de curso, demanda e prontidão para aprendizagem, ambiente de aprendizagem e engajamento e valor.
   • Separação Controlada: O processo de geração desacopla alvos de supervisão (1–3 pares aspecto-sentimento amostrados do inventário de 20 aspectos) de atributos de nuance (variáveis contextuais como nível do curso, histórico do estudante, estilo de escrita e controles de realismo).
   • Engenharia de Prompt: Uma instrução com restrições de realismo funde esses alvos e atributos amostrados. O prompt é refinado através de um procedimento de três ciclos "juiz-editor", onde um juiz humano tenta distinguir revisões sintéticas de revisões públicas reais do OMSCS. Pistas sintéticas detectadas (por exemplo, compensações excessivamente equilibradas, cobertura de listas de verificação) são usadas para estabilizar iterativamente o prompt.
   • Construção do Corpus: O conjunto de dados final consiste em 10.000 revisões de cursos sintéticas com divisões explícitas de treino/validação/teste (8.000/1.000/1.000). A geração utiliza um modelo fixo com variação por linha para garantir diversidade nos contextos de curso e estilos retóricos, mantendo a fidelidade dos rótulos.

2. Pipeline de Avaliação de Benchmark:

   • Formulação da Tarefa: A tarefa principal é definida como um problema ABSA de dois passos: (1) detecção de aspectos multirrótulo e (2) previsão de sentimento para os aspectos detectados.
   • Famílias de Modelos: O benchmark avalia várias abordagens sob uma divisão estrita e compartilhada:
     • Baselines Clássicos: TF-IDF com detecção de dois passos e regressão de sentimento.
     • Codificadores Transformer: Modelos de dois passos (detecção + sentimento) e modelos de previsão conjunta usando BERT, DistilBERT, ALBERT e RoBERTa.
     • Inferência Baseada em GPT: Prompting zero-shot e few-shot (fixo, diverso e baseado em recuperação) usando GPT-5.2, avaliado via inferência em lote sem ajuste fino.
   • Métricas: A avaliação foca no micro-F1 para detecção de aspectos, Erro Quadrático Médio (MSE) de sentimento em aspectos detectados e diagnósticos complementares como precisão balanceada e coeficiente de correlação de Matthews para contabilizar a esparsidade de rótulos.

3. Estratégias de Validação:

   • Validação de Realismo: Um loop juiz-editor usando 32 revisões reais do OMSCS para avaliar e reduzir a detectabilidade sintética.
   • Transferência Externa: Uma avaliação conservadora em 2.829 revisões de feedback de estudantes mapeadas de Herath et al., restritas a uma sobreposição de 9 aspectos com o esquema sintético para testar a transferência sintética-para-real.
   • Auditoria de Fidelidade: Uma auditoria assistida por modelo (usando GPT-5.2) para verificar se os sentimentos de aspectos declarados são visivelmente suportados no texto gerado.

Principais Contribuições

• Recurso de Benchmark Educacional: Um corpus sintético de 10.000 revisões com um esquema pedagógico de 20 aspectos, significativamente mais rico do que recursos públicos típicos de sentimento educacional.
• Design de Geração Controlada: Uma metodologia que separa alvos de supervisão de nuances contextuais, permitindo que os mesmos rótulos de aspecto apareçam em diversas personas de estudantes e contextos de curso sem colapsar em padrões de prompt repetitivos.
• Configuração de Benchmark Reprodutível: Um protocolo documentado de treino-validação-teste que permite a comparação direta de modelos supervisionados locais e baselines generativos no momento da inferência.
• Relevância Externa Inicial: Evidência de transferência parcial sintética-para-real em um conjunto de dados do mundo real mapeado, juntamente com diagnósticos que esclarecem os limites da fidelidade dos rótulos.

Resultados

• Desempenho do Benchmark Interno: A tarefa é não trivial. O modelo local não ajustado mais forte, bert-base-uncased, alcançou um micro-F1 retido de 0,2760 para detecção de aspectos. Um ajuste modesto no cronograma de treinamento (taxa de aprendizado mais baixa, épocas mais longas) melhorou isso para 0,2930. Codificadores conjuntos e baselines TF-IDF performaram mais baixo, enquanto ALBERT e RoBERTa tenderam para alta recall mas baixa precisão.
• Inferência Baseada em GPT: A inferência em lote com GPT-5.2 no modo zero-shot alcançou um micro-F1 de 0,2519, superando TF-IDF e codificadores conjuntos, mas ficando aquém dos transformadores de dois passos ajustados finamente mais fortes. O prompting few-shot baseado em recuperação produziu resultados semelhantes (0,2501).
• Transferência Externa: No conjunto de dados Herath mapeado (sobreposição de 9 aspectos), bert-base-uncased alcançou um micro-F1 de 0,4593. Esse desempenho foi superior às pontuações internas, provavelmente devido à complexidade reduzida de aspectos e ao domínio do sinal lecturer_quality nos dados reais.
• Diagnósticos do Gerador:
  • Realismo: O procedimento juiz-editor reduziu com sucesso pistas sintéticas, com a precisão do juiz caindo para níveis de acaso (0,4333) no ciclo final, embora a equivalência estatística com revisões reais não tenha sido definitivamente estabelecida.
  • Fidelidade: Embora 77% dos aspectos declarados fossem suportados textualmente, as taxas de correspondência de polaridade de sentimento foram mais baixas (42,3% no nível do aspecto, 21,2% no nível da revisão completa), indicando que o corpus é um recurso útil, mas ruidoso, em vez de um padrão ouro.

Significado e Alegações
O artigo afirma que a supervisão sintética controlada é uma abordagem produtiva para estudar a ABSA educacional em domínios com escassez de dados. Não afirma substituir a anotação humana ou fornecer um conjunto de dados de padrão ouro perfeito. Em vez disso, posiciona o corpus sintético como um andaime para:

1. Inicialização de Modelos: Permitir que instituições pré-treinem modelos em dados sintéticos antes de ajustar finamente em pequenos conjuntos de dados reais adjudicados.
2. Monitoramento Longitudinal: Fornecer uma régua estável para rastrear o desempenho do modelo ao longo de termos e coortes.
3. Teste de Estresse: Expor aspectos minoritários (por exemplo, acessibilidade, transparência de notas) que são frequentemente sub-representados em arquivos de uma única instituição.

O estudo conclui que, embora o corpus sintético introduza ruído de rótulo, particularmente em relação à polaridade de sentimento, ele suporta com sucesso a aprendibilidade interna, a comparação reprodutível de modelos e a transferência parcial para espaços reais de feedback educacional. O trabalho enfatiza o valor da combinação de enquadramento de tarefa, geração controlável e integração de benchmark sobre a geração de texto sintético isolada.