A Durability and Cross-Language Transfer Benchmark for a Validated Teaching-Feedback Classification Protocol

Resumo Técnico: Um Benchmark de Durabilidade e Transferência Translinguística para um Protocolo Validado de Classificação de Feedback de Ensino

Definição do Problema
Instituições de ensino acumulam vastas quantidades de feedbacks qualitativos de avaliações de ensino que permanecem não lidos devido a restrições de volume. Embora o Processamento de Linguagem Natural (PLN) ofereça um caminho para recuperar esse sinal qualitativo, as instituições requerem procedimentos analíticos que sejam documentados, com confiabilidade verificada e validados, em vez de apenas alcançar alta precisão em rankings (leaderboards). Um estudo anterior estabeleceu um protocolo validado para classificar o feedback de ensino em espanhol por categoria temática e sentimento usando um design de "encoder congelado" (embeddings da era BETO, 2019) e classificadores clássicos. Este artigo aborda duas limitações críticas desse trabalho anterior: (1) se um protocolo fixado em métodos de representação da era de 2019 permanece competitivo à medida que as tecnologias de embeddings e de Grandes Modelos de Linguagem (LLMs) avançam, e (2) se o protocolo é transferido efetivamente para uma segunda língua (inglês).

Metodologia
O estudo emprega uma abordagem de "benchmark de durabilidade", mantendo o protocolo de anotação, o procedimento de validação e as divisões de avaliação constantes, enquanto varia a arquitetura do modelo e o idioma subjacentes.

• Consistência do Protocolo: O estudo reutiliza o guia de anotação exato do trabalho anterior, definindo quatro categorias temáticas (metodologia, avaliação, interação, frequência/engajamento) e três classes de sentimento (positivo, negativo, neutro). A confiabilidade é medida via concordância intra-anotador teste-reteste ($\kappa=0,82$ temático, $0,88$ sentimento).
• Braços Experimentais (Espanhol): O protocolo é executado novamente no corpus institucional original em espanhol (1.165 comentários rotulados, 233 de teste) através de três gerações de representação:
  1. Lexical Esparsa: Recursos TF-IDF com classificadores lineares.
  2. Embeddings de Transformer Congelados: Embeddings de média (mean-pooled) de um BERT espanhol da era 2019 (BETO) e de um encoder multilingue moderno (e5-base), alimentando classificadores clássicos.
  3. LLMs via Prompting: Zero-shot e few-shot prompting de modelos ajustados por instrução (Claude Haiku 4.5, Claude Opus 4.8 e o local Qwen2.5-1.5B).
• Transferência Translinguística (Inglês): A tarefa de sentimento é transferida para o inglês utilizando um corpus novo e balanceado de 45.000 comentários amostrados de avaliações do RateMyProfessor. Os rótulos de sentimento são derivados de classificações de estrelas (4+ = positivo, $\le$2 = negativo) e validados contra dados rotulados por humanos do EduRABSA ($\kappa$ de Cohen $= 0,66$). A transferência temática é limitada a um mapeamento de categoria documentado para entidades do EduRABSA, não sendo uma tarefa de classificação completa.
• Métricas de Avaliação: F1 ponderado (weighted) e macro são reportados como métricas primárias. As comparações são tratadas como evidência descritiva de consistência, em vez de testes de significância estatística (o teste de McNemar é usado de forma descritiva). Custo, latência e auditabilidade (via LIME) também são reportados.

Principais Contribuições

1. Benchmark de Durabilidade: Uma reavaliação de um protocolo validado de feedback de ensino através de três gerações de representação de PLN (esparsa, embeddings congelados, LLMs), demonstrando que o próprio protocolo é a variável estável enquanto o desempenho do modelo varia.
2. Avaliação de Transferência Translinguística: Uma transferência da tarefa de classificação de sentimento para o inglês com um limite de reivindicação explícito, utilizando um corpus balanceado e reproduzível e uma regra de rotulagem estrela-para-sentimento documentada e validada contra anotações humanas.
3. Corpus de Inglês Reproduzível: A liberação de uma receita de construção (script, semente, índices de divisão) para um dataset de sentimento em inglês balanceado de 45.000 comentários, permitindo a reprodução exata sem redistribuir o texto protegido por direitos autorais subjacente.

Resultos

• Durabilidade no Espanhol:
  • Classificação Temática: Os LLMs (Opus 4.8 e Haiku 4.5) alcançaram os maiores F1 ponderados (aprox. 0,87–0,88), superando significativamente os embeddings congelados (aprox. 0,74) e o TF-IDF (0,60) no conjunto de teste. A melhoria foi mais pronunciada para classes temáticas raras (ex: frequência/engajamento).
  • Classificação de Sentimento: O modelo de fronteira de 2026 (Opus 4.8) não mostrou vantagem de acurácia sobre o modelo mais barato (Haiku 4.5) na tarefa de sentimento (Haiku zero-shot: 0,923 vs. Opus zero-shot: 0,884). Ambos superaram os embeddings congelados, mas o padrão de "paridade ao custo" sugere que o teto da tarefa é alcançado por modelos mais baratos.
  • Custo vs. Desempenho: O design de encoder congelado (BETO e e5) permaneceu competitivo em acurácia, oferecendo custos de inferência significativamente menores e maior auditabilidade em comparação aos LLMs.
• Transferência para o Inglês:
  • Sentimento: O moderno encoder multilingue congelado (e5) foi o braço mais forte no split de teste completo (wF1 0,729). Os LLMs igualaram este desempenho apenas com few-shot prompting; o desempenho zero-shot foi inferior (aprox. 0,67).
  • Ruído de Rótulo: O teto para o desempenho em inglês foi limitado pelo ruído nos rótulos derivados de estrelas (concordância com rótulos humanos $\kappa=0,66$), impedindo que os modelos excedam esse nível de concordância.
  • Transferência Temática: O estudo não reivindicou um classificador temático resolvido para o inglês; em vez disso, forneceu um alinhamento documentado entre as categorias em espanhol e os tipos de entidades em inglês (Curso, Staff).

Significância e Reivindicações
O artigo argumenta que o protocolo é durável, não o modelo específico. A contribuição do trabalho anterior — o guia de anotação documentado, a medição de confiabilidade e o design de validação — permanece válida e eficaz mesmo conforme os métodos de representação subjacentes evoluem de embeddings da era de 2019 para LLMs de fronteira de 2026.

• A Escolha do Modelo é uma Decisão de Implementação: A escolha entre um encoder congelado barato e auditável e um LLM de alto custo não é uma questão de superioridade metodológica, mas de restrições institucionais (custo, latência, auditabilidade).
• Não Há Ganho Universal de Fronteira: Para a tarefa de sentimento, os modelos mais avançados não proporcionaram uma vantagem descritiva de acurácia sobre as alternativas mais baratas, sugerindo que, para tarefas específicas e bem definidas, a capacidade de "fronteira" pode não ser necessária.
• Auditabilidade: O estudo enfatiza que, embora os LLMs possam vencer em acurácia bruta para a classificação temática, sua natureza "limitada ao prompt" (prompt-bound) reduz a auditabilidade em comparação com modelos clássos inspecionáveis por pesos esparsos ou explicados via LIME.

Os autores afirmam explicitamente que o procedimento (o protocolo) é o que as instituições devem levar adiante, enquanto o modelo que roda por baixo dele é uma escolha de implementação variável. O artigo não pretende resolver auditorias de equidade ou análise de subgrupos demográficos, nem afirma que os resultados em inglês são diretamente comparáveis aos resultados do padrão-ouro em espanhol devido às diferenças na qualidade dos rótulos (derivados de estrelas vs. rotulados por humanos).