A Durability and Cross-Language Transfer Benchmark for a Validated Teaching-Feedback Classification Protocol

Sintesi Tecnica: Un Benchmark di Durata e Trasferimento Cross-Lingua per un Protocollo Validato di Classificazione del Feedback Didattico

Definizione del Problema
Le istituzioni educative accumulano vaste quantità di feedback aperto sulle valutazioni didattiche che rimangono non letti a causa dei vincoli di volume. Sebbene l'Elaborazione del Linguaggio Naturale (NLP) offra una via per recuperare questo segnale qualitativo, le istituzioni richiedono procedure analitiche che siano documentate, verificate in termini di affidabilità e validate, piuttosto che limitarsi a raggiungere un'elevata accuratezza nelle classifiche (leaderboard). Uno studio precedente ha stabilito un protocollo validato per la classificazione del feedback didattico in spagnolo per categoria tematica e sentiment utilizzando un design a "encoder congelato" (embedding BETO dell'era 2019) e classificatori classici. Questo articolo affronta due criticità fondamentali di tale lavoro pregresso: (1) se un protocollo ancorato a metodi di rappresentazione dell'era 2019 rimanga competitivo con l'avanzare delle tecnologie di embedding e dei Large Language Models (LLM), e (2) se il protocollo si trasferisca efficacemente a una seconda lingua (inglese).

Metodologia
Lo studio impiega un approccio di "benchmark di durata", mantenendo costanti il protocollo di annotazione, la procedura di validazione e le suddivisioni di valutazione, variando invece l'architettura del modello e la lingua.

• Consistenza del Protocollo: Lo studio riutilizza l'esatto manuale di annotazione del lavoro precedente, definendo quattro categorie tematiche (metodologia, valutazione, interazione, presenza/partecipazione) e tre classi di sentiment (positivo, negativo, neutro). L'affidabilità è misurata tramite l'accordo intra-annotatore test-retest ($\kappa=0,82$ tematico, $\kappa=0,88$ sentiment).
• Bracci Sperimentali (Spagnolo): Il protocollo viene rieseguito sul corpus istituzionale originale in spagnolo (1.165 commenti etichettati, 233 in hold-out) attraverso tre generazioni di rappresentazione:
  1. Lessicale Sparsa: Caratteristiche TF-IDF con classificatori lineari.
  2. Embedding Transformer Congelati: Embedding mediati da un BETO (BERT spagnolo) dell'era 2019 e da un encoder multilingue moderno (e5-base), che alimentano classificatori classici.
  3. LLM Prompted: Prompting zero-shot e few-shot di modelli istruiti (Claude Haiku 4.5, Claude Opus 4.8 e il modello locale Qwen2.5-1.5B).
• Trasferimento Cross-Lingua (Inglese): Il compito del sentiment viene trasferito all'inglese utilizzando un nuovo corpus bilanciato, composto da 45.000 commenti campionati da recensioni di RateMyProfessor. Le etichette di sentiment sono derivate dalle valutazioni a stelle (4+ = positivo, $\le$2 = negativo) e validate rispetto a dati etichettati da umani da EduRABSA (Cohen's $\kappa=0,66$). Il trasferimento tematico è limitato a una mappatura di categorie documentata verso entità EduRABSA, non a un compito di classificazione completo.
• Metriche di Valutazione: Vengono riportati i punteggi F1 pesati (weighted) e macro come metriche primarie. I confronti sono trattati come evidenza descrittiva piuttosto che come test di significatività statistica (il test di McNemar è usato in modo descrittivo). Anche costo, latenza e auditabilità (tramite LIME) sono riportati.

Contributi Chiave

1. Benchmark di Durata: Una ri-valutazione di un protocollo di feedback didattico validato attraverso tre generazioni di rappresentazione NLP (lessicale sparsa, embedding congelati, LLM), dimostrando che il protocollo stesso è la variabile stabile mentre la performance del modello varia.
2. Valutazione del Trasferimento Cross-Lingua: Un trasferimento del compito di classificazione del sentiment all'inglese con un confine di pretesa esplicito, utilizzando un corpus bilanciato e riproducibile e una regola di etichettatura stella-sentiment documentata e validata rispetto alle annotazioni umane.
3. Corpus Inglese Riproducibile: Il rilascio di una ricetta di build (script, seed, indici di split) per un dataset di sentiment in inglese bilanciato di 45.000 commenti, che consente l'esatta riproduzione senza ridistribuire il testo protetto da copyright sottostante.

Risultati

• Durata dello Spagnolo:
  • Classificazione Tematica: Gli LLM (Opus 4.8 e Haiku 4.5) hanno raggiunto i punteggi F1 pesati più elevati (circa 0,87–0,88), superando significativamente gli embedding congelati (circa 0,74) e il TF-IDF (0,60) sul set di hold-out. Il miglioramento è stato più pronunciato per le classi tematiche rare (es. presenza/partecipazione).
  • Classificazione del Sentiment: Il modello di frontiera del 2026 (Opus 4.8) non ha mostrato nessun vantaggio di accuratezza rispetto al modello più economico (Haiku 4.5) nel compito del sentiment (Haiku zero-shot: 0,923 vs. Opus zero-shot: 0,884). Entrambi hanno superato gli embedding congelati, ma il pattern "parità al costo" suggerisce che il soffitto del compito è raggiunto da modelli più economici.
  • Costo vs. Performance: Il design a encoder congelato (BETO ed e5) è rimasto competitivo in termini di accuratezza offrendo al contempo costi di inferenza significativamente inferiori e una maggiore auditabilità rispetto agli LLM.
• Trasferimento in Inglese:
  • Sentiment: Il moderno encoder multilingue congelato (e5) è stato il braccio più forte sul full test split (wF1 0,729). Gli LLM hanno eguagliato questa performance solo con il prompting few-shot; la performance zero-shot è stata inferiore (circa 0,67).
  • Rumore delle Etichette: Il soffitto per la performance in inglese è stato delimitato dal rumore nelle etichette derivate dalle stelle (accordo con le etichette umane $\kappa=0,66$), impedendo ai modelli di superare tale livello di accordo.
  • Trasferimento Tematico: Lo studio non ha rivendicato un classificatore tematico risolto per l'inglese; ha invece fornito un allineamento documentato tra le categorie spagnole e i tipi di entità inglesi (Corso, Personale).

Significatività e Rivendicazioni
L'articolo sostiene che il protocollo è durevole, non il modello specifico. Il contributo del lavoro precedente — la guida all'annotazione documentata, la misurazione dell'affidabilità e il design di validazione — rimane valido ed efficace anche quando i metodi di rappresentazione sottostanti evolvono dagli embedding dell'era 2019 ai LLM di frontiera del 2026.

• La Scelta del Modello è una Decisione di Implementazione: La scelta tra un encoder congelato economico e auditabile e un LLM ad alto costo non è una questione di superiorità metodologica, ma di vincoli istituzionali (costo, latenza, auditabilità).
• Nessun Guadagno Universale di Frontiera: Per il compito del sentiment, i modelli più avanzati non hanno fornito un vantaggio descrittivo di accuratezza rispetto alle alternative più economiche, suggerendo che per compiti specifici e ben definiti, la capacità "di frontiera" potrebbe non essere necessaria.
• Auditabilità: Lo studio sottolinea che, sebbene gli LLM possano vincere in termini di accuratezza pura per la classificazione tematica, la loro natura "vincolata al prompt" riduce l'auditabilità rispetto ai pesi sparsi ispezionabili o ai modelli spiegati tramite LIME.

Gli autori dichiarano esplicitamente che la procedura (il protocollo) è ciò che le istituzioni dovrebbero portare avanti, mentre il modello che vi gira sotto è una variabile di implementazione. Il documento non sostiene di aver risolto l'audit sull'equità o l'analisi dei sottogruppi demografici, né sostiene che i risultati in inglese siano direttamente confrontabili con i risultati "gold-standard" spagnoli a causa delle differenze nella qualità delle etichette (derivate dalle stelle vs. etichettate da umani).