A Durability and Cross-Language Transfer Benchmark for a Validated Teaching-Feedback Classification Protocol

Technische Samenvatting: Een Benchmark voor Duurzaamheid en Cross-Linguïstische Transfer van een Gevalideerd Protocol voor het Classificeren van Onderwijsfeedback

Probleemstelling
Onderwijsinstellingen verzamelen enorme hoeveelheden open eind feedback over onderwijsevaluaties die vanwege volumebeperkingen ongelezen blijven. Hoewel Natural Language Processing (NLP) een weg biedt om dit kwalitatieve signaal te herstellen, hebben instellingen analytische procedures nodig die gedocumenteerd, op betrouwbaarheid gecontroleerd en gevalideerd zijn, in plaats van enkel een hoge nauwkeurigheid te behalen op leaderboards. Een eerdere studie heeft een gevalideerd protocol vastgesteld voor het classificeren van Spaanse onderwijsfeedback naar thematische categorie en sentiment met behulp van een "frozen-encoder" ontwerp (BETO, embeddings uit het tijdperk 2019) en klassieke classifiers. Dit artikel adresseert twee kritieke beperkingen van dat eerdere werk: (1) of een protocol dat vaststaat op representatiemethoden uit het tijdperk 2019 competitief blijft naarmate embedding- en Large Language Model (LLM)-technologieën vorderen, en (2) of het protocol effectief kan worden overgedragen naar een tweede taal (Engels).

Methodologie
De studie hanteert een "duurzaamheidsbenchmark"-benadering, waarbij de annotatieprocedure, de validatieprocedure en de evaluatiesplits constant worden gehouden, terwijl de onderliggende modelarchitectuur en taal variëren.

• Protocolconsistentie: De studie hergebruikt exact dezelfde annotatiegids van het eerdere werk, waarbij vier thematische categorieën (methodologie, evaluatie, interactie, aanwezigheid/betrokkenheid) en drie sentimentklassen (positief, negatief, neutraal) worden gedefinieerd. Betrouwbaarheid wordt gemeten via test-retest intra-annotator overeenstemming ($\kappa=0,82$ thematisch, $0,88$ sentiment).
• Experimentele Armen (Spaans): Het protocol wordt opnieuw uitgevoerd op de oorspronkelijke Spaanse institutionele corpus (1.165 gelabelde commentaren, 233 gehouden-voor corpus) over drie generaties van representatie:
  1. Sparse Lexical: TF-IDF kenmerken met lineaire classifiers.
  2. Frozen Transformer Embeddings: Gemiddelde gepoolde embeddings van een Spaanse BERT uit het tijdperk 2019 (BETO) en een moderne meertalige encoder (e5-base), gevoed aan klassieke classifiers.
  3. Prompted LLMs: Zero-shot en few-shot prompting van instructie-afgestemde modellen (Claude Haiku 4.5, Claude Opus 4.8, en lokale Qwen2.5-1.5B).
• Cross-Linguïstische Transfer (Engels): De sentimenttaak wordt overgedragen naar het Engels met behulp van een nieuw geconstrueerde, gebalanceerde corpus van 45.000 commentaren afkomstig van RateMyProfessor reviews. Sentimentlabels worden afgeleid van sterrenratings (4+ = positief, $\le$2 = negatief) en gevalideerd tegen menselijk gelabelde data van EduRABSA (Cohen's $\kappa=0,66$). Thematische transfer is beperkt tot een gedocumenteerde categorietoewijzing aan EduRABSA-entiteiten, en geen volledige classificatietaak.
• Evaluatiemetrieken: Gewogen en macro F1-scores worden gerapporteerd als primaire metrieken. Vergelijkingen worden behandeld als beschrijvend bewijs van consistentie in plaats van statistische significantietesten (McNemar's test wordt descriptief gebruikt). Kosten, latentie en auditeerbaarheid (via LIME) worden eveneens gerapporteerd.

Belangrijkste Bijdragen

1. Duurzaamheidsbenchmark: Een herwaardering van een gevalideerd onderwijsfeedback-protocol over drie generaties van NLP-representatie (sparse, frozen embeddings, LLMs), wat aantoont dat het protocol zelf de stabiele variabele is terwijl de modelprestaties variëren.
2. Evaluatie van Cross-Linguïstische Transfer: Een transfer van de sentimentclassificatietaak naar het Engels met een expliciete claimgrenzen, gebruikmakend van een gebalanceerde, reproduceerbare corpus en een gedocumenteerde ster-naar-sentiment labelregel die gevalideerd is tegen menselijke annotaties.
3. Reproduceerbare Engelse Corpus: De release van een build-recept (script, seed, split-indices) voor een gebalanceerde 45.000-commentaren tellende Engelse sentimentdataset, waardoor exacte reproductie mogelijk is zonder de onderliggende auteursrechtelijk beschermde tekst te herdistribueren.

Resultaten

• Spaanse Duurzaamheid:
  • Thematische Classificatie: LLM's (Opus 4.8 en Haiku 4.5) behaalden de hoogste gewogen F1-scores (ongeveer 0,87–0,88), wat significant beter is dan frozen embeddings (ongeveer 0,74) en TF-IDF (0,60) op de gehouden-voor set. De verbetering was het meest uitgesproken voor zeldzame thematische klassen (bijv. aanwezigheid/betente betrokkenheid).
  • Sentiment Classificatie: Het 2026 frontier model (Opus 4.8) vertoonde geen nauwkeurheidsvoordeel ten opzichte van het goedkopere model (Haiku 4.5) op de sentimenttaak (Haiku zero-shot: 0,923 vs. Opus zero-shot: 0,884). Beiden presteerden beter dan frozen embeddings, maar het "parity-at-a-cost" patroon suggereert dat de taakplafond bereikt wordt door goedkopere modellen.
  • Kosten vs. Prestaties: Het frozen-encoder ontwerp (BETO en e5) bleef competitief in nauwkeurigheid terwijl het aanzienlijk lagere inferentiekosten en een hogere auditeerbaarheid bood vergeleken met LLM's.
• Engelse Transfer:
  • Sentiment: De moderne meertalige frozen encoder (e5) was de sterkste arm op de volledige testsplit (wF1 0,729). LLM's matchten deze prestatie alleen met few-shot prompting; zero-shot prestaties waren lager (ongeveer 0,67).
  • Labelruis: Het plafond voor de Engelse prestaties werd begrensd door de ruis in de uit sterren afgeleide labels (overeenstemming met menselijke labels $\kappa=0,66$), wat voorkwam dat modellen dit overeenstemmingsniveau overschreden.
  • Thematische Transfer: De studie claimde geen voltooide thematische classifier voor het Engels; in plaats daarvan werd een gedocumenteerde uitlijning tussen Spaanse categorieën en Engelse entiteitstypen (Course, Staff) verstrekt.

Betekenis en Claims
Het artikel betoogt dat de protocol duurzaam is, niet de specifieke methode. De bijdrage van het eerdere werk—de gedocumenteerde annotatiegids, de betrouwbaarheidsmeting en het validatieontwerp—blijft geldig en effectief, zelfs naarmate de onderliggende representatiemethoden evolueren van 2019-era embeddings naar 2026 frontier LLM's.

• Modelkeuze is een Implementatiebeslissing: De keuze tussen een goedkope, auditeerbare frozen encoder en een hoogwaardige LLM is geen kwestie van methodologische superioriteit, maar van institutionele beperkingen (kosten, latentie, auditeerbaarheid).
• Geen Universele Frontier Gain: Voor de sentimenttaak boden de meest geavanceerde modellen geen beschrijvend nauwkeurheidsvoordeel boven goedkopere alternatieven, wat suggereert dat voor specifieke, goed gedefinieerde taken "frontier" capaciteit niet noodzakelijk is.
• Auditeerbaarheid: De studie benadrukt dat hoewel LLM's kunnen winnen op ruwe nauwkeurigheid voor thematische classificatie, hun "prompt-gebonden" natuur de auditeerbaarheid vermindert in vergelijking met inspecteerbare sparse gewichten of LIME-geëxpliceerde klassieke modellen.

De auteurs stellen expliciet dat de procedure (het protocol) is wat instellingen moeten voortzetten, terwijl het model dat eronder draait een variabele implementatiekeuze is. Het artikel claimt niet het oplossen van equity audits of demografische subgroepanalyses, noch claimt het dat de Engelse resultaten direct vergelijkbaar zijn met de Spaanse gold-standard resultaten vanwege verschillen in labelkwaliteit (ster-afgeleid vs. menselijk gelabeld).