An Effective Strategy for Modeling Score Ordinality and Non-uniform Intervals in Automated Speaking Assessment

Technische Samenvatting: Een Effectieve Strategie voor het Modelleren van Score-ordinaliteit en Niet-uniforme Intervallen in Automatische Spraakbeoordeling

Probleemstelling
Systemen voor Automatische Spraakbeoordeling (ASA) kampen met twee primaire beperkingen in huidig onderzoek. Ten eerste lijden bestaande Self-Supervised Learning (SSL) benaderingen aan modaliteit-specifieke beperkingen: spraakgebaseerde SSL-modellen (bijv. wav2vec 2.0) vangen akoestische kenmerken op maar missen vaak de semantische inhoud, terwijl tekstgebaseerde SSL-modellen (bijv. BERT) vertrouwen op Automatic Speech Recognition (ASR) outputs, wat hen kwetsbaar maakt voor transcriptiefouten en niet in staat is om prosodische nuances te coderen. Ten tweede behandelen de meeste eerdere methoden beProficiency-niveaus (bijv. CEFR A1, A2, B1) als nominale klassen. Deze benadering negeert de inherente ordinale structuur van taalvaardigheid en het feit dat de intervallen tussen niveaus niet-uniform zijn (d.w.z. de progressie van B1 naar B2 is niet gelijk aan die van A1 naar A2). Het behandelen van deze niveaus als equidistant of ongeordend leidt tot suboptimale trainingsdoelstellingen en verminderde kalibratieprestaties.

Methodologie
De auteurs stellen een nieuw ASA-framework voor dat deze problemen aanpakt via een multi-aspect modelleringsstrategie en een gespecialiseerde verliesfunctie.

1. Multi-Aspect Architectuur:
   Het model integreert handmatige kenmerken met SSL-afgeleide embeddings met behulp van afzonderlijke Transformer-encoders voor drie verschillende beoordelingsaspecten:

• Content Module: Combineert prompt-embeddings (van een voorgetraind BERT-model) met frame-niveau spraakkenmerken (van wav2vec 2.0) om de semantische uitlijning tussen de reactie van de leerling en de prompt te vangen.
• Delivery Encoder: Verwerkt woord-gealigneerde segmenten van ASR-outputs met behulp van handmatige prosodische kenmerken (toonhoogte, energie, duur, betrouwbaarheid) om temporele leveringskenmerken te modelleren.
• Language Use Module: Codeert woordniveau linguïstische annotaties (Part-of-Speech, afhankelijkheidsrelaties, morfologische kenmerken) afgeleid van ASR-transcripten om lexicale en syntactische structuren te vangen.
  Deze drie aspect-specifieke representaties worden geconcateneerd, geprojecteerd en gevoed aan een predictie-kop.

2. Multi-Margin Ordinal (MMO) Loss:
   Om de ordinale structuur en de niet-uniforme intervallen van de beProficiency-labels expliciet te modelleren, introduceren de auteurs een logit-gebaseerde Multi-Margin Ordinal (MMO) loss. In tegenstelling tot eerdere ordinale methoden die beperkingen opleggen op het niveau van de verborgen representatie, past deze benadering pairwise constraints direct toe op het logit-niveau.

• De verliesfunctie dwingt een grotere scheiding in de logit-ruimte af voor labelparen die verder uit elkaar liggen op de CEFR-schaal.
• Het maakt gebruik van een cumulatieve marge ($d_{y,y_k}$) die de ordinale afstand vertegenwoordigt tussen het grondwaarheid-label en negatieve labels.
• De uiteindelijke doelstelling combineert de MMO-loss met de standaard cross-entropy loss, gebalanceerd door een hyperparameter $\lambda$.

Belangrijkste Bijdragen
Het artikel claimt twee primaire bijdragen:

1. Een Multi-Aspect Framework: Een systeem dat handmatige kenmerken integreert met SSL-embeddings om modaliteit-specifieke kenmerken te vangen, terwijl het de ordinale en niet-uniforme eigenschappen van de CEFR-schaal adresseert.
2. De MMO Loss Functie: Een nieuwe, volledig data-gestuurde verliesfunctie die de eerste is die de ordinale structuur en de niet-uniforme niveau-intervallen van CEFR-gealigneerde scores in de context van ASA gezamenlijk modelleert.

Experimentele Resultaten
Experimenten werden uitgevoerd op de TEEMI-corpus, een dataset van spontane Engelse spraakreacties geannoteerd met holistische en analytische scores (Content, Delivery, Language Use) uitgelijnd met CEFR-niveaus (Pre-A1 tot B2).

• Prestaties op de Testset: Het voorgestelde Multi-Aspect (MA) framework presteerde beter dan sterke baselines, inclus\nuit pure spraakgebaseerde (W2V), tekstgebaseerde (BERT) en gefuseerde (W2V-BERT) modellen. De toevoeging van de MMO loss (MA+MMO) leverde verdere verbeteringen op, waarbij het de hoogste holistische F1-score (35,55%) bereikte en significante winsten behaalde in de macro-gemiddelde F1 voor Content (+3,17) en Language Use (+8,39) vergeleken met het basis MA-model.
• Generalisatie naar Ongeziene Prompts: Het MA+MMO model vertoonde een robuuste generalisatie op ongeziene taken (A02, B02, C01). Met name op de C01-taak (thematische Q&A) liet het model substantiële verbeteringen zien in Delivery F1 (+21,19%) en algemene F1 (+9,87%) vergeleken met de MA-baseline, wat wijst op een verbeterde adaptiviteit aan taakvariaties.
• Ordinale Analyse: Analyse van de verwarringsmatrix toonde aan dat de MMO loss de fouten tussen verre niveaus verminderde en de concentratie op de diagonaal verduidelijkte. Bovendien bevestigde de afstandsanalyse dat de semantische hiaten tussen CEFR-niveaus niet-uniform zijn (bijv. de kloof tussen Pre-A1 en A1 is aanzienlijk groter dan die tussen B1 en B1+), wat de noodzaak van de voorgestelde niet-uniforme modelleringsbenadering valideert.

Significantie
Het artikel stelt dat het voorgestelde framework een meer interpreteerbare en effectieve benadering van ASA biedt door verder te gaan dan de vereenvoudiging van beProficiency-niveaus als nominale categorieën. Door de ordinale aard en de niet-uniforme intervallen van taalvaardigheid expliciet te modelleren, verbetert de methode zowel de voorspellingsnauwkeurigheid als de kalibratie van scores. De auteurs suggereren dat deze strategie bijzonder waardevol is voor real-world ASA-scenario's waar generalisatie naar ongeziene prompts en sprekers cruciaal is. Toekomstig werk wordt voorzien in het verkennen van gezamenlijke trainingsstrategieën over prompts en de integratie van multi-modale Large Language Models (MLLM's) om de volledigheid verder te vergroten.