Cross-modal Affinity-aligned Multimodal Learning Analytics for Predicting Student Collaboration Satisfaction in Game-Based Learning

Technische Samenvatting: Cross-modal Affiniteit-gealigneerde Multimodale Lerende Analytics (AAMLA)

Probleemstelling
Samenwerkingsgerichte spelgebaseerde leermilieus bieden rijke mogelijkheden voor kennisconstructie, maar het automatisch voorspellen van tevredenheid met samenwerking blijft een uitdaging. Een primaire barrière is modale degradatie: in educatieve implementaties vertonen individuele modaliteiten (zoals oogbewegingen) vaak inconsistente informativiteit over verschillende studentenpopulaties heen, als gevolg van sensorruis, verduistering en gedragsvariatie. Bestaande multimodale benaderingen vertrouwen doorgaans op impliciete cross-attention fusiemechanismen die aannemen dat alle modaliteiten even informatieve signalen bijdragen. Wanneer een zwak of ruisbehaft modaal het attention-mechanisme domineert, veroorzaakt dit cascadefouten, wat de robuustheid van de voorspelling verslechtert. Het simpelweg weggooien van aangetaste modaliteiten is geen levensvatbare oplossing, aangezien deze in andere contexten nog steeds bruikbare signalen kunnen dragen.

Methodologie: Het AAMLA-kader
De auteurs stellen Affiniteit-gealigneerde Multimodale Lerende Analytics (AAMLA) voor, een kader dat is ontworpen om tevredenheid met samenwerking te voorspellen door expliciet intermodale relaties te modelleren en cross-modale consistentie af te dwingen. Het kader verwerkt vier complementaire modaliteiten die zijn ontleend aan studenteninteracties in de EcoJourneys-omgeving:

1. Faciale Action Units (AU): 17 intensiteitswaarden per frame.
2. Hoofdpositie: 3D-translatie- en rotatiecoördinaten.
3. Oogbewegingen (Eye Gaze): 3D-coördinaten per oog.
4. Interactie Trace Logs: Gecodeerd via een op BERT gebaseerde zinsencoder.

De methodologie bestaat uit drie kernfasen:

1. Modale Specifieke Encodering en Projectie:
   Elke modaliteitsstroom wordt verwerkt door een specifieke encoder (GRU voor AU, positie en oogbewegingen; feedforward-netwerk voor trace logs). Om heterogene feature-dimensies te hanteren, projecteren modale specifieke leerbare lineaire lagen alle features in een unificerend semantisch vlak ($d=128$) voorafgaand aan de alignering.

2. Cross-modal Affiniteit-geleide Modale Alignering (CAMA):
   Dit is de kernbijdrage van het artikel. In tegenstelling tot impliciete fusie, modelleert CAMA expliciet relaties tussen modaliteiten met behulp van een affiniteitsmatrix.

   • Stabilisatie: Om feature-afwijkingen veroorzaakt door gedragsvariatie te mitigeren, berekent het model gemiddelden op batch-niveau van originele en gedegradeerde featureparen.
   • Affiniteitsmodelleren: Een symmetrische affiniteitsmatrix wordt berekend om expliciete semantische relaties tussen de modaliteiten vast te leggen.
   • Contrastief Leren: Geleid door de affiniteitsmatrix wordt een contrastieve loss ($L_{aff}$) toegepast. Deze loss trekt embeddings van verschillende modaliteiten die tot dezelfde studentenactiviteit behoren (positieve paren) naar elkaar toe en duwt embeddings van verschillende activiteiten (negatieve paren) uit elkaar.
   • Adaptieve Suppressie: Dit mechanisme stelt het model in staat om adaptief oninformatieve of gedegradeerde modaliteiten (bijvoorbeeld inconsistente oogbewegingssignalen) te onderdrukken zonder ze volledig te verwijderen, waardoor stabiele representaties worden gewaarborgd zelfs onder ernstige degradatie.

3. Trainingsdoelen:
   De totale verliesfunctie combineert de standaard cross-entropy classificatieloss ($L_{CE}$) met de affiniteitsaligneringsloss ($L_{aff}$), gewogen door een hyperparameter $\alpha$ ( ingesteld op 0,25). Deze gezamenlijke optimalisatie waarborgt zowel classificatie-accuraatheid als cross-modale feature-consistentie.

Kernbijdragen

• CAMA-module: Een nieuwe module die expliciet intermodale relaties modelleert via affiniteitsmatrices en consistentie afdwingt door middel van contrastief leren, waarmee de beperkingen van impliciete fusie in aanwezigheid van modale degradatie worden aangepakt.
• Adaptieve Omgang met Degradatie: Het kader demonstreert het vermogen om oninformatieve modaliteiten dynamisch te onderdrukken in plaats van ze te verwijderen, waardoor robuuste prestaties worden behouden wanneer specifieke signalen (zoals oogbewegingen) ruisend of afwezig zijn.
• Unificerend Semantisch Vlak: Het gebruik van modale specifieke projectielagen stelt heterogene features in staat om te worden gemapt naar een coherent vlak voor directe cross-modale vergelijking.

Experimentele Resultaten
Experimenten werden uitgevoerd op data van 50 middelbare scholieren in de EcoJourneys-omgeving, met gebruikmaking van een student-niveau 10-voudige cross-validatieprotocol.

• Prestaties: AAMLA behaalde een macro F1-score van 0,79 en een nauwkeurigheid van 0,77, waarmee het unimodale baselines (F1 $\approx$ 0,65–0,66) en de eerdere cross-attention-aanpak (F1 = 0,72) overtrof.
• Robuustheid onder Degradatie: AAMLA toonde consistente superioriteit onder drie degradatievoorwaarden:
  • Oogbewegingen Dropout: Zelfs met 70% van de oogbewegingsfeatures op nul gezet, behield AAMLA een F1 van 0,72, vergeleken met 0,52 voor de cross-attention-baseline.
  • Feature Perturbatie: Onder Gaussische ruis toegevoegd aan AU en positie, overtrof AAMLA de baseline significant.
  • Volledige Modale Afwezigheid: Wanneer volledige modaliteiten bij inferentie werden verwijderd, behield AAMLA robuuste prestaties (bijvoorbeeld F1 = 0,73 zonder AU), terwijl de baseline significant daalde.
• Ablatiestudies: Het verwijderen van de CAMA-module of de contrastieve loss ($L_{aff}$) resulteerde in gefragmenteerde feature-ruimten en verminderde prestaties, wat bevestigt dat zowel expliciete alignering als contrastieve supervisie noodzakelijk zijn.
• Interpreteerbaarheid:
  • t-SNE Visualisaties: Toonden aan dat AAMLA compacte, semantisch coherente clusters produceert met duidelijke inter-klassen scheiding, terwijl het verwijderen van CAMA leidde tot cross-modale drift.
  • SHAP-analyse: Bevestigde dat trace log-features het meest voorspellend waren, terwijl oogbewegingsfeatures afwezig waren in de top-20 bijdragers, wat de adaptieve suppressie van oninformatieve modaliteiten door het model valideert.

Betekenis en Claims
Het artikel claimt dat AAMLA een kritieke kloof in multimodale lerende analytics aanpakt door een mechanisme te bieden om de inherente variabiliteit en onbetrouwbaarheid van gedragsdata in educatieve settings te hanteren. De auteurs stellen dat hun expliciete op affiniteit gebaseerde aligneringsstrategie een robuust alternatief biedt voor impliciete fusie, met name bij het omgaan met "modale degradatie" waarbij bepaalde signalen inconsistent zijn over studentenpopulaties. Het werk demonstreert dat dergelijke expliciete aligneringstechnieken effectief kunnen worden overgebracht naar educatieve domeinen, en interpreteerbare inzichten bieden in de gedragspatronen die tevredenheid met samenwerking voorspellen, zonder dat volledige verwijdering van potentieel bruikbare, zij het ruisende, datastromen nodig is.