💻 computer science

Cross-Platform Domain Adaptation for Multi-Modal MOOC Learner Satisfaction Prediction

Dit paper introduceert ADAPT-MS, een raamwerk voor cross-platform domeinadaptatie dat de voorspelling van tevredenheid in MOOC's verbetert door tekst- en gedragsdata te integreren, domeinverschillen te aligneren en platformspecifieke rating-bias te corrigeren, zelfs bij een gebrek aan gelabelde doelplatform-data.

Oorspronkelijke auteurs: Jakub Kowalski, Magdalena Piotrowska

Gepubliceerd 2026-04-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jakub Kowalski, Magdalena Piotrowska

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een recept voor de perfecte taart hebt ontwikkeld voor een bakkerij in Nederland. Je weet precies hoeveel suiker, bloem en eieren er nodig zijn om een taart te maken die iedereen in Nederland heerlijk vindt.

Nu wil je dit recept gebruiken in een bakkerij in België. Maar er zijn een paar problemen:

Andere taal: De Belgen gebruiken andere woorden voor ingrediënten (of zeggen "smaak" anders).
Andere mensen: De klanten in België houden misschien van iets zoeter dan de Nederlanders.
Andere meetlat: In Nederland betekent een "5 sterren" dat de taart perfect is. In België geven ze misschien al een 5 als de taart gewoon "goed" is.
Ontbrekende info: In de Belgische bakkerij hebben ze geen digitale schaal om het gewicht van de eieren te meten, terwijl je recept daarop gebaseerd was.

Als je je Nederlandse recept zomaar op de Belgische bakkerij loslaat, zal de taart waarschijnlijk niet smaken zoals verwacht. De taart is misschien te zoet, of de klanten vinden hem niet lekker genoeg.

Dit is precies het probleem dat dit wetenschappelijke artikel (ADAPT-MS) probeert op te lossen, maar dan met online cursussen (MOOCs) in plaats van taarten.

Het Probleem: De "Platform-Val"

Online leerplatforms zoals Coursera, edX of XuetangX lijken op elkaar, maar zijn eigenlijk heel verschillend. Als je een computermodel traint om te voorspellen of studenten tevreden zijn op platform A, werkt dat model vaak slecht op platform B. Waarom?

Taalstijl: Studenten schrijven reviews in een andere stijl.
Gedrag: Ze klikken op andere knoppen of kijken video's anders.
Sterrengebruik: Sommige studenten zijn chagrijnig en geven pas 5 sterren als het perfect is; anderen geven direct 5 sterren voor een goed gevoel.

De Oplossing: ADAPT-MS (De Slimme Vertaler)

De auteurs hebben een slim systeem bedacht, genaamd ADAPT-MS. Je kunt dit zien als een meester-bakker die een recept aanpast aan elke nieuwe bakkerij. Het systeem doet vier dingen:

De Vertaler (Tekst & Gedrag):
Het systeem leest de reviews van studenten met een heel slimme taalcomputer (een LLM) die alle talen en stijlen begrijpt. Het kijkt ook naar het gedrag (hoe vaak kijken ze video's?), maar maakt dit "algemeen" zodat het op elk platform werkt, ongeacht hoe ze het meten.
- Analogie: Het is alsof je zegt: "Het maakt niet uit of je 'cake' of 'taart' zegt, of of je het gewicht in gram of ounces meet; we kijken naar de essentie van de taart."
De Verblindende Spiegel (Adversarial Training):
Het systeem probeert te leren om niet te zien op welk platform de student zit. Het doet alsof het een spiegel is die de "platform-kenmerken" verwijdert, zodat het alleen naar de echte tevredenheid kijkt.
- Analogie: Stel je voor dat je een detective bent die probeert te raden welke stad iemand uit komt. Je laat de detective de "stad" vergeten, zodat hij zich alleen concentreert op of de persoon gelukkig is.
De Meetlat-Correctie (Calibratie):
Dit is misschien wel het slimste deel. Het systeem weet: "Oh, op platform C geven ze altijd hogere cijfers." Dus, als het model denkt dat een taart een 4 is, maar het systeem weet dat op dit platform een 4 eigenlijk een 3 betekent, dan past hij het eindresultaat aan.
- Analogie: Het is alsof je een thermometer hebt die in Fahrenheit meet, maar je wilt Celsius. Je doet er een klein rekentje overheen om de temperatuur correct te vertalen, zonder de hele thermometer te vervangen.
De Veilige Netwerk (Gated Fusion):
Soms ontbreekt er data. Misschien heeft platform C geen gegevens over hoe vaak studenten video's terugkijken. Het systeem is slim genoeg om te zeggen: "Geen probleem, ik gebruik dan gewoon de tekstreviews."
- Analogie: Als je een auto rijdt en je raakt je navigatiekwast kwijt, ga je niet stoppen. Je kijkt gewoon naar de borden langs de weg. Het systeem schakelt automatisch over op de informatie die er wél is.

Wat is het resultaat?

De onderzoekers hebben dit getest op drie grote platforms.

Zonder aanpassing: Als je het oude model gebruikt, is het resultaat vaak slecht (zoals een taart die te zoet is).
Met ADAPT-MS: Zelfs als ze geen enkele nieuwe student van het nieuwe platform hebben om het systeem te leren (geen "labels"), werkt het al veel beter.
Met een beetje hulp: Als ze slechts een paar honderd nieuwe studenten hebben om het systeem een klein beetje bij te stellen, werkt het bijna perfect.

Waarom is dit belangrijk?

Voor online onderwijs betekent dit dat platformen sneller en goedkoper nieuwe cursussen kunnen introduceren of samen kunnen werken. Ze hoeven niet voor elk nieuw platform een heel nieuw model te bouwen. Ze kunnen hun slimme "recept" meenemen, het even aanpassen aan de lokale smaak, en direct goede resultaten krijgen.

Kortom: ADAPT-MS is de slimme tolk en aanpasser die zorgt dat een model dat tevredenheid voorspelt, niet vastloopt op taalbarrières, verschillende meetmethoden of ontbrekende data. Het maakt het mogelijk om overal ter wereld te weten of studenten blij zijn met hun lessen.

1. Probleemstelling

Het voorspellen van tevredenheid van studenten in Massive Open Online Courses (MOOCs) op basis van reviews en gedragsdata is waardevol voor platformbeheer en kwaliteitsverbetering. Echter, modellen die op één platform (bijv. Coursera) zijn getraind, presteren vaak slecht wanneer ze worden ingezet op een ander platform (bijv. edX of XuetangX). Dit komt door domeinverschuivingen (domain shift) die zich manifesteren in vier hoofdzaken:

Taalkundige verschuiving: Verschillen in vocabulaire, formaliteit en culturele uitdrukking van sentiment in reviews.
Populatie- en cursussamenstelling: Verschillende demografieën en vakgebieden per platform.
Verschuiving in gedragslog-schemas: Dezelfde interacties (bijv. "video bekijken") worden verschillend gedefinieerd of op verschillende granulariteit gelogd.
Drift in de semantiek van rating-schalen: Leerlingen gebruiken sterrenschalen anders (bijv. 5 sterren als "perfectie" vs. 5 sterren als "standaard positief"), wat leidt tot systematische bias in de voorspellingen.

Bestaande methoden negeren vaak deze kruisplatform-generalisatie of behandelen label-verschuiving en ontbrekende modaliteiten niet gezamenlijk.

2. Methodologie: ADAPT-MS

De auteurs stellen ADAPT-MS (Adaptive Domain-Transfer Multi-modal Satisfaction predictor) voor, een raamwerk dat specifiek is ontworpen voor adaptatie met weinig of geen gelabelde data van het doelpatform. Het systeem bestaat uit vier kerncomponenten:

Multi-modale Encoder:
- Tekst: Reviewtekst wordt verwerkt met een bevroren LLM-encoder (RoBERTa-base) om overfitting op het bronplatform te voorkomen en algemene linguïstische representaties te behouden.
- Gedrag: Ruwe gedragslogs worden gemap naar een platform-onafhankelijke canonieke feature-vector (bijv. minuten bekeken, quizpogingen, forumactiviteit). Deze worden verwerkt door een MLP.
- Gated Fusion: Een "gate" bepaalt de bijdrage van het gedragsgedeelte. Tijdens training wordt modality dropout toegepast (random uitschakelen van gedragsdata) om het model robuust te maken voor scenario's waarin gedragsdata op het doelpatform ontbreekt.
Domein-adversariale Uitlijning (Domain-Adversarial Training):
- Om platform-specifieke kenmerken te verwijderen, wordt een domeindiscriminator gebruikt die probeert het platform te voorspellen op basis van de gedeelde representatie.
- Een Gradient Reversal Layer (GRL) keert de gradiënten om tijdens backpropagation, waardoor het model leert representaties te genereren die voor de discriminator ononderscheidbaar zijn (domein-invariant).
Platform-specifieke Rating Calibratie:
- Zelfs na uitlijning blijft er een bias door verschillen in rating-schalen. Een latent-variable calibratielaag past een affiene transformatie toe: $\hat{y} = a_p \cdot s + b_p$ .
- Supervised: Bij gelabelde doeldata worden $a$ en $b$ geoptimaliseerd.
- Unsupervised (Zero-shot): Bij geen gelabelde doeldata worden $a$ en $b$ geschat via moment-matching (vergelijking van gemiddelde en variantie van de voorspellingen met historische platformstatistieken).

3. Belangrijkste Bijdragen

Identificatie van Shift-factoren: Kwantificering van vier specifieke bronnen van kruisplatform-verschuiving (features, gedragsgaten, populatie, rating-semantiek).
Het ADAPT-MS Framework: Een unificerend model dat representatie-uitlijning, label-calibratie en robuustheid tegen ontbrekende modaliteiten combineert.
Rigoureuze Evaluatie: Een protocol dat onbewaakte (zero-label), few-shot (50-1000 labels) en paarsgewijze overdracht test, wat bewijst dat het model stabiel presteert met zeer weinig data.

4. Experimentele Resultaten

De experimenten zijn uitgevoerd op een dataset van drie grote platforms (A, B, C) met in totaal 480.000 inschrijvingen.

Onbewaakte Overdracht (k=0 labels): ADAPT-MS bereikte een RMSE van 0.66 op het doelpatform. Dit is een verbetering van 16% ten opzichte van een "naive pooling" baseline (0.76) en 5,7% ten opzichte van alleen domein-adversariale training zonder calibratie (0.70).
Few-Shot Adaptatie: Met slechts 50 gelabelde voorbeelden van het doelpatform daalde de RMSE naar 0.63. Bij 1000 labels bereikte het model een RMSE van 0.60, wat vergelijkbaar is met volledig fine-tunen maar veel efficiënter is.
Ablatie Studies: De studies bevestigen dat zowel de calibratielaag (+0.05 RMSE verbetering) als de domein-adversariale uitlijning (+0.08 RMSE verbetering) essentieel zijn. De gated fusion is cruciaal voor platforms met veel ontbrekende gedragsdata (40% missing).
Sensitiviteit: De beste prestaties werden behaald met een uitlijningsgewicht ( $\lambda$ ) van 0,5.

5. Betekenis en Conclusie

ADAPT-MS biedt een praktische oplossing voor het probleem van "cold start" bij nieuwe MOOC-platforms of het integreren van data van verschillende bronnen. Het model demonstreert dat:

Men geen volledige dataset van het doelpatform nodig heeft om een goed werkend model te krijgen (zero-shot is al effectief).
Het combineren van domein-invariantie (via GRL) en label-calibratie (via affiene transformatie) essentieel is om zowel feature-distributie- als label-semantiekverschillen op te lossen.
Het systeem robuust is tegen ontbrekende data, wat cruciaal is in real-world scenario's waar loggingschemas niet altijd compatibel zijn.

De auteurs wijzen op toekomstige richtingen zoals meertalige adaptatie, het hanteren van tijdsdrift (concept drift) en het koppelen van adaptatie aan eerlijkheidsaudits om te voorkomen dat ondervertegenwoordigde groepen benadeeld worden door de calibratie.