Cross-Platform Domain Adaptation for Multi-Modal MOOC Learner Satisfaction Prediction

1. Problemstellung

Die Vorhersage der Lernenden-Zufriedenheit in MOOCs (Massive Open Online Courses) ist entscheidend für die Qualitätsverbesserung von Kursen und den Plattformbetrieb. Bestehende Modelle werden jedoch typischerweise auf Daten einer einzelnen Plattform trainiert und leiden unter einem signifikanten Leistungsabfall, wenn sie auf einer anderen Plattform eingesetzt werden.

Dieses Phänomen wird als Cross-Platform Domain Shift bezeichnet und manifestiert sich in vier Hauptdimensionen:

1. Sprachlicher Stil-Shift: Unterschiede im Wortschatz, der Formalität und dem kulturellen Ausdruck von Sentiment in Bewertungen.
2. Demografischer und Kursmix-Shift: Unterschiedliche Zielgruppen und Kursverteilungen auf verschiedenen Plattformen.
3. Schema-Shift bei Verhaltensprotokollen: Gleiche Interaktionen (z. B. „Video ansehen") werden unterschiedlich definiert oder mit unterschiedlicher Granularität protokolliert.
4. Semantische Drift der Bewertungsskalen: Die Interpretation von Sternen (z. B. 5 Sterne als „Perfektion" vs. 5 Sterne als „Standard-Positiv") variiert stark, was zu systematischen Verzerrungen in den Vorhersagen führt.

Zudem fehlt es oft an gelabelten Daten auf der Zielplattform (Target Domain), und Verhaltensdaten (Behavioral Logs) können dort unvollständig oder inkompatibel sein.

2. Methodik: ADAPT-MS

Die Autoren schlagen ADAPT-MS (Adaptive Domain-Transfer Multi-modal Satisfaction predictor) vor, ein einheitliches Framework, das vier Kernkomponenten integriert, um diese Herausforderungen zu bewältigen:

A. Multi-Modal Encoder mit kanonischen Verhaltensmerkmalen

• Text-Encoder: Bewertungen werden mit einem eingefrorenen (frozen) vortrainierten LLM (RoBERTa-base) kodiert. Das Einfrieren verhindert Overfitting an den Wortschatz der Quellplattform und erhält allgemeine linguistische Repräsentationen.
• Kanonische Verhaltensmerkmale: Um Schema-Unterschiede zu überbrücken, werden rohe Verhaltensdaten in einen plattformagnostischen Vektor aus sechs aggregierten Merkmalen transformiert (z. B. gesehene Minuten, Quiz-Versuche, Forum-Aktivitäten, Re-Play-Rate). Ein MLP (Multi-Layer Perceptron) projiziert diese auf einen Embedding-Raum.
• Gated Fusion mit Modality Dropout: Ein Gating-Mechanismus steuert den Beitrag der Verhaltensdaten basierend auf deren Verfügbarkeit. Während des Trainings wird „Modality Dropout" angewendet (Verhaltensdaten werden mit 30 % Wahrscheinlichkeit auf Null gesetzt), um die Robustheit des Modells zu trainieren, falls auf der Zielplattform keine Verhaltensdaten vorliegen.

B. Domain-Adversarial Representation Alignment

Um plattformunabhängige Repräsentationen zu lernen, wird ein Domain-Discriminator eingesetzt, der versucht, die Plattform des Eingangsdaten zu klassifizieren. Ein Gradient Reversal Layer (GRL) invertiert die Gradienten während der Backpropagation, sodass der Encoder lernt, Merkmale zu extrahieren, die für den Discriminator ununterscheidbar sind (Domain-Invarianz).

C. Plattformspezifische Rating-Kalibrierung

Selbst bei alignierten Repräsentationen bleibt eine systematische Verzerrung durch die unterschiedliche Nutzung der Bewertungsskalen bestehen. ADAPT-MS verwendet eine latente Variable-Kalibrierungsschicht:

• Überwachte Kalibrierung: Bei Vorhandensein von Ziel-Daten werden affine Parameter ($a_T, b_T$) optimiert, um die Vorhersagen an die Zielverteilung anzupassen.
• Unüberwachte Kalibrierung (Zero-Shot): Ohne Ziel-Labels werden die Parameter durch Moment-Matching geschätzt. Dabei werden Mittelwert und Standardabweichung der historischen Ziel-Bewertungen (aus Metadaten) mit den Momenten der Vorhersagen auf der Zielplattform abgeglichen.

3. Wichtige Beiträge

1. Identifikation und Quantifizierung: Die Arbeit definiert und quantifiziert systematisch die vier Hauptquellen von Cross-Platform-Shifts in der MOOC-Analyse.
2. Neues Framework (ADAPT-MS): Entwicklung eines Frameworks, das Repräsentations-Alignment, Label-Kalibrierung und Robustheit gegenüber fehlenden Modalitäten in einem einzigen Modell vereint.
3. Rigorose Evaluierung: Einführung eines strengen Evaluierungsprotokolls (unüberwacht, Few-Shot, Pairwise Transfer) und Nachweis der Überlegenheit gegenüber starken Baselines.

4. Ergebnisse

Die Experimente wurden auf einem Datensatz mit drei großen MOOC-Plattformen durchgeführt.

• Unüberwachter Transfer (k=0 gelabelte Ziel-Daten):

  • ADAPT-MS erreichte einen RMSE von 0,66.
  • Dies ist eine Verbesserung von 16 % gegenüber dem einfachen Pooling ohne Adaptation (RMSE 0,76) und von 5,7 % gegenüber reiner Domain-Adversarial-Training (DANN) ohne Kalibrierung (RMSE 0,70).
  • Der größte Gewinn resultiert aus der Kalibrierungsschicht, die die systematische Überbewertung auf der Zielplattform korrigiert.

• Few-Shot Adaptation:

  • Mit nur 50 gelabelten Ziel-Daten sank der RMSE auf 0,63.
  • Bei 1000 gelabelten Daten erreichte das Modell einen RMSE von 0,60.
  • Im Vergleich dazu scheitert ein vollständiges Fine-Tuning aller Parameter bei $k=0$ (RMSE 0,79), da es ohne Ziel-Labels in das Quell-Overfitting zurückfällt.

• Ablationsstudien:

  • Die Entfernung der Kalibrierungsschicht erhöhte den RMSE um 0,05.
  • Das Entfernen des adversarialen Alignments erhöhte den RMSE um 0,08.
  • Das Entfernen des Gating-Mechanismus (bei 40 % fehlenden Verhaltensdaten auf der Zielplattform) verschlechterte die Ergebnisse um 0,04.

5. Bedeutung und Fazit

ADAPT-MS demonstriert, dass es möglich ist, Modelle für die Lernenden-Zufriedenheit erfolgreich über Plattformgrenzen hinweg zu transferieren, selbst wenn keine oder nur sehr wenige gelabelte Daten auf der Zielplattform vorliegen.

• Praktische Relevanz: Das Framework ist besonders wertvoll für neue Plattformen oder den Wechsel zwischen Plattformen, wo das Sammeln großer gelabelter Datensätze teuer oder unmöglich ist.
• Effizienz: Die Strategie, nur die leichten Kalibrierungsparameter und das Gating-Netzwerk anzupassen (statt das gesamte Modell zu fine-tunen), erweist sich als dateneffizient und stabil.
• Zukunftsausblick: Die Autoren sehen Potenzial in der Erweiterung auf multilinguale Szenarien, die Behandlung von zeitlichem Drift (Concept Drift) und der Integration von Fairness-Audits, um sicherzustellen, dass die Kalibrierung keine unterrepräsentierten Gruppen benachteiligt.

Zusammenfassend bietet ADAPT-MS einen robusten Ansatz, um die Heterogenität von MOOC-Plattformen zu überwinden und die Genauigkeit von Zufriedenheitsvorhersagen in realen, datenarmen Umgebungen signifikant zu steigern.