Cross-Platform Domain Adaptation for Multi-Modal MOOC Learner Satisfaction Prediction

1. Il Problema: Adattamento Cross-Piattaforma nei MOOC

La previsione della soddisfazione degli studenti nei Massive Open Online Courses (MOOC) è fondamentale per migliorare la qualità dei corsi e le operazioni delle piattaforme. Tuttavia, i modelli esistenti, addestrati su una specifica piattaforma (es. Coursera), soffrono di un degrado significativo quando vengono distribuiti su un'altra piattaforma (es. edX o XuetangX).

Questo fenomeno è causato da uno spostamento di dominio (domain shift) complesso che si manifesta su quattro assi principali:

1. Spostamento dello stile linguistico: Differenze nel vocabolario, nella formalità e nell'espressione culturale del sentiment nelle recensioni testuali.
2. Spostamento della popolazione e dei corsi: Demografie degli studenti e distribuzioni delle materie diverse tra le piattaforme.
3. Spostamento dello schema di registrazione comportamentale: La stessa interazione (es. "visualizzazione video") può essere definita diversamente o registrata con granularità differenti.
4. Deriva semantica della scala di valutazione: I bias sistematici nelle valutazioni (es. su alcune piattaforme 5 stelle è la perfezione, su altre è la valutazione positiva standard), che crea uno spostamento nelle etichette di soddisfazione.

Il problema centrale è costruire un predittore che funzioni bene sul dominio target con etichette limitate o assenti (setting unsupervised o few-shot), affrontando contemporaneamente lo spostamento delle distribuzioni delle feature, la mancanza di modalità comportamentali e lo spostamento delle etichette.

2. Metodologia: Il Framework ADAPT-MS

Gli autori propongono ADAPT-MS (Adaptive Domain-Transfer Multi-modal Satisfaction predictor), un framework unificato che integra quattro componenti chiave per gestire l'eterogeneità cross-piattaforma:

A. Codificatore Multi-Modale con Feature Comportamentali Canoniche

• Codificatore Testuale: Utilizza un LLM pre-addestrato (RoBERTa-base) congelato (frozen) per codificare le recensioni. Questo riduce il rischio di overfitting sul vocabolario della piattaforma sorgente mantenendo rappresentazioni linguistiche generali.
• Feature Comportamentali Canoniche: Poiché i log comportamentali grezzi variano tra le piattaforme, vengono mappati in un vettore canonico indipendente dalla piattaforma (es. minuti guardati, tentativi di quiz, letture/post sui forum, giorni attivi, tasso di riascolto). Un MLP (Multi-Layer Perceptron) trasforma questi vettori in embedding comportamentali.
• Fusione con Gate e Dropout: Un meccanismo di "gated fusion" controlla il contributo della modalità comportamentale. Durante l'addestramento, viene applicato il modality dropout (droppaggio casuale della modalità comportamentale) per forzare il modello a imparare a basarsi sul testo quando i log comportamentali sono mancanti nel dominio target.

B. Allineamento Adversariale delle Rappresentazioni

Per allineare le distribuzioni tra le piattaforme sorgente e target, il framework utilizza un discriminatore di dominio addestrato in modo avversariale.

• Un layer di Gradient Reversal (GRL) inverte i gradienti durante la retropropagazione, costringendo l'encoder a produrre rappresentazioni indistinguibili per quanto riguarda l'origine della piattaforma, pur mantenendo la capacità predittiva per la soddisfazione.

C. Calibrazione delle Valutazioni Specifica per Piattaforma

Anche dopo l'allineamento delle rappresentazioni, lo spostamento semantico delle etichette (rating scale drift) causa bias sistematici.

• Viene introdotta una layer di calibrazione affine latente ($\hat{y} = a_p s + b_p$) specifica per ogni piattaforma.
• Scenario Supervisionato: Con poche etichette target, i parametri di calibrazione ($a, b$) vengono ottimizzati.
• Scenario Unsupervised (Zero Etichette): I parametri vengono stimati tramite matching delle distribuzioni (moment matching), allineando media e deviazione standard delle previsioni sul target con le statistiche storiche aggregate della piattaforma target (spesso disponibili dai dashboard senza bisogno di etichette individuali).

3. Contributi Chiave

1. Identificazione e Quantificazione: Analisi rigorosa delle quattro fonti di spostamento cross-piattaforma nei MOOC.
2. Framework ADAPT-MS: Progettazione di un'architettura che risolve congiuntamente l'allineamento delle rappresentazioni, la calibrazione delle etichette e la robustezza alla mancanza di modalità.
3. Protocollo di Valutazione Rigoroso: Valutazione in tre regimi: trasferimento non supervisionato (zero etichette target), few-shot (50-1000 etichette) e trasferimento pairwise tra piattaforme, superando baselines forti come il pooling naive e l'adattamento senza calibrazione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un dataset multi-piattaforma (3 piattaforme principali, 480.000 iscrizioni).

• Trasferimento Non Supervisionato (k=0): ADAPT-MS raggiunge un RMSE di 0.66 sulla piattaforma target, superando significativamente il baseline "Source-Only" (0.79) e il metodo DANN-only (0.70). Questo dimostra l'efficacia della calibrazione senza etichette.
• Adattamento Few-Shot: Con soli 50 esempi etichettati nel target, il modello mantiene prestazioni stabili (RMSE 0.63), mentre il fine-tuning completo dei parametri collassa senza dati target sufficienti. Con 1000 esempi, l'RMSE scende a 0.60.
• Analisi di Ablazione:
  • La rimozione del layer di calibrazione aumenta l'RMSE di +0.05.
  • La rimozione dell'allineamento adversariale aumenta l'RMSE di +0.08.
  • Il dropout delle modalità è cruciale per piattaforme con alti tassi di log mancanti (es. 40% di dati mancanti su una piattaforma target).
• Robustezza: Il modello è robusto a diversi pesi di allineamento ($\lambda$), con un picco di performance a $\lambda=0.5$.

5. Significato e Implicazioni

Il lavoro di ADAPT-MS è significativo perché:

• Rende scalabile l'analisi dei MOOC: Permette di trasferire modelli predittivi tra piattaforme diverse senza la necessità costosa di raccogliere grandi quantità di dati etichettati sul nuovo dominio.
• Affronta la realtà operativa: Gestisce esplicitamente i problemi pratici come la mancanza di log comportamentali e le differenze culturali nelle valutazioni, che i metodi di adattamento di dominio classici ignorano.
• Efficienza dei dati: Dimostra che aggiornare solo i parametri di calibrazione e di gate (anziché l'intero modello) è sufficiente per ottenere prestazioni elevate, rendendo il sistema pratico per scenari di onboarding rapido di nuove piattaforme.

In conclusione, ADAPT-MS stabilisce un nuovo standard per l'analisi dell'apprendimento cross-piattaforma, combinando tecniche avanzate di apprendimento profondo (LLM, adversarial training) con soluzioni ingegneristiche pragmatiche per la calibrazione e la gestione dei dati mancanti.