Auditing Curriculum-Order Representations in Educational AI: Held-Out Metadata-Transition Prediction in Synthetic and Oak Corpora

Sintesi Tecnica: Audit delle Rappresentazioni dell'Ordine del Curriculum nell'IA Educativa

Definizione del Problema
I sistemi di IA educativa si affidano sempre più a sequenze di documenti di risorse per inferire la struttura del curriculum, come le relazioni di prerequisito o l'ordinamento didattico. Un rischio critico è che i modelli possano apprendere schemi superficiali (ad es., continuazione locale, etichette ripetute o suffissi dei documenti) piuttosto che strutture relazionali autentiche. Di conseguenza, un sistema potrebbe apparire capace di comprendere la sequenza didattica sui dati osservati, ma fallire quando gli viene chiesto di inferire una connessione tra categorie familiari che non era mai stata esplicitamente adiacente nel corpus di addestramento. Questo articolo affronta il problema dell' "edge held-out" (arco escluso): un modello linguistico può prevedere una transizione tra due categorie di metadati del curriculum (ad es., Soggetto A → Argomento B) quando gli endpoint sono noti, ma l'adiacenza specifica è assente dall'addestramento?

Metodologia
Lo studio impiega un design di audit a due fasi per distinguere tra comprensione semantica, fattorizzazione dei metadati riutilizzabili e ripetizione a bassa entropia.

• Studio 1: Curriculum Sintetico Controllato

  • Design: Una griglia $3 \times 4$ di soggetti (Inglese, Matematica, Scienze) e argomenti (Piante, Animali, Materiali, Stagioni) che crea 12 categorie di curriculum.
  • Condizioni:
    1. Condizioni Strutturate: "Subject-blocked" (l'argomento avanza all'interno del soggetto) e "Topic-interleaved" (il soggetto avanza all'interno dell'argomento). Queste impongono una regola di transizione deterministica e fattorizzata.
    2. Shuffle Corrispondente (Matched Shuffle): Shuffling ad alta entropia dello stesso inventario di testi, rimuovendo la regola di transizione ripetuta.
    3. Percorsi Deterministici Non Fattorizzati: Percorsi di controllo con entropia del successore della cella pari a zero e conteggi degli archi corrispondenti, ma privi di una fattorizzazione riutilizzabile lungo gli attributi di soggetto/argomento.
  • Audit Held-Out: Specifiche transizioni (archi) sono state rimosse dall'addestramento tramite tagli (cuts). Il modello è stato testato sulla previsione di questi archi mancanti.
  • Rappresentazioni: I modelli sono stati addestrati su unità complete (testo + metadati) e su unità di soli metadati. I probe di prompt (solo confine, corpo + confine neutro, conflitto corpo-metadati) hanno testato la dipendenza dai segnali (cue reliance).
  • Controfattuali: Un controfattuale sottoposto ad audit ha garantito che sia gli archi fattuali che quelli trasformati fossero assenti dall'addestramento, per escludere la semplice memorizzazione degli archi.
  • Modelli: Transformer decoder-only a livello di carattere (2.7M e 0.8M parametri) addestrati da zero.

• Studio 2: Dati Ufficiali di Oak National Academy

  • Dati: 383 unità da 18 programmi soggetto-anno (Inglese, Matematica, Scienze, Anni 1–6).
  • Design: Un manifesto inizialmente fisso (registrazione di semi e risultati prima delle esecuzioni), seguito da un'analisi di robustezza non confirmativa che varia quattro manifesti di archi e quattro varianti di corpus.
  • Task: Prevedere i metadati (soggetto e ordine) dell'unità successiva dato l'unità corrente, con specifici archi esclusi.
  • Baseline: Un fattorizzazione soggetto/ordine esplicita specificata dal ricercatore (tabelle di transizione) ha servito come controllo di design, non come baseline con capacità corrispondente.

Risultati Chiave

• Successo Sintetico (Studio 1):

  • Fattorizzazione vs. Shuffle: Le transizioni ripetute dei metadati fattorizzati hanno migliorato significativamente l'accuratezza esatta sugli archi esclusi rispetto a uno shuffle ad alta entropia (differenza: 0.425, 95% CI [0.297, 0.545]).
  • Fattorizzazione vs. Determinismo: Il vantaggio non era dovuto semplicemente alla bassa entropia. I percorsi non fattorizzati deterministici (corrispondenti per entropia e conteggio archi) non sono riusciti a recuperare gli archi mancanti (accuratezza ~0.003). Il vantaggio della fattorizzazione rispetto a questi controlli era 0.535 [0.385, 0.677].
  • Dipendenza dai Segnali (Cue Reliance): L'effetto è stato guidato dai metadati espliciti. I corpi delle lezioni sintetiche non hanno fornito alcun beneficio incrementale quando i metadati erano presenti. Quando i segnali del corpo e dei metadati entravano in conflitto, le prestazioni crollavano a zero.
  • Controfattuali: Il vantaggio strutturato è persistito anche quando sia gli archi fattuali che quelli trasformati erano assenti dall'addestramento, confermando che il modello ha appreso una regola riutilizzabile piuttosto che la memorizzazione di archi specifici.

• Trasferimento sui Dati Ufficiali (Studio 2):

  • Manifesto Fisso: Lo studio inizialmente fisso non ha mostrato un trasferimento significativo (differenza: 0.022, CI [-0.067, 0.128]).
  • Analisi di Robustezza: Un'analisi multi-manifesto ha rivelato un effetto aggregato positivo ma eterogeneo (0.365, CI [0.146, 0.535]).
  • Natura del Successo: Il successo è stato strettamente a livello di metadati. La previsione del soggetto è stata perfetta in tutte le condizioni; la varianza è stata guidata dalla previsione dell'"ordine dato il soggetto". L'accuratezza esatta dell'unità successiva (testo completo) è rimasta vicina allo zero.
  • Controllo di Design: Una fattorizzazione soggetto/ordine esplicita specificata dal ricercatore ha recuperato il 100% dei target di metadati sottoposti ad audit, dimostrando che la relazione è recuperabile quando resa esplicita.

Contributi Chiave

1. Audit Held-Out Edge: Ha definito una metodologia che distingue la copertura delle categorie dall'esposizione degli archi, testando se un sistema possa inferire connessioni mancanti tra categorie note.
2. Fattorizzazione dei Metadati vs. Entropia: Ha dimostrato che il successo sintetico dipende dalla fattorizzazione riutilizzabile dei metadati allineata con etichette esplicite, non solo dalla ripetizione a bassa entropia o da percorsi deterministici.
3. Identificazione dei Segnali: Ha mostrato, attraverso ablazione e probe di conflitto, che l'effetto è condizionato dai metadati; i modelli non hanno compreso semanticamente la prosa della lezione per inferire l'ordine quando i metadati erano presenti.
4. Robustezza nei Dati Ufficiali: Ha esposto la sensibilità dell'apprendimento dell'ordine del curriculum alla costruzione del manifesto e del corpus. Un singolo split ha prodotto risultati vicini allo zero, mentre un'analisi multi-manifesto ha mostrato un effetto positivo ma instabile.
5. Benchmark della Relazione Esplicita: Ha utilizzato una fattorizzazione trasparente, specificata dal ricercatore, per illustrare cosa diventa recuperabile quando la relazione è resa esplicita, contrastando l'apprendimento implicito con il design ispezionabile.

Significato e Rivendicazioni
L'articolo sostiene che apprendere l'ordine del curriculum osservato è insufficiente come prova che un sistema possa trasferire le relazioni di sequenza. I risultati positivi negli ambienti sintetici sono attribuiti alla fattorizzazione dei metadati espliciti piuttosto che alla comprensione semantica del contenuto didattico.

Nei dati ufficiali reali (Oak), la capacità di generalizzare agli archi esclusi è altamente sensibile a come i dati vengono costruiti (manifesti e varianti di corpus). L'autore conclude che, per i sistemi di IA educativa in cui l'ordine è critico (ad es., libri di testo intelligenti, sistemi di raccomandazione di risorse), affidarsi esclusivamente all'apprendimento implicito della sequenza è rischioso. Invece, le relazioni del curriculum dovrebbero essere rappresentate come oggetti espliciti e ispezionabili (ad es., grafi, tabelle di transizione) o sottoposte a rigorosi audit contro gli archi esclusi per garantire che la relazione sia preservata oltre le adiacenze osservate. Lo studio non rivendica la superiorità dei modelli basati sul conteggio rispetto ai modelli linguistici in generale, ma sottolinea il valore delle rappresentazioni relazionali esplicite per l'auditabilità e l'affidabilità nei contesti educativi.