Stochasticity Is Not the Hard Part: Reduction and Complexity in Instructional Sequencing over Prerequisite DAGs

Immagina di essere il capitano di un'astronave che cerca di navigare attraverso un complesso labirinto di asteroidi per raggiungere un pianeta lontano. Nel mondo dell'informatica, questo è simile alla "sequenziazione didattica", dove un'IA o un insegnante cerca di capire l'ordine migliore per insegnare nuovi concetti a uno studente. Il labirinto ha delle regole: non puoi imparare i "motori a razzo" finché non hai padroneggiato la "fisica di base". Questo è chiamato un "pre-requisito di dipendenza".

Di solito, pensiamo che la parte più difficile di questa navigazione sia l'incertezza. Lo studente capirà la lezione? Fallirà e dovrà riprovare? Spesso assumiamo che, poiché l'apprendimento è imprevedibile (stocastico), abbiamo bisogno di computer complessi e ad alta velocità per indovinare il futuro e pianificare ogni possibile scenario "cosa succederebbe se". Ma se la vera difficoltà non fosse affatto il gioco delle ipotesi? E se la parte difficile fosse in realtà solo il numero enorme di possibili percorsi attraverso il labirinto, anche se sapessimo esattamente come reagirebbe lo studente? Questo articolo approfondisce questa domanda, chiedendosi: è l'incertezza dell'apprendimento la vera cattiva, o è la pura complessità della mappa stessa?

Gli autori di questo articolo, un team di scienziati dell'informatica, hanno deciso di affrontare questa sfida costruendo un modello matematico di uno studente che apprende un insieme di concetti. Hanno trattato il processo di apprendimento come un gioco in cui cerchi di muoverti da un punto di partenza (sapere nulla) a un traguardo (sapere tutto) con il minimo sforzo. Nel loro modello, ogni volta che uno studente prova a imparare un nuovo concetto, c'è una possibilità che abbia successo e una possibilità che fallisca. Se fallisce, rimane esattamente dove si trova; non perde ciò che ha già imparato, deve solo riprovarci.

Ecco la grande sorpresa scoperta dal team: la casualità non è la parte difficile. Hanno dimostrato matematicamente che puoi eliminare tutta l'incertezza. Puoi trasformare questo gioco di apprendimento imprevedibile, questo "ci riuscirà o no", in una mappa completamente prevedibile e deterministica. È come rendersi conto che, anche se il lancio di una moneta è casuale, se conosci le probabilità, puoi calcolare il costo medio di lanciare la moneta finché non esce testa, e trattare quel costo medio come un prezzo fisso. Una volta fatto questo, il problema smette di essere una questione di "indovinare" e diventa una questione di trovare il percorso più breve su una griglia gigante e rigida.

Tuttavia, anche se la casualità è sparita, ciò non significa che il problema sia facile. Anzi, gli autori hanno scoperto che anche con la casualità rimossa, trovare l'ordine perfetto per insegnare questi concetti è ancora incredibilmente difficile da risolvere per un computer nei peggiori scenari possibili. Hanno dimostrato che questa difficoltà deriva dal modo in cui i concetti si "trasferiscono" l'uno all'altro: imparare una cosa potrebbe rendere un'altra più facile, ma se queste connessioni utili formano una rete aggrovigliata, il computer rimane bloccato nel tentativo di trovare la rotta migliore. Questa è quella che chiamano "complessità combinatoria". Non è che il computer sia confuso dall'umore dello studente; è che la mappa dei possibili percorsi di apprendimento è semplicemente troppo vasta per controllarne tutti.

Ma non preoccupatevi, non sono tutte brutte notizie. L'articolo ha anche scoperto che in molti casi reali, la mappa non è così aggrovigliata. Hanno sviluppato uno "strumento diagnostico" semplice (una sorta di test matematico) che può esaminare un corso e dirti, prima ancora di iniziare la pianificazione, se l'ordine delle lezioni conta molto. Se lo strumento dice che la mappa è "aciclica" (senza loop di dipendenza confondenti), allora qualsiasi ordine logico sceglierai funzionerà benissimo, e non avrai bisogno di un supercomputer per trovare quello perfetto.

Per testare questo, i ricercatori hanno esaminato dati reali da un corso introduttivo di informatica con oltre 70.000 interazioni tra studenti. Il loro strumento diagnostico ha confermato che, per questa specifica classe, l'ordine "perfetto" non contava molto; il corso si trovava in quello che chiamano un "regime doppiamente facile". Gli studenti potevano imparare in quasi ogni ordine, e il costo di sbagliare leggermente era minimo. Tuttavia, hanno anche costruito esempi artificiali e complicati in cui le dipendenze erano disordinate. In quei casi, scegliere l'ordine sbagliato causava un enorme rimpianto (tempo e sforzo sprecati), dimostrando che, sebbene molte classi reali siano facili da navigare, quelle difficili esistono eccome.

Il team ha anche mostrato che quando la mappa è difficile, non è necessario controllare ogni singolo percorso. Hanno utilizzato un metodo di ricerca intelligente chiamato A* (pensa a un GPS che conosce la destinazione e controlla solo le strade più promettenti) per trovare la sequenza migliore. Anche nei loro esempi più complicati e intricati, questo GPS intelligente ha dovuto esaminare solo una piccola frazione dei percorsi possibili per trovare il vincitore.

Quindi, qual è il punto fondamentale? Se state costruendo un'app per insegnare ai bambini, non dovete andare nel panico per il fatto che gli studenti siano imprevedibili. Potete semplificare matematicamente il problema per rimuovere la parte del "indovinare". La vera sfida è controllare se il vostro curriculum ha una struttura disordinata e aggrovigliata. Se è così, usate uno strumento di ricerca intelligente per trovare il percorso migliore. Se non lo è (come in molte classi reali), potete rilassarvi, perché l'ordine delle lezioni probabilmente non farà una grande differenza. L'articolo dimostra che la "magia" dell'apprendimento non sta nel prevedere il futuro, ma nel comprendere la forma della mappa.