Human-in-the-loop GenAI advising for community college pathway decision-making: a design-based case study of requirement-group modeling and privacy-preserving student-support design

Sintesi Tecnica: Consulenza GenAI con Human-in-the-Loop per il Processo Decisionale dei Percorsi di Studio nei Community College

Problematica
La ricerca sull'Intelligenza Artificiale Generativa (GenAI) nell'istruzione superiore si è concentrata prevalentemente sul tutoring, il supporto alla scrittura, la generazione di feedback e la valutazione. Esiste una lacuna significativa riguardante l'applicazione della GenAI alla consulenza accademica e alla pianificazione dei percorsi, in particolare nei contesti dei community college. In questi ambienti, gli studenti navigano strutture curriculari complesse e flessibili che coinvolgono requisiti fissi, bucket di materie elettive, scelte di concentrazione e articolazioni per il trasferimento. Gli attuali strumenti di consulenza spesso riducono queste strutture a "liste di controllo piatte", il che rischia di rappresentare erroneamente la logica del programma, restringere le opzioni percepite dallo studente e non supportare l'agency dell'apprendente. Inoltre, l'integrazione della GenAI nelle operazioni di successo degli studenti solleva critiche preoccupazioni relative alla privacy, alla governance dei dati e al livello appropriato di automazione nei processi decisionali ad alto impatto. Manca un insieme di principi di progettazione stabiliti su come la GenAI possa interpretare i requisiti flessibili, supportare la pianificazione "what-if" (cosa succederebbe se) e mantenere i confini della privacy senza automatizzare eccessivamente decisioni consequenziali.

Metodologia
Questo studio utilizza un approccio di studio di caso basato sul design per investigare lo sviluppo di un prototipo di pianificazione del percorso e di un modello di interazione di consulenza associato presso l'Ivy Tech Community College dell'Indiana. La ricerca non misura i risultati degli studenti, i tassi di ritenzione o la riduzione del carico di lavoro; analizza invece il processo di design stesso per derivare principi trasferibili.

• Fonti di dati: L'analisi si basa su un corpus di materiali non relativi agli studenti raccolti durante un periodo di progettazione di otto mesi, categorizzati in tre classi di origine:
  1. Documenti Curriculari Pubblici: Requisiti di programma pubblicati, descrizioni dei corsi e materiali del catalogo utilizzati per identificare la flessibilità strutturale e l'ambiguità.
  2. Artefatti del Prototipo: Schemi dei requisiti, documenti sulla logica dei percorsi, mockup dell'interfaccia, diagrammi di architettura e modelli di prompt utilizzati per operazionalizzare la flessibilità curriculare e i ruoli della GenAI.
  3. Memo di Progettazione dei Professionisti: Documentazione riflessiva, razionali di architettura e note sulla riprogettazione dei workflow che tracciano la giustificazione per specifiche decisioni di design e governance.
• Processo di Analisi: L'autore ha utilizzato una logica di codifica deduttivo-induttiva. Costrutti deduttivi (rappresentazione curriculare, agency dell'apprendente, supervisione umana, privacy/governance) sono stati applicati insieme alla codifica induttiva per catturare pattern specifici del caso (ad esempio, gestione dei wildcard, classi di ambiguità). I principi sono stati mantenuti solo quando supportati attraverso molteplici classi di origine o quando un singolo artefatto documentava una decisione con chiare conseguenze di governance.
• Vincoli: Lo studio esclude esplicitamente le singole schede degli studenti e le informazioni identificabili (PII). Gli strumenti di GenAI sono stati utilizzati solo per la preparazione del manoscritto (organizzazione della letteratura, strutturazione, bozza), con tutte le affermazenze e le citazioni verificate dall'autore.

Contributi Chiave e Principi di Design
Lo studio propone un Framework di Consulenza GenAI Human-in-the-Loop organizzato intorno a sette livelli interagenti: dati del catalogo pubblico, modellazione dei gruppi di requisiti, livello di interazione GenAI, giudizio del consulente umano, agency dell'apprendente, governance orientata alla privacy e allineamento con la forza lavoro. Da questo framework, lo studio deriva otto specifici principi di design:

1. Modellare i Requisiti come Gruppi Flessibili: I requisiti accademici dovrebbero essere modellati come "gruppi di requisiti" (ad es. insiemi di opzioni, bucket di elettive, alternative condizionali) piuttosto che come piatte liste di controllo obbligatorie. Ciò preserva la realtà educativa secondo cui esistono molteplici percorsi validi all'interno di un singolo titolo di studio.
2. GenAI come Spiegazione, non come Registro: La GenAI deve funzionare come uno "strato di spiegazione e di inquadramento delle opzioni" che traduce la logica strutturata in linguaggio naturale e confronta scenari. Non deve servire come "sistema di registro" istituzionale o come decisore autonomo.
3. Separazione dei Dati Architetturali: I dati curriculari pubblici (cataloghi, requisiti) devono essere rigorosamente separati dai record protetti a livello di studente. Un prototipo di consulenza funzionale può operare utilizzando esclusivamente dati pubblici, minimizzando il rischio per la privacy e stabilendo chiari confini di governance prima di qualsiasi estensione ai dati specifici dello studente.
4. Revisione Umana per Raccomandazioni Consequenziali: I consulenti umani devono mantenere la responsabilità della guida finale, in particolare per le raccomandazioni che influenzano il tempo per il conseguimento del titolo, i costi, l'idoneità o la direzione del programma. Il sistema è progettato per la "revisionabilità" piuttosto che per l'automazione conclusiva.
5. Supporto all'Agency dell'Apprendente: Le interazioni dovrebbero facilitare la pianificazione autoregolata aiutando gli studenti a comprendere i compromessi, i vincoli di sequenza e i percorsi di recupero, anziché emettere semplicemente istruzioni.
6. Linguaggio Non Deficitario: Il linguaggio di consulenza dovrebbe evitare l'inquadramento centrato sul deficit o sulla sorveglianza (ad es. "punteggi di rischio") a favore di concetti costruttivi come "preservazione del momentum" e "recupero del percorso".
7. Incertezza Visibile: Il sistema deve esporre esplicitamente l'ambiguità nell'interpretazione curriculare (ad es. dichiarazioni del catalogo sottospecificate) invece di sopprimerla con una falsa certezza. Le interfacce devono distinguere tra corrispondenze chiare, corrispondenze probabili che richiedono revisione e casi ambigui.
8. Allineamento con la Forza Lavoro senza Riduzionismo: La rilevanza per la forza lavoro deve informare le spiegazioni del percorso, ma non deve ridurre la consulenza a un meccanico meccanismo di smistamento basato sul mercato del lavoro che sovrascrive gli obiettivi e l'esplorazione dello studente.

Risultati e Significato
Lo studio conclude che un'efficace integrazione della GenAI nella consulenza richiede un passaggio dal trattare l'interpretazione dei requisiti come un problema di analisi dei dati al trattarlo come un problema di design pedagogico. Il risultato primario è un framework concettuale e operativo che consente alle istituzioni di implementare la GenAI per l'intelligibilità dei percorsi preservando l'agency dell'apprendente e la privacy.

Il documento rivendica quattro contributi specifici:

1. Estensione della Ricerca: Sposta la ricerca sull'interazione uomo-GenAI dalle attività centrate sulla classe (scrittura, feedback) al dominio della consulenza e della pianificazione dei percorsi.
2. Innovazione Concettuale: Introduce la "modellazione dei gruppi di requisiti" come una rappresentazione più fedele dal punto di vista educativo dei percorsi dei community college rispetto alla logica piatta.
3. Proposta Architetturale: Dimostra un modello di governance che preserva la privacy basato sulla separazione esplicita tra le informazioni curriculari pubbliche e i dati protetti dello studente.
4. Vocabolario di Design Pratico: Offre un insieme di principi per le istituzioni che desiderano utilizzare la GenAI in contesti ad alta governance senza sostituire il giudizio umano o fare affermazioni non supportate sull'efficacia.

Modestia delle Rivendicazioni
Gli autori dichiarano esplicitamente che questo studio non dimostra un miglioramento della ritenzione, dei tassi di completamento o dell'efficienza della consulenza. Il contributo è fondamentale piuttosto che empirico riguardo ai risultati degli studenti. I principi di design sono derivati dall'analisi degli artefatti e dalla modellazione dei workflow, non da una prova formale di co-design o da un'implementazione con dati di utilizzo degli studenti. Il documento sostiene che questo framework, orientato alla privacy e con l'intervento umano (human-in-the-loop), è una precondizione necessaria affinché qualsiasi futuro studio di efficacia sia affidabile, piuttosto che una soluzione provata in sé.