Sintesi Tecnica: CASTLE – Un Benchmark Completo per la Valutazione della Sicurezza Personalizzata e Su Misura per lo Studente nei Large Language Models

1. Definizione del Problema

Sebbene i Large Language Models (LLM) abbiano fatto progressi nell'apprendimento personalizzato, i loro meccanismi di generazione intrinseci producono spesso risposte omogenee a prompt identici. Questo approccio "taglia unica" trascura la sostanziale eterogeneità nelle caratteristiche cognitive e psicologiche degli studenti, rischiando potenzialmente di creare pericoli per i gruppi vulnerabili. Le attuali valutazioni della sicurezza si basano principalmente su metriche indipendenti dal contesto (ad es., accuratezza fattuale, tossicità, bias), che non riescono a catturare i danni divergenti che una singola risposta potrebbe causare in base ai diversi attributi dello studente. Nei domini educativi ad alto rischio, gli approoli generali alla sicurezza faticano a identificare e mitigare i rischi personalizzati derivanti dalle variazioni nel background dell'utente, come una risposta innocua per uno studente a basso rischio che può scatenare comportamenti fatali in uno studente con tendenze all'abbandono scolastico o depressione grave.

2. Metodologia

Gli autori propongono CASTLE (Comprehensive Assessment of Student-Tailored Learning and Evaluation), un benchmark basato su teorie educative per misurare sistematicamente i rischi di sicurezza personalizzati.

2.1 Costruzione del Dataset

CASTLE comprende 92.908 scenari bilingue (53.483 in cinese, 39.425 in inglese) costruiti attraverso una pipeline multistadio:

• Fondamento Teorico: Il benchmark integra teorie classiche della psicologia dell'educazione, tra cui i tratti della personalità dei "Big Five", il tipo di credenza nelle capacità di Dweck (Mindset di crescita vs. fisso), le fasi di acquisizione delle abilità di Fitts e Posner, e le fasi dell'apprendimento autoregolato di Zimmerman.
• Tassonomia del Rischio: Una tassonomia a due livelli definisce 15 domini di rischio di sicurezza educativa suddivisi in quattro categorie:
  1. Salute Psicologica ed Emotiva (ad es., sovraccarico di pressione accademica, dilemma nella scelta della carriera).
  2. Integrità e Competenza Accademica (ad es., illecito accademico, evitamento del percorso di apprendimento).
  3. Bias di Contenuto e Informazione (ad es., stereotipi, rischi di allucinazione del modello).
  4. Dipendenza dall'Apprendimento e Cognizione (ad es., perdita del giudizio indipendente, rigidità cognitiva).
• Profili Studenteschi: Ogni scenario include un profilo strutturato dello studente con 14 attributi che spaziano dal Background (Età, Genere, Stadio di Apprendimento), ai Big Five della Personalità, all'Emozione (Stato, Intensità, Feedback Recente), fino all'Istruzione (Credenza nelle Capacità, Skill, Stadio di Acquisizione, Autoregolazione).
• Processo di Generazione: Il dataset è stato generato utilizzando una strategia ciclica multi-LLM (GPT-4o, Gemini-2.5-Flash, DeepSeek-V3, Claude-Haiku-4.5) per mitigare il bias specifico del modello. Sono state applicate rigide regole di vincolo logico per garantire la validità psicologica e la coerenza degli attributi (ad es., prevenendo discrepanze tra età e grado scolastico o accoppiamenti incompatibili tra emozione e scenario).

2.2 Metriche di Valutazione

CASTLE introduce tre dimensioni di valutazione, valutate su una scala Likert da 1 a 5:

1. Sensibilità al Rischio: Misura la capacità del modello di rilevare rischi psicologici o cognitivi latenti nella query.
2. Empatia Emotiva: Valuta la capacità del modello di riconoscere e affrontare lo stato emotivo dello studente.
3. Allineamento con lo Studente: Valuta la corrispondenza tra la risposta del modello e gli specifici attributi dello studente (personalità, stadio di apprendimento, ecc.).
   Il Punteggio di Sicurezza Medio è la media di queste tre dimensioni.

2.3 Configurazione Sperimentale

Il benchmark è stato utilizzato per valutare 18 LLM, inclusi modelli open-source (serie Qwen, LLaMA3, Mistral, ecc.), closed-source (GPT-4o, GPT-5.2, Claude-Haiku-4.5, Gemini-2.5-Flash) e modelli specifici per l'istruzione (InnoSpark-7B, MuduoLLM-7B). Le valutazioni sono state condotte sia in modalità Non Personalizzata (solo query) che Personalizzata (query + profilo completo). L'analisi dell'affidabilità umano-IA ha confermato che Claude-Haiku-4.5 funge da robusto valutatore automatico (Spearman's $\rho$ = 0.83 rispetto ai riferimenti umani).

3. Contributi Chiave

1. Framework Concettuale: Il documento identifica sistematicamente i limiti del prevalente paradigma "one-size-fits-all" nell'educazione e introduce la Sicurezza Personalizzata Su Misura per lo Studente come una nuova prospettiva di valutazione.
2. Benchmark CASTLE: La costruzione di un benchmark su larga scala e fondato sulla teoria, che copre 15 domini di rischio, 14 attributi dello studente e oltre 92k scenari bilingue.
3. Metriche di Valutazione: La proposta di tre metriche specifiche (Sensibilità al Rischio, Empatia Emotiva, Allineamento con lo Studente) per andare oltre i giudizi di sicurezza binari.
4. Risultati Empirici: Valutazione completa di 18 LLM allo stato dell'arte, che rivela carenze significative nella garanzia della sicurezza personalizzata.

4. Risultati

• Prestazioni Complessive: Tutti i modelli valutati hanno ottenuto un punteggio inferiore a un punteggio di sicurezza medio di 2.5 su 5 nella configurazione Non Personalizzata. Anche il modello più forte, Claude-Haiku-4.5, ha raggiunto solo 2.42.
• Impatto della Personalizzazione: L'inserimento di profili strutturati degli studenti ha migliorato costantemente i punteggi di sicurezza in tutti i 15 domini e in tutti i modelli. Tuttavia, anche con la personalizzazione, nessun modello ha raggiunto un punteggio perfetto, indicando che le informazioni personalizzate migliorano la consapevolezza del rischio ma non eliminano completamente i rischi di sicurezza in ambienti educativi complessi.
• Dominio vs. Scala: L'allineamento specifico per dominio si è dimostrato più efficace della sola scalabilità del modello. I modelli basati sull'educazione (ad es., InnoSpark-7B) hanno superato i modelli generalisti più grandi (ad es., GPT-4o, Gemini-2.5-Flash) in diverse categorie.
• Apprendimento per Rinforzo (RL): I modelli ottimizzati tramite RL (ad es., QwQ-32B) hanno dimostrato prestazioni superiori e un migliore utilizzo delle informazioni personalizzate rispetto alle loro controparti istruite (instruction-tuned) (ad es., Qwen2.5-32B), suggerendo che i paradigmi di addestramento contano più del numero di parametri per la sicurezza.
• Sensibilità agli Attributi: Gli studi di ablazione hanno mostrato che gli attributi di Emozione ed Istruzione hanno contribuito ai guadagni di sicurezza più sostanziali. La personalizzazione esplicita (profili strutturati) ha prodotto punteggi di sicurezza significativamente più alti rispetto alla personalizzazione implicita (indizi inseriti nella query).
• Limiti dei Guard di Sicurezza: Gli attuali modelli di sicurezza generalisti (ad es., Llama-Guard, WildGuard) hanno classificato oltre il 96% delle risposte di CASTLE come "sicure", fallendo nel rilevare i rischi educativi personalizzati e sfumati presi in esame dal benchmark.

5. Significato e Rivendicazioni

Il documento sostiene che CASTLE fornisce una base necessaria per la ricerca sulla sicurezza che si adatti ai contesti individuali degli studenti, affrontando un punto cieco critico nella ricerca attuale sulla sicurezza. Evidenzia che:

• Gli attuali LLM faticano a identificare i rischi specifici degli studenti senza un esplicito contesto personalizzato.
• I profili strutturati e i meccanismi di personalizzazione esplicita sono essenziali per generare risposte più sicure ed empatiche in scenari educativi ad alto rischio.
• Il paradigma di generazione "one-size-fits-all" è insufficiente per l'educazione, dove l'eterogeneità cognitiva e psicologica determina gli esiti di sicurezza.

Gli autori pongono CASTLE come uno strumento per guidare lo sviluppo di meccanismi di allineamento consapevoli del contesto, notando che, sebbene il benchmark sia progettato per la valutazione, non è destinato alla diagnosi clinica o al processo decisionale ad alto rischio. Il lavoro futuro suggerito consiste nell'estendere il benchmark a contesti interattivi multi-turno e a più lingue.