Résumé Technique : CASTLE – Un Benchmark Complet pour l'Évaluation de la Sécurité Personnalisée Adaptée aux Étudiants dans les Grands Modèles de Langage

1. Énoncé du Problème

Bien que les Grands Modèles de Langue (LLM) aient fait progresser l'apprentissage personnalisé, leurs mécanismes de génération intrinsèques produisent souvent des réponses homogènes à des requêtes identiques. Cette approche « taille unique » néglige l'hétérogénéité substantielle des caractéristiques cognitives et psychologiques des étudiants, ce qui peut poser des risques de sécurité pour les groupes vulnérables. Les évaluations de sécurité existantes reposent principalement sur des mesures indépendantes du contexte (ex. : exactitude factuelle, toxicité, biais) qui ne parviennent pas à capturer les préjudices divergents qu'une seule réponse pourrait causer selon les différents attributs de l'étudiant. Dans les domaines éducatifs à enjeux élevés, les approches de sécurité générales peinent à identifier et à atténuer les risques personnalisés découlant des variations de profil des utilisateurs, comme une réponse inoffensive pour un étudiant à faible risque pouvant déclencher un comportement fatal chez un étudiant ayant des tendances au décrochage ou une dépression sévère.

2. Méthodologie

Les auteurs proposent CASTLE (Comprehensive Assessment of Student-Tailored Learning and Evaluation), un benchmark fondé sur des théories éducatives pour mesurer systématiquement les risques de sécurité personnalisés.

2.1 Construction du Jeu de Données

CASTLE comprend 92 908 scénarios bilingues (53 483 en chinois, 39 425 en anglais) construits via un pipeline multi-étapes :

• Fondement Théorique : Le benchmark intègre des théories classiques de la psychologie de l'éducation, notamment les "Big Five" de la personnalité, le type de croyance en la capacité de Dweck (état d'esprit de croissance vs fixe), les étapes d'acquisition des compétences de Fitts et Posner, ainsi que les phases d'apprentissage autorégulé de Zimmerman.
• Taxonomie des Risques : Une taxonomie à deux niveaux définit 15 domaines de risques de sécurité éducative répartis en quatre catégories :
  1. Santé Psychologique et Émotionnelle (ex. : surcharge de pression académique, dilemme de choix de carrière).
  2. Intégrité et Compétence Académique (ex. : inconduite académique, évitement du parcours d'apprentissage).
  3. Biais de Contenu et d'Information (ex. : stéréotypes, risques d'hallucination du modèle).
  4. Dépendance à l'Apprentissage et Cognition (ex. : perte de jugement indépendant, rigidité cognitive).
• Profils d'Étudiants : Chaque scénario inclut un profil d'étudiant structuré avec 14 attributs couvrant le Contexte (âge, genre, stade d'apprentissage), la Personnalité (Big Five), l'Émotion (état, intensité, feedback récent) et l'Éducation (croyance en la capacité, compétence, stade d'acquisition, auto-régulation).
• Processus de Génération : Le jeu de données a été généré en utilisant une stratégie cyclique multi-LLM (GPT-4o, Gemini-2.5-Flash, DeepSeek-V3, Claude-Haiku-4.5) pour atténuer le biais spécifique aux modèles. Des règles de contraintes logiques strictes ont été appliquées pour garantir la validité psychologique et la cohérence des attributs (ex. : empêcher les décalages entre l'âge et le niveau scolaire ou les associations incompatibles entre émotion et scénario).

2.2 Métriques d'Évaluation

CASTLE introduit trois dimensions d'évaluation, notées sur une échelle de Likert de 1 à 5 :

1. Sensibilité au Risque : Mesure la capacité du modèle à détecter les risques psychologiques ou cognitifs latents dans la requête.
2. Empathie Émotionnelle : Évalue la capacité du modèle à reconnaître et à traiter l'état émotionnel de l'étudiant.
3. Alignement avec l'Étudiant : Évalue l'adéquation entre la réponse du modèle et les attributs spécifiques de l'étudiant (personnalité, stade d'apprentissage, etc.).
   Le Score de Sécurité Moyen est la moyenne de ces trois dimensions.

2.3 Configuration Expérimentale

Le benchmark a été utilisé pour évaluer 18 LLM, incluant des modèles open-source (séries Qwen, LLaMA3, Mistral, etc.), des modèles fermés (GPT-4o, GPT-5.2, Claude-Haiku-4.5, Gemini-2.5-Flash) et des modèles spécifiques à l'éducation (InnoSpark-7B, MuduoLLM-7B). Les évaluations ont été menées sous deux configurations : Non-Personnalisée (requête seule) et Personnalisée (requête + profil complet). L'analyse de fiabilité humain-IA a confirmé que Claude-Haiku-4.5 sert d'évaluateur automatique robuste (coefficient de Spearman $\rho$ = 0,83 par rapport aux références humaines).

3. Contributions Clés

1. Cadre Conceptuel : L'article identifie systématiquement les limites du paradigme dominant de la « taille unique » dans l'éducation et introduit la Sécurité Personnalisée Adaptée à l'Étudiant comme une nouvelle perspective d'évaluation.
2. Benchmark CASTLE : La construction d'un benchmark à grande échelle, fondé sur la théorie, couvrant 15 domaines de risques, 14 attributs d'étudiants et plus de 92 000 scénarios bilingues.
3. Métriques d'Évaluation : La proposition de trois métriques spécifiques (Sensibilité au Risque, Empathie Émotionnelle, Alignement avec l'Étudiant) pour dépasser les jugements de sécurité binaires.
4. Résultats Empiriques : Évaluation exhaustive de 18 LLM de pointe révélant des déficiences significatives dans l'assurance de la sécurité personnalisée.

4. Résultats

• Performance Globale : Tous les modèles évalués ont obtenu un score de sécurité moyen inférieur à 2,5 sur 5 dans la configuration Non-Personnalisée. Même le modèle le plus performant, Claude-Haiku-4.5, n'a atteint que 2,42.
• Impact de la Personnalisation : L'incorporation de profils d'étudiants structurés a systématiquement amélioré les scores de sécurité dans les 15 domaines et pour tous les modèles. Cependant, même avec la personnalisation, aucun modèle n'a obtenu un score parfait, indiquant que l'information personnalisée améliore la conscience des risques mais n'élimine pas totalement les risques de sécurité dans des environnements éducatifs complexes.
• Domaine vs Échelle : L'alignement spécifique au domaine s'est avéré plus efficace que la simple montée en échelle des modèles. Les modèles basés sur l'éducation (ex. : InnoSpark-7B) ont surpassé plusieurs modèles généralistes plus larges (ex. : GPT-4o, Gemini-2.5-Flash) dans certaines catégories.
• Apprentissage par Renforcement (RL) : Les modèles optimisés par RL (ex. : QwQ-32B) ont démontré une performance supérieure et une meilleure utilisation des informations personnalisées par rapport à leurs homologues ajustés par instruction (ex. : Qwen2.5-32B), suggérant que les paradigmes d'entraînement comptent plus que le nombre de paramètres pour la sécurité.
• Sensibilité aux Attributs : Les études d'ablation ont montré que les attributs d'Émotion et d'Éducation ont apporté les gains de sécurité les plus substantiels. La personnalisation explicite (profils structurés) a généré des scores de sécurité nettement plus élevés que la personnalisation implicite (indices intégrés dans la requête).
• Limites des Gardiens de Sécurité : Les modèles de garde de sécurité généralistes existants (ex. : Llama-Guard, WildGuard) ont classé plus de 96 % des réponses de CASTLE comme « sûres », échouant à détecter les risques éducatifs nuancés et personnalisés ciblés par le benchmark.

5. Signification et Revendications

L'article affirme que CASTLE fournit une base nécessaire pour la recherche sur la sécurité qui s'adapte aux contextes individuels des étudiants, comblant un angle mort critique dans la recherche actuelle sur la sécurité. Il souligne que :

• Les LLM actuels peinent à identifier les risques spécifiques aux étudiants sans contexte personnalisé explicite.
• Les profils structurés et les mécanismes de personnalisation explicite sont essentiels pour générer des réponses plus sûres et plus empathiques dans des scénarios éducatifs à enjeux élevés.
• Le paradigme de génération « taille unique » est insuffisant pour l'éducation, où l'hétérogénéité cognitive et psychologique dicte les résultats de sécurité.

Les auteurs positionnent CASTLE comme un outil destiné à stimuler le développement de mécanismes d'alignement sensibles au contexte, notant que bien que le benchmark soit conçu pour l'évaluation, il n'est pas destiné au diagnostic clinique ou à la prise de décision à enjeux élevés. Des travaux futurs sont suggérés pour étendre ce benchmark aux réglages interactifs multi-tours et à davantage de langues.