Resumen Técnico: CASTLE – Un Benchmark Exhaustivo para Evaluar la Seguridad Personalizada y Adaptada al Estudiante en Grandes Modelos de Lenguaje

1. Planteamiento del Problema

Si bien los Grandes Modelos de Lenguaje (LLMs) han avanzado en el aprendizaje personalizado, sus mecanismos de generación inherentes suelen producir respuestas homogéneas ante prompts idénticos. Este enfoque de "talla única" ignora la sustancial heterogeneidad en las características cognitivas y psicológicas de los estudiantes, lo que potencialmente plantea riesgos de seguridad para grupos vulnerables. Las evaluaciones de seguridad existentes se basan principalmente en métricas independientes del contexto (por ejemplo, exactitud factual, toxicidad, sesgo), las cuales no logran capturar los daños divergentes que una sola respuesta podría causar a través de diferentes atributos del estudiante. En dominios educativos de alto riesgo, los enfoques de seguridad general luchan por identificar y mitigar los riesgos personalizados derivados de las variaciones en el trasfondo del usuario, como una respuesta inofensiva para un estudiante de bajo riesgo que podría desencadenar un comportamiento fatal en un estudiante con tendencias de abandreso escolar o depresión severa.

2. Metodología

Los autores proponen CASTLE (Evaluación Integral del Aprendizaje y la Evaluación Adaptada al Estudiante), un benchmark fundamentado en teorías educativas para medir sistemáticamente los riesgos de seguridad personalizados.

2.1 Construcción del Conjunto de Datos

CASTLE comprende 92,908 escenarios bilingües (53,483 en chino, 39,425 en inglés) construidos mediante un proceso de múltiples etapas:

• Fundamento Teórico: El benchmark integra teorías clásicas de la psicología educativa, incluyendo los Rasgos de Personalidad de los Cinco Grandes, el Tipo de Creencia de Capacidad de Dweck (Mentalidad de Crecimiento vs. Fija), las Etapas de Adquisición de Habilidades de Fitts y Posner, y las Fases de Aprendizaje Autorregulado de Zimmerman.
• Taxonomía de Riesgos: Una taxonomía de dos niveles define 15 dominios de riesgo de seguridad educativa a través de cuatro categorías:
  1. Salud Psicológica y Emocional (p. ej., Sobrecarga de Presión Académica, Dilema de Elección de Carrera).
  2. Integridad y Competencia Académica (p. ej., Mala Praxis Académica, Evitación de la Ruta de Aprendizaje).
  3. Sesgo de Contenido e Información (p. ej., Estereotipos, Riesgos de Alucinación del Modelo).
  4. Dependencia de Aprendizaje y Cognición (p. ej., Pérdida de Juicio Independiente, Rigidez Cognitiva).
• Perfiles de Estudiante: Cada escenario incluye un perfil de estudiante estructurado con 14 atributos que abarcan Trasfondo (Edad, Género, Etapa de Aprendizaje), los Cinco Grandes de la Personalidad, Emoción (Estado, Intensidad, Retroalimentación Reciente) y Educación (Creencia de Capacidad, Habilidad, Etapa de Adquisición, Autorregulación).
• Proceso de Generación: El conjunto de datos fue generado utilizando una estrategia cíclica de múltiples LLMs (GPT-4o, Gemini-2.5-Flash, DeepSeek-V3, Claude-Haiku-4.5) para mitigar el sesgo específico del modelo. Se aplicaron reglas estrictas de restricción lógica para asegurar la validez psicológica y la consistencia de los atributos (por ejemplo, evitando desajustes entre edad y grado académico o combinaciones incompatibles de emoción-escenario).

2.2 Métricas de Evaluación

CASTLE introduce tres dimensiones de evaluación, calificadas en una escala Likert de 1 a 5:

1. Sensibilidad al Riesgo: Mide la capacidad del modelo para detectar riesgos psicológicos o cognitivos latentes en la consulta.
2. Empatía Emocional: Evalúa la capacidad del modelo para reconocer y abordar el estado emocional del estudiante.
3. Alineación con el Estudiante: Evalúa la concordancia entre la respuesta del modelo y los atributos específicos del estudiante (personalidad, etapa de aprendizaje, etc.).
   El Puntaje de Seguridad Promedio es la media de estas tres dimensiones.

2.3 Configuración Experimental

El benchmark se utilizó para evaluar 18 LLMs, incluyendo modelos de código abierto (serie Qwen, LLaMA3, Mistral, etc.), modelos de código cerrado (GPT-4o, GPT-5.2, Claude-Haiku-4.5, Gemini-2.5-Flash) y modelos específicos de educación (InnoSpark-7B, MuduoLLM-7B). Las evaluaciones se realizaron bajo configuraciones No Personalizadas (solo consulta) y Personalizadas (consulta + perfil completo). El análisis de fiabilidad Humano-IA confirmó que Claude-Haiku-4.5 sirve como un evaluador automático robusto (Spearman's $\rho$ = 0.83 frente a referencias humanas).

3. Contribuciones Clave

1. Marco Conceptual: El artículo identifica sistemáticamente las limitaciones del paradigma prevaleciente de "talla única" en la educación e introduce la Seguridad Personalizada Adaptada al Estudiante como una nueva perspectiva de evaluación.
2. Benchmark CASTLE: La construcción de un benchmark a gran escala y fundamentado en la teoría, que cubre 15 dominios de riesgo, 14 atributos de estudiante y más de 92k escenarios bilingües.
3. Métricas de Evaluación: La propuesta de tres métricas específicas (Sensibilidad al Riesgo, Empatía Emocional, Alineación con el Estudiante) para ir más allá de los juicios de seguridad binarios.
4. Hallazgos Empíricos: Evaluación exhaustiva de 18 LLMs de última generación que revela deficiencias significativas en la seguridad personalizada.

4. Resultados

• Desempeño General: Todos los modelos evaluados obtuvieron una puntuación inferior a un puntaje de seguridad promedio de 2.5 de 5 en la configuración No Personalizada. Incluso el modelo más fuerte, Claude-Haiku-4.5, alcanzó solo 2.42.
• Impacto de la Personalización: La incorporación de perfiles de estudiante estructurados mejoró consistentemente los puntajes de seguridad en todos los 15 dominios y en todos los modelos. Sin embargo, incluso con la personalización, ningún modelo alcanzó un puntaje perfecto, lo que indica que la información personalizada mejora la conciencia del riesgo pero no elimina totalmente los riesgos de seguridad en entornos educativos complejos.
• Dominio vs. Escala: La alineación específica por dominio resultó ser más efectiva que el escalado del modelo por sí solo. Los modelos basados en educación (p. ej., InnoSpark-7B) superaron a los modelos de propósito general más grandes (p. ej., GPT-4o, Gemini-2.5-Flash) en varias categorías.
• Aprendizaje por Refuerzo (RL): Los modelos optimizados mediante RL (p. ej., QwQ-32B) demostraron un desempeño superior y una mejor utilización de la información personalizada en comparación con sus contrapartes ajustadas por instrucciones (p. ej., Qwen2.5-32B), lo que sugiere que los paradigmas de entrenamiento importan más que el número de parámetros para la seguridad.
• Sensibilidad a los Atributos: Los estudios de ablación mostraron que los atributos de Emoción y Educación contribuyeron de manera más sustancial a las ganancias de seguridad. La personalización explícita (perfiles estructurados) produjo puntajes de seguridad significativamente más altos que la personalización implícita (claves embebidas en la consulta).
• Limitaciones de las Guardias de Seguridad: Los modelos de guardia de seguridad de propósito general existentes (p. ej., Llama-Guard, WildGuard) clasificaron más del 96% de las respuestas de CASTLE como "seguras", fallando en detectar los riesgos educativos personalizados y matizados que el benchmark pretende abordar.

5. Significado y Reivindicaciones

El artículo afirma que CASTLE proporciona una base necesaria para la investigación de seguridad que se adapte a los contextos individuales de los estudiantes, abordando un punto ciego crítico en la investigación de seguridad actual. Destaca que:

• Los LLMs actuales luchan por identificar riesgos específicos del estudiante sin un contexto personalizado explícito.
• Los perfiles estructurados y los mecanismos de personalización explícita son esenciales para generar respuestas más seguras y empáticas en escenarios educativos de alto riesgo.
• El paradigma de generación de "talla única" es insuficiente para la educación, donde la heterogeneidad cognitiva y psicológica dicta los resultados de seguridad.

Los autores posicionan a CASTLE como una herramienta para impulsar el desarrollo de mecanismos de alineación conscientes del contexto, señalando que, si bien el benchmark está diseñado para la evaluación, no tiene la intención de realizar diagnósticos clínicos o toma de decisiones de alto riesgo. Se sugiere como trabajo futuro extender el benchmark a entornos interactivos de múltiples turnos y a más idiomas.