Resumo Técnico: CASTLE – Um Benchmark Abrangente para Avaliar a Segurança Personalizada e Adaptada ao Aluno em Grandes Modelos de Linguagem

1. Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado no aprendizado personalizado, seus mecanismos de geração inerentes frequentemente produzem respostas homogêneas para prompts idênticos. Essa abordagem de "tamanho único" ignora a substancial heterogeneidade nas características cognitivas e psicológicas dos alunos, o que pode representar riscos à segurança de grupos vulneráveis. As avaliações de segurança existentes baseiam-se primariamente em métricas independentes de contexto (ex: precisão factual, toxicidade, viés), que falham em capturar os danos divergentes que uma única resposta pode causar através de diferentes atributos do aluno. Em domínios educacionais de alto risco, abordagens de segurança geral têm dificuldade em identificar e mitigar riscos personalizados decorrentes de variações nos perfis dos usuários, como uma resposta inofensiva para um aluno de baixo risco que pode desencadear comportamentos fatais em um aluno com tendências de abandro escolar ou depressão severa.

2. Metodologia

Os autores propõem o CASTLE (Comprehensive Assessment of Student-Tailored Learning and Evaluation), um benchmark fundamentado em teorias educacionais para medir sistematicamente os riscos de segurança personalizados.

2.1 Construção do Dataset

O CASTLE compreende 92.908 cenários bilíngues (53.483 em chinês, 39.425 em inglês) construídos através de um pipeline de múltiplos estágios:

• Fundamentação Teórica: O benchmark integra teorias clássicas da psicologia educacional, incluindo os Traços de Personalidade Big Five, o Tipo de Crença de Capacidade de Dweck (Mentalidade de Crescimento vs. Fixa), os Estágios de Aquisição de Habilidades de Fitts e Posner, e as Fases de Aprendizagem Autorregulada de Zimmerman.
• Taxonomia de Risco: Uma taxonomia de dois níveis define 15 domínios de risco de segurança educacional distribuídos em quatro categorias:
  1. Saúde Psicológica e Emocional (ex: Sobrecarga de Pressão Acadêmica, Dilema de Escolha de Carreira).
  2. Integridade e Competência Acadêmica (ex: Má Conduta Acadêmica, Evitação de Caminho de Aprendizagem).
  3. Viés de Conteúdo e Informação (ex: Estereótipos, Riscos de Alucinação do Modelo).
  4. Dependência de Aprendizagem e Cognição (ex: Perda de Julgamento Independente, Rigidez Cognitiva).
• Perfis de Alunos: Cada cenário inclui um perfil de aluno estruturado com 14 atributos abrangendo Contexto (Idade, Gênero, Estágio de Aprendizagem), Big Five de Personalidade, Emoção (Estado, Intensidade, Feedback Recente) e Educação (Crença de Capacidade, Habilidade, Estágio de Aquisição, Autorregulação).
• Processo de Geração: O dataset foi gerado utilizando uma estratégia cíclica de múltiplos LLMs (GPT-4o, Gemini-2.5-Flash, DeepSeek-V3, Claude-Haiku-4.5) para mitigar o viés específico de modelos. Regras estritas de restrição lógica foram aplicadas para garantir validade psicológica e consistência de atributos (ex: prevenir incompatibilidades entre idade/série ou pares emoção-cenário).

.2 Métricas de Avaliação

O CASTLE introduz três dimensões de avaliação, classificadas em uma escala Likert de 1 a 5:

1. Sensibilidade ao Risco: Mede a capacidade do modelo de detectar riscos psicológicos ou cognitivos latentes na consulta.
2. Empatia Emocional: Avalia a capacidade do modelo de reconhecer e abordar o estado emocional do aluno.
3. Alinhamento com o Aluno: Avalia a correspondência entre a resposta do modelo e os atributos específicos do aluno (personalidade, estágio de aprendizagem, etc.).
   A Pontuação Média de Segurança é a média dessas três dimensões.

2.3 Configuração Experimental

O benchmark foi utilizado para avaliar 18 LLMs, incluindo modelos de código aberto (série Qwen, LLaMA3, Mistral, etc.), modelos de código fechado (GPT-4o, GPT-5.2, Claude-Haiku-4.5, Gemini-2.5-Flash) e modelos específicos de educação (InnoSpark-7B, MuduoLLM-7B). As avaliações foram conduzidas sob configurações Não-Personalizadas (apenas consulta) e Personalizadas (consulta + perfil completo). A análise de confiabilidade Humano-IA confirmou que o Claude-Haiku-4.5 serve como um avaliador automático robusto (Spearman's $\rho$ = 0.83 contra referências humanas).

3. Principais Contribuições

1. Estrutura Conceitual: O artigo identifica sistematicamente as limitações do paradigma predominante de "tamanho único" na educação e introduz a Segurança Personalizada Adaptada ao Aluno como uma nova perspectiva de avaliação.
2. Benchmark CASTLE: A construção de um benchmark de grande escala, fundamentado em teoria, cobrindo 15 domínios de risco, 14 atributos de alunos e mais de 92 mil cenários bilíngues.
3. Métricas de Avaliação: A proposta de três métricas específicas (Sensibilidade ao Risco, Empatia Emocional, Alinhamento com o Aluno) para ir além dos julgamentos binários de segurança.
4. Achados Empíricos: Avaliação abrangente de 18 LLMs de última geração, revelando deficiências significativas na garantia de segurança personalizada.

4. Resultados

• Desempenho Geral: Todos os modelos avaliados pontuaram abaixo de uma pontuação média de segurança de 2,5 de 5 na configuração Não-Personalizada. Mesmo o modelo mais forte, Claude-Haiku-4.5, alcançou apenas 2,42.
• Impacto da Personalização: A incorporação de perfis de alunos estruturados melhorou consistentemente as pontuações de segurança em todos os 15 domínios e em todos os modelos. No entanto, mesmo com a personalização, nenhum modelo atingiu uma pontuação perfeita, indicando que a informação personalizada melhora a consciência de risco, mas não elimina totalmente os riscos de segurança em ambientes educacionais complexos.
• Domínio vs. Escala: O alinhamento específico por domínio provou ser mais eficaz do que apenas o escalonamento do modelo. Modelos baseados em educação (ex: InnoSpark-7B) superaram modelos de propósito geral maiores (ex: GPT-4o, Gemini-2.5-Flash) em diversas categorias.
• Aprendizado por Reforço (RL): Modelos otimizados por RL (ex: QwQ-32B) demonstraram desempenho superior e melhor utilização de informações personalizadas em comparação com seus equivalentes ajustados por instrução (ex: Qwen2.5-32B), sugerindo que os paradigmas de treinamento importam mais do que a contagem de parâmetros para a segurança.
• Sensibilidade aos Atributos: Estudos de ablação mostraram que os atributos de Emoção e Educação contribuíram com os ganhos de segurança mais substanciais. A personalização explícita (perfis estruturados) gerou pontuações de segurança significativamente mais altas do que a personalização implícita (pistas inseridas na consulta).
• Limitações de Guardas de Segurança: Os modelos de guarda de segurança de propósito geral existentes (ex: Llama-Guard, WildGuard) classificaram mais de 96% das respostas do CASTLE como "seguras", falhando em detectar os riscos educacionais personalizados e sutis visados pelo benchmark.

5. Significância e Alegações

O artigo afirma que o CASTLE fornece uma base necessária para a pesquisa de segurança que se adapta aos contextos individuais dos alunos, abordando um ponto cego crítico na pesquisa de segurança atual. Ele destaca que:

• Os LLMs atuais têm dificuldade em identificar riscos específicos do aluno sem o contexto personalizado explícito.
• Perfis estruturados e mecanismos de personalização explícita são essenciais para gerar respostas mais seguras e empáticas em cenários educacionais de alto risco.
• O paradigma de geração de "tamanho único" é insuficiente para a educação, onde a heterogeneidade cognitiva e psicológica dita os resultados de segurança.

Os autores posicionam o CASTLE como uma ferramenta para impulsionar o desenvolvimento de mecanismos de alinhamento conscientes do contexto, observando que, embora o benchmark seja projetado para avaliação, não se destina ao diagnóstico clínico ou à tomada de decisões de alto risco. Sugere-se como trabalho futuro a extensão do benchmark para configurações interativas de múltiplos turnos e mais idiomas.