기술 요약: CASTLE – 대규모 언어 모델의 학생 맞춤형 개인화된 안전성 평가를 위한 종합 벤치마크

1. 문제 정의

대규모 언어 모델(LLM)이 개인화된 학습을 발전시키고 있음에도 불구하고, 이들의 고유한 생성 메커니즘은 동일한 프롬프트에 대해 동질적인 응답을 생성하는 경향이 있다. 이러한 "일률적인(one-size-fits-all)" 접근 방식은 학생들의 인지적 및 심리적 특성의 상당한 이질성을 간과하며, 이는 취약 계층에 대한 안전 위험을 초래할 수 있다. 기존의 안전성 평가는 맥락 독립적인 지표(예: 사실적 정확성, 독성, 편향성)에 주로 의존하는데, 이는 서로 다른 학생 속성에 따라 단일 응답이 유발할 수 있는 상이한 위해를 포착하지 못한다. 고위험 교육 영역에서 일반적인 안전 접근 방식은 사용자 배경의 변화로 인해 발생하는 개인화된 위험을 식별하고 완화하는 데 어려움을 겪는다. 예를 들어, 저위험 학생에게는 무해한 응답이 중도 탈락 성향이나 심각한 우울증을 앓는 학생에게는 치명적인 행동을 유발할 수 있다.

2. 방법론

저자들은 교육 이론에 기반하여 개인화된 안전 위험을 체계적으로 측정하는 CASTLE(Comprehensive Assessment of Student-Tailored Learning and Evaluation)을 제안한다.

2.1 데이터셋 구축

CASTLE은 다단계 파이프라인을 통해 구축된 92,908개의 이중 언어 시나리오(중국어 53,483개, 영어 39,425개)로 구성된다:

• 이론적 토대: 본 벤치마크는 Big Five 성격 특성, Dweck의 능력 신념 유형(성장 vs 고정 사고방식), Fitts와 Posner의 기술 습득 단계, 그리고 Zimmerman의 자기 조절 학습 단계를 포함한 고전적 교육 심리학 이론을 통합한다.
• 위험 분류 체계: 4가지 범주에 걸친 15가지 교육 안전 위험 도메인을 정의하는 2단계 분류 체계를 사용한다:
  1. 심리 및 정서적 건강 (예: 학업 압박 과부하, 진로 선택 딜레마).
  2. 학업 정직성 및 역량 (예: 학업 부정행위, 학습 경로 회피).
  3. 콘텐츠 및 정보 편향 (예: 고정관념, 모델 환각 위험).
  4. 학습 의존성 및 인지 (예: 독립적 판단력 상실, 인지적 경직성).
• 학생 프로필: 각 시나리오는 배경(연령, 성별, 학습 단계), Big Five 성격, 정서(상태, 강도, 최근 피드백), 교육(능력 신념, 기술, 습득 단계, 자기 조절)을 아우르는 14가지 속성을 가진 구조화된 학생 프로필을 포함한다.
• 생성 프로세스: 모델 특유의 편향을 완화하기 위해 순환적 다중 LLM 전략(GPT-4o, Gemini-2.5-Flash, DeepSeek-V3, Claude-Haiku-4.5)을 사용하여 데이터셋을 생성하였다. 심리적 타당성과 속성 일관성(예: 연령-학년 불일치 또는 정서-시나리오 간 부적합한 쌍 방지)을 보장하기 위해 엄격한 논리 제약 규칙이 적용되었다.

2.2 평가 지표

CASTLE은 1~5점 리커트 척도로 측정되는 세 가지 평가 차원을 도입한다:

1. 위험 민감도(Risk Sensitivity): 쿼리에 내재된 잠재적 심리적 또는 인지적 위험을 탐지하는 모델의 능력을 측정한다.
2. 정서적 공감(Emotional Empathy): 학생의 정서 상태를 인식하고 대응하는 모델의 역량을 평가한다.
3. 학생 정렬(Student Alignment): 모델의 응답과 특정 학생 속성(성격, 학습 단계 등) 간의 일치도를 평가한다.
   **평균 안전 점수(Average Safety Score)**는 이 세 차원의 평균값이다.

2.3 실험 설정

본 벤치마크는 오픈 소스 모델(Qwen 시리즈, LLaMA3, Mistral 등), 폐쇄형 소스 모델(GPT-4o, GPT-5.2, Claude-Haiku-4.5, Gemini-2.5-Flash), 그리고 교육 특화 모델(InnoSpark-7B, MuduoLLM-7B)을 포함한 18개의 LLM을 평가하는 데 사용되었다. 평가는 비개인화(쿼리만 제공) 및 개인화(쿼리 + 전체 프로필 제공) 설정 하에 수행되었다. 인간-AI 신뢰도 분석을 통해 Claude-Haiku-4.5가 강력한 자동 평가 도구임을 확인하였다(인간 참조값 대비 Spearman's $\rho$ = 0.83).

3. 주요 기여

1. 개념적 프레임워크: 교육 분야에서 기존의 "일률적인" 패러다임의 한계를 체계적으로 식별하고, 학생 맞춤형 개인화된 안전성이라는 새로운 평가 관점을 도입하였다.
2. CASTLE 벤치마크: 15개 위험 도메인, 14개 학생 속성, 92k 이상의 이중 언어 시나리오를 다루는 대규모의 이론 기반 벤치마크를 구축하였다.
3. 평가 지표: 이진적인 안전 판별을 넘어선 세 가지 구체적인 지표(위험 민감도, 정서적 공감, 학생 정렬)를 제안하였다.
4. 실증적 결과: 18개의 최첨단 LLM을 종합적으로 평가하여 개인화된 안전 보장에 있어 상당한 결함이 있음을 밝혀냈다.

4. 결과

• 전반적인 성능: 평가된 모든 모델은 비개인화 설정에서 5점 만점에 평균 안전 점수 2.5점 미만을 기록했다. 가장 강력한 모델인 Claude-Haiku-4.5조차 2.42점에 그쳤다.
• 개인화의 영향: 구조화된 학생 프로필을 포함하는 것은 모든 15개 도메인과 모든 모델에서 안전 점수를 일관되게 향상시켰다. 그러나 개인화된 정보를 적용하더라도 어떤 모델도 만점을 달성하지 못했으며, 이는 개인화된 정보가 위험 인식을 개선하지만 복잡한 교육 환경에서의 안전 위험을 완전히 제거하지는 못함을 나타낸다.
• 도메인 vs 규모: 도메인 특화 정렬이 모델 규모 자체보다 더 효과적임이 입증되었다. 교육 기반 모델(예: InnoSpark-7B)은 여러 카테고리에서 범용 대규모 모델(예: GPT-4o, Gemini-2.5-Flash)보다 우수한 성능을 보였다.
• 강화 학습(RL): RL로 최적화된 모델(예: QwQ-32B)은 지시 튜닝된 모델(예: Qwen2.5-32B)에 비해 우수한 성능과 더 나은 개인화 정보 활용 능력을 보여주었으며, 이는 매개변수 수보다 학습 패러다임이 안전성에 더 중요하다는 것을 시사한다.
• 속성 민감도: 절제 연구(Ablation studies) 결과, **정서(Emotion)**와 교육(Education) 속성이 가장 실질적인 안전 이득에 기여하는 것으로 나타났다. 명시적 개인화(구조화된 프로필)는 암시적 개인화(쿼리에 내포된 단서)보다 훨씬 높은 안전 점수를 산출했다.
• 안전 가드 제한: 기존의 범용 안전 가드 모델(예: Llama-Guard, WildGuard)은 CASTLE 응답의 96% 이상을 "안전함"으로 분류하여, 본 벤치마크가 목표로 하는 미묘하고 개인화된 교육적 위험을 탐지하는 데 실패했다.

5. 의의 및 주장

본 논문은 CASTLE가 현재의 안전 연구의 사각지대를 해결하며, 개별 학생 맥락에 적응하는 안전 연구를 위한 필수적인 토대를 제공한다고 주장한다. 주요 내용은 다음과 같다:

• 현재의 LLM은 명시적인 개인화 맥락 없이는 학생 특유의 위험을 식별하는 데 어려움을 겪는다.
• 고위험 교육 시나리오에서 더 안전하고 공감 어린 응답을 생성하기 위해서는 구조화된 프로필과 명시적 개인화 메커니즘이 필수적이다.
• 인지적 및 심리적 이질성이 안전 결과를 결정하는 교육 분야에서 "일률적인" 생성 패러다임은 불충분하다.

저자들은 CASTLE를 맥락 인식 정렬 메커니즘의 발전을 이끌기 위한 도구로 포지셔닝하며, 본 벤치마크가 설계 목적상 임상 진단이나 고위험 의사결정에 사용되어서는 안 된다는 점을 명시한다. 향후 연구로서 멀티턴 상호작용 설정 및 더 다양한 언어로의 확장을 제안한다.