Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach

당신이 새로운 수학 시험지를 작성하려는 교사라고 상상해 보세요. 시험을 실제 학생들에게 나누어 주기 전에, 당신은 알아내야 합니다: 이 문제는 너무 어려운가? 저 문제는 너무 쉬운가? 보통, 이를 알아내는 유일한 방법은 수많은 실제 아이들에게 시험을 치르게 하고, 답안지를 채점하고, 수치를 계산하는 것입니다. 이는 느리고, 비용이 많이 들며, 많은 노력이 필요합니다.

여기 "시뮬레이션된 학생"이 등장합니다. 과학자들은 인공지능(AI)을 사용하여 이 학생들의 역할을 수행하도록 시도해 왔습니다. 아이디어는 초고성능 컴퓨터에게 시험을 치르게 하고, 답을 생성하게 한 뒤, 그 답들을 이용해 문제의 난이도를 파악하는 것입니다. 이것은 시간과 비용을 아끼기 위한 지름길처럼 들립니다. 하지만 여기 함정이 있습니다. 이 AI 학생들은 '너무 완벽'하다는 점입니다. 이들은 마치 모든 학생이 천재이며, 실수도 전혀 하지 않고, 모든 질문에 정확히 똑같은 방식으로 답하는 학급과 같습니다. 만약 당신이 완벽한 천재들로 구성된 학급을 기준으로 시험을 채점한다면, 당신은 모든 문제가 쉽다고 생각할 것이며, 실제로 어려움을 겪고 있는 학생들을 놓치게 될 것입니다. AI는 실제의 복잡하고 불규칙한 교실을 대신하기에는 너무 균일하고 너무 정확합니다.

이 지점에서 웬제 저우(Wenjie Zhou)와 동료들의 새로운 연구가 등장합니다. 그들은 간단한 질문을 던졌습니다: 우리가 AI에게 "나쁜" 학생이 되는 법을 가르칠 수 있을까? 단순히 무작위로 나쁜 학생이 아니라, 구체적이고 현실적인 기술의 조합을 가진 학생 말입니다. 예를 들어, 분수를 더하는 데는 뛰어나지만 분수를 약분하는 데는 서툰 학생 같은 경우입니다. 그들은 **인지 진단 프로파일링(Cognitive Diagnostic Profiling, CDP)**이라는 방법을 개발했습니다. 단순히 AI에게 "시험을 봐라"라고 요청하는 대신, 그들은 AI 학생이 어떤 기술을 습득했고 어떤 기술이 부족한지를 상세히 설명하는 "캐릭터 시트"를 제공합니다. 이러한 특정 프로필을 AI에 입력함으로써, 그들은 실제 교실과 유사하게 작동하는 시뮬레이션된 교실을 만들어낼 수 있었습니다. 여기에는 천재, 평균적인 학생, 그리고 특정 개념에 어려움을 겪는 학생들이 섞여 있습니다.

"완벽한" AI 학생의 문제점

연구진은 먼저 대규모 언어 모델(LLM)—챗봇을 구동하는 것과 같은 종류의 AI—에게 그냥 시험을 보라고 요청했을 때 어떤 일이 일어나는지 테스트하는 것으로 시작했습니다. 그들은 실제 중학생 536명이 분수 뺄셈에 관한 15문항의 시험을 치른 고전적인 데이터셋을 사용했습니다. 이 시험은 "정수에서 빌려오기"나 "정수를 분수로 변환하기"와 같은 다섯 가지 특정 기술을 확인하도록 설계되었습니다.

AI가 특별한 지시 없이 시험을 치렀을 때( "프로필 없는" 베이스라인), AI는 초인처럼 행동했습니다. 거의 모든 것을 맞혔습니다. 결과는 지루할 정도로 균일했습니다. AI 학생들은 모두 점수 상단에 몰려 있었고, 시험은 믿기지 않을 정도로 쉽게 보였습니다. 연구진은 AI의 답변이 실제 인간의 데이터와 전혀 일치하지 않는다는 것을 발견했습니다. AI는 너무 똑똑하고 너무 일관적이어서, 실제 교실의 다양성을 재현하지 못하는 "초정밀도의 저주"를 만들어냈습니다. 이는 마치 맑은 날만 보고서 날씨를 예측하려는 것과 같습니다. 비, 폭풍, 구름은 놓치게 됩니다.

해결책: AI에게 "캐릭터 시트"를 부여하기

이를 해결하기 위해 팀은 **인지 진단 프로파일링(CDP)**을 도입했습니다. 이것은 AI에게 시험을 시작하기 전 상세한 전기(biography)를 주는 것과 같습니다.

1. 청사진(The Blueprint): 먼저, 그들은 시험을 다섯 가지 핵심 기술(속성)로 나누었습니다.
2. 프로필(The Profile): 단순히 "학생이 되어라"라고 말하는 대신, 각 시뮬레이션된 학생을 위한 "프로필"을 만들었습니다. 이 프로필은 이진 스위치의 목록입니다: "기술 A를 할 수 있는가? 예. 기술 B를 할 수 있는가? 아니오."
3. 번역(The Translation): 이 스위치들을 자연어로 바꾸었습니다. 예를 들어, 프로필은 다음과 같이 읽힐 수 있습니다: "당신은 분수를 약분하는 데는 매우 능숙하지만, 정수에서 숫자를 빌려오는 데 어려움을 겪는 학생입니다. 기초는 이해하고 있지만 숫자가 까다로워지면 혼란스러워합니다."
4. 시뮬레이션(The Simulation): 이 설명을 시험 문제와 함께 AI에게 입력했습니다. 그러면 AI는 마치 그 특정 학생인 것처럼 문제를 풀었습니다.

그들은 프로필을 만드는 두 가지 방법을 테스트했습니다. 첫 번째 방법(비정보적 CDP)에서는 AI 학생들에게 기술을 무작위로 할당하여 다양한 능력치를 가진 혼합체를 만들었습니다. 두 번째 방법(정보적 CDP)에서는 실제 인간 학생들의 데이터를 사용하여 얼마나 많은 "천재", "평균적 학생", "어려움을 겪는 학생"을 만들지 결정함으로써 실제 교실의 기술 분포를 모방했습니다.

결과: "완벽함"에서 "현실"로

결과는 획기적이었습니다. AI 학생들에게 이러한 캐릭터 시트가 주어졌을 때, 시뮬레이션은 갑자기 현실적으로 변했습니다.

• 분포: "프로필 없는" 버전에서 AI 학생들은 모두 상단에 몰려 있었습니다. 프로필이 적용되자 점수가 퍼졌습니다. "정보적 CDP" 방식은 실제 인간 학생들과 거의 동일하게 보이는 종 모양의 곡선(bell curve)을 만들어냈습니다. AI의 능력 분포와 실제 인간의 분포 사이의 겹침 정도는 낮은 0.36에서 높은 0.83(1.0은 동일함을 의미)으로 급증했습니다.
• 프로필: 연구진은 AI가 자신이 연기하는 캐릭터처럼 행동하는지 확인했습니다. 만약 프로필에 "빌려오기에 서툼"이라고 되어 있다면, AI가 그 질문들을 틀렸을까요? 네, 그랬습니다. AI의 성과와 특정 기술 프로필에 대한 예상 인간 성과 사이의 상관관계는 0.92에서 0.98 사이로 매우 높았습니다. 이는 AI가 단순히 추측하는 것이 아니라, 특정 강점과 약점을 가진 학생의 인지 상태를 진정으로 시뮬레이션하고 있음을 의미합니다.
• 시험 난이도: 이것이 가장 중요한 부분입니다. 목표는 AI가 문제의 난이도를 파악하는 데 도움이 될 수 있는지 확인하는 것이었습니다. 프로필이 없었을 때, AI는 질문들이 너무 쉽다고 생각했습니다(난이도 추정의 오차인 "제곱평균제곱근 오차"가 6 이상이었습니다). 프로필이 도입되자 AI의 추정치는 훨씬 더 정교해졌습니다. 가장 성능이 좋은 모델(사고 기능이 활성화된 Gemini 3.0 Flash)의 경우, 오차는 6.31에서 0.90으로 떨어졌습니다. AI는 모든 질문이 식은 죽 먹기라고 생각하던 단계에서 벗어나, 어떤 질문이 어렵고 어떤 질문이 쉬운지를 실제 인간 데이터와 거의 완벽하게 일치하도록 정확하게 예측하게 되었습니다.

이것이 왜 중요한가

이 연구는 우리가 시험이 좋은지 알기 위해 수천 명의 실제 학생이 시험을 치를 때까지 기다릴 필요가 없음을 시사합니다. 이 "프로필 기반" 접근 방식을 사용하면, 교육자들이 훨씬 더 빠르고 저렴하게 시험을 검증할 수 있는 현실적인 시뮬레이션 데이터를 생성할 수 있습니다. 핵심은 AI에게 자신이 누구를 흉내 내고 있는지 알려줘야 한다는 것입니다. 특정 인지 프로필이 없다면, AI는 기본적으로 완벽하고 비현실적인 로봇이 됩니다. 하지만 프로필이 있다면, AI는 다양하고 결함이 있으며 현실적인 학생이 됩니다.

연구진은 이 방법이 "사고(Thinking)" 모드(일부 AI 모델의 기능)와 같은 추론 능력을 갖춘 모델에서 가장 잘 작동한다는 것을 발견했습니다. 이러한 모델들은 복잡한 기술 프로필의 논리를 더 잘 따르는 것으로 보입니다. 그러나 그들은 이것이 하나의 시뮬레이션이라는 점도 언급했습니다. AI의 답변이 인간 학생들의 수학적 패턴과 일치하긴 하지만, AI가 실제로 인간과 똑같은 방식으로 "생각하는지", 아니면 단지 올바른 단어를 예측하는 것인지는 알 수 없습니다. 하지만 시험을 더 잘 설계하기 위한 목적에서, 이 시뮬레이션은 테스트 개발이 더 빠르고, 저렴하며, 포용적인 미래로 나아가는 데 거대한 도약이 되는 강력한 도구입니다.