기술 요약: LearnOpt – 표준화 시험의 잠재적 인지 구조 복원

1. 문제 정의

인도의 표준화 시험 준비, 특히 국가 의학 대학 입학 시험(NEET)은 전통적으로 균등한 교과 과정 범위(syllabus coverage) 문제로 접근해 왔습니다. 학생들과 학원들은 일반적으로 모든 단원을 균등하게 배분하거나 과거의 주제 빈도에 따라 우선순위를 정합니다. 저자들은 이러한 접근 방식이 두 가지 구조적 결함을 가지고 있다고 주장합니다:

1. 비균등 샘플링(Non-Uniform Sampling): 시험은 교과 과정을 균등하게 샘플링하지 않습니다. 특정 인지 작용이 다른 작용보다 체계적으로 더 높은 빈도로 나타납니다.
2. 주제와 기술의 혼동(Conflation of Topic and Skill): 동일한 교과 단원 내의 질문이라 할지라도 완전히 다른 인지 작용(예: 직접적인 사실 회상 vs. 다중 개념 통합)을 요구할 수 있으나, 표준적인 전략들은 이를 동일하게 취급합니다.

핵심 과제는 시험 준비를 **제약 최적화 문제(constrained optimization problem)**로 재정의하는 것입니다: 즉, 고정된 시간 예산과 학생의 현재 지식 상태가 주어졌을 때 기대 점수를 극대화하는 것입니다. 이를 위해서는 "정상성 가정(stationarity assumption)"—즉, 시험의 잠재적 인지 구조가 역사적 데이터가 예측력을 가질 만큼 충분히 안정적이라는 가정—이 필요합니다. 본 논문은 이 가정이 NEET에 적용되는지 조사하고, 만약 그렇지 않다면 어떻게 변화(regime shifts)를 감지하고 적응할 것인지 연구합니다.

2. 방법론: LearnOpt 프레임워크

LearnOpt는 시험의 잠재적 구조를 복원하고 개인화된 학습 계획을 생성하기 위해 설계된 4단계 파이프라인입니다.

2.1 데이터 수집 및 LLM 태깅

• 입력: 2016~2024년 사이의 영어로 된 NEET 문제 1,496개 (생물, 화학, 물리).
• 프로세스: PyMuPDF를 통해 원본 PDF를 추출합니다. 각 문제는 **증거 사슬 프롬프트(chain-of-evidence prompt)**를 사용하는 대규모 언어 모델(LLM)에 의해 처리됩니다.
• 출력: 질문, 선택지, 정답, 그리고 5가지 잠재적 기술 카테고리(S1–S5) 중 하나로 분류된 구조화된 JSON 기록입니다. LLM은 분류를 위한 텍스트 증거를 제공해야 하며, 이는 인간의 검토를 가능하게 합니다.
• 신뢰도: 서로 다른 두 LLM 간의 상호 모델 일치도(Cohen's $\kappa$)는 74개 질문의 서브셋에 대해 0.51(보통)이었습니다. 불일치는 "개념 적용(S2)", "다중 개념 통합(S3)", "정량적 추론(S4)" 사이의 경계에서 집중되었으며, "소거/부정(S5)" 카테고리는 높은 일치도를 보였습니다.

2.2 시험 지식 그래프 (Exam Knowledge Graph)

• 구조: FalkorDB에 저장된 그래프 $G=(V, E)$.
• 노드: 질문, 주제, 단원, 과목, 기술, 그리고 NCERT 섹션.
• 에지(Edges): 관계에는 TESTS(테스트함), PART_OF(의 일부임), REQUIRES_SKILL(기술을 요구함), TAUGHT_IN(에서 가르침), PREREQUISITE_OF(의 선수 학습임)가 포함됩니다.
• 구성: 선수 학습 에지는 NCERT 단원 순서와 LLM이 추론한 개념 의존성으로부터 유추됩니다.

2.3 잠재적 기술 분류 체계 (Latent Skill Taxonomy)

저자들은 표면적 구조적 식별 가능성에 기반하여(낮은 상호 평가자 신뢰도를 보이는 6단계 블룸(Bloom) 분류법을 피하기 위해) 다섯 가지 기술 카테고리를 정의합니다:

• S1 (직접 회상): 단일 사실 인출.
• S2 (개념 적용): 알려진 원리를 새로운 맥락에 적용.
• S3 (다중 개념 통합): 서로 다른 단원의 지식을 결합.
• S4 (정량적 추론): 수치 계산 또는 공식 적용.
• S5 (소거/부정): "옳지 않은 것은?" 또는 "~를 제외한 모두"와 같이 구성되어, 주장들에 대한 철저한 검증을 요구하는 질문.

2.4 학습 최적화 엔진

학습 계획은 Google OR-Tools CP-SAT 솔버를 통해 해결되는 **배낭 문제(Knapsack Problem)**의 변형으로 정식화됩니다.

• 목표: 기대 점수 상승 극대화.
• 제약 조건: 시간 예산 및 선수 학습 순서 (학생은 선수 개념 없이 개념을 마스터할 수 없음).
• 가치 함수: 역사적 빈도($R_i$), 현재 숙달도($m_i$), 그리고 시험의 경험적 빈도에 기반한 **기술 가중치 항($W_s$)**을 포함합니다.
• 학습 모델: 각 학습 세션 후에 숙달 상태를 업데이트하기 위해 선수 학습 제약이 있는 **베이지안 지식 추적(Bayesian Knowledge Tracing, BKT)**을 사용합니다.

3. 주요 결과

3.1 체제 안정성 및 구조적 변화 (Regime Stability and Structural Break)

2016~2024년 데이터셋 분석 결과, NEET의 잠재적 기술 분포는 **구간별 정상성(piecewise stationary)**을 보입니다:

• Pre-2023 체제 (2016–2021): 분포가 안정적입니다. 연속 연도 간 쿨백-라이블러(Kullback-Leibler, KL) 발산은 0.004에서 0.032 사이이며, 순열 테스트 하에서 유의미한 변화가 없습니다 ($p > 0.05$).
• 2023년의 변화: NCERT 2023 교과 과정 개편과 맞물려 유의미한 구조적 변화가 발생했습니다.
  • 비교: 2016–2021년 통합 데이터($n=1,072$)와 2023–2024년 데이터($n=392$)를 비교했을 때 KL 발산은 0.040 ($p=0.0005$)입니다.
  • 변화의 성격: 직접 회상(S1) 질문은 약 4–6%에서 약 2%로 감소했습니다. 소거/부정(S5) 질문은 20–29%에서 31–35%로 증가했습니다.
  • 원인 분석: 이 변화는 NCERT 교과 과정에서 전체 단원이 삭제됨에 따라, 출제자들이 남은 자료를 고립된 사실 인출(S1)보다는 다중 진술 검증(S5)을 통해 더 엄격하게 테스트하도록 강제된 것에 기인합니다.

3.2 과목 vs. 연도 예측 변수

하나의 교과 체제 내에서는 연도보다 과목이 기술 프로필을 더 강력하게 예측합니다.

• 물리: 다중 개념 통합(S3, 51.9%)이 지배적이며, S5는 거의 없습니다.
• 생물: S5(34.6%)와 S1(7.8%)이 풍부합니다.
• 화학: S2와 S3 사이의 균형을 이룹니다.
• 차이점: 과목 간 KL 발산(예: 물리 vs. 생물 = 0.420)은 체제 내 연도 간 최대 발산(최대 0.032)보다 훨씬 큽니다.

3.3 최적화 평가

기술 가중치 목적 함수는 세 가지 학생 프로필(실제 1명, 합성 2명)에 대해 세 가지 베이스라인(균등 커버리지 및 주제 빈도 전용)과 비교 테스트되었습니다.

• 결과: 기술 가중치 접근 방식은 완만하지만 실질적인 재정렬을 만들어냈습니다. 예를 들어, 이 방식은 역사적 빈도는 비슷하지만 기술 가중치 프로필이 낮은 주제보다, S5가 지배적인(포스트 2023 체제에서 빈도가 높은) 주제를 우선시했습니다.
• 한계: 학생의 자기 평가에 사용된 약 18개의 특정 주제에 매핑될 수 있는 질문이 28.2%에 불과했기 때문에, 개인화 신호가 희석되어 나머지는 중립적인 값으로 처리되었습니다.

3.4 타 시험 비교 (JEE Advanced)

이 파이프라인을 JEE Advanced에 적용한 결과, 근본적으로 다른 인지 구조가 드러났습니다:

• JEE Advanced: 다중 개념 통합(80.9%)이 지배적이며 순수 회상은 거의 없습니다.
• 차이점: JEE Advanced와 NEET 사이의 KL 발산(0.505)은 NEET 내의 가장 큰 과목 간 발산보다 크며, 이는 시험의 등급(tier)이 과목보다 잠재적 구조를 더 결정적으로 형성함을 나타냅니다.

4. 의의 및 주장

본 논문은 다음과 같은 기여를 주장합니다:

1. 구간별 정상성의 경험적 증거: 시험 구조가 영구적으로 정체되어 있지는 않지만, 식별 가능한 교과 체제 내에서는 안정적임을 입증했습니다. 이는 (2023년 NCERT 변경과 같은) 체제 변화를 감지하고 반영한다는 조건 하에, 최적화를 위해 역사적 데이터를 사용하는 것이 타당함을 검증합니다.
2. 잠재적 기술 추출: 표준적인 분류법에서 간과되기 쉬운 MCQ의 구조적 특징(특히 S5: 소거/부정)을 포착하는 5개 카테%고리 분류 체계를 도입하였으며, 질문 형식이 인지적 요구도를 결정하는 별도의 예측 변수임을 보여주었습니다.
3. 최적화 프레임워크: 단순한 "중요 단원" 조언을 넘어, 주제 빈도와 시험의 경험적 인지 요구량을 모두 고려하여 학습 시간을 가중하는 제약 최적화 모델인 LearnOpt를 제시합니다.
4. 오픈 데이터: 저자들은 독립적인 검증을 위해 코드, 지식 그래프, 그리고 기술 태그가 달린 주석 데이터셋(1,496개 질문)을 공개합니다.

저자들은 현재 도구의 상태에 대해 겸허한 태도를 유지하며, 현재의 개인화 신호가 주제 매핑의 세밀함에 의해 제한적이라는 점과, 가용한 소스에서 전체 질문 텍스트를 신뢰성 있게 확보할 수 없어 2025년 데이터를 분석할 수 없었다는 점을 언급했습니다. 주요 기여는 완전한 생산 단계의 튜터링 시스템이라기보다 시험의 잠재적 구조를 분석한 데 있습니다.