CodeGENCAT: Generative Computerized Adaptive Testing for Open-ended Coding Problems

기술 요약: CodeGENCAT

문제 제기
기존의 컴퓨터 적응형 평가 (CAT) 프레임워크는 주로 문항 반응 이론 (IRT) 에 의존하여 학생이 문제를 올바르게 풀 확률에 기반해 문항을 선별합니다. 이러한 패러다임에서 학생의 응답은 정답/오답이라는 이진 레이블로 압축됩니다. 이러한 추상화는 개방형 응답에 내재된 풍부한 진단 정보를 배제하는데, 이는 프로그래밍 교육에서 특히 심각한 한계입니다. 코딩 과제에서 두 학생이 모두 문제를 틀릴 수 있지만, 그들의 코드 제출물은 완전히 다른 이해 수준을 드러낼 수 있습니다. 한 학생은 사소한 구문 오류를 보일 수 있는 반면, 다른 학생은 근본적인 개념적 공백을 보일 수 있습니다. 둘을 단순히 "오답"으로 취급하는 것은 오류의 구체적 성격을 무시하여, 시스템이 개념적 이해와 코딩 능력을 정확하게 모델링하는 능력을 저해합니다.

방법론
저자들은 CodeGENCAT(개방형 코딩 문제를 위한 생성형 컴퓨터 적응형 평가) 을 제안합니다. 이는 이진 결과가 아닌 예측된 개방형 학생 코드 응답에 기반하여 문항을 선별하는 데 대규모 언어 모델 (LLM) 을 활용하는 프레임워크입니다. 방법론은 세 가지 핵심 구성 요소로 이루어집니다:

1. 생성형 문항 반응 이론 (GIRT) 모델:

   • 지식 표현: 학생의 지식은 다층 퍼셉트론 (MLP) 을 통해 특정 지식 요소 (KCs) 에 대한 명시적 숙련도 ($\theta_i$) 로 투영된 잠재 벡터 $z_i$로 표현됩니다.
   • 코드 생성: LLM 은 질문 텍스트와 학생의 추정된 지식에 조건부로 예측된 코드 응답을 생성합니다. 스칼라 숙련도 수준과 LLM 입력 간의 간극을 메우기 위해 저자들은 "소프트 프롬핑 (soft prompting)" 기법을 사용합니다. 숙련도 수준은 사전 훈련된 "TRUE"와 "FALSE" 임베딩 사이를 선형 보간하여 생성된 연속 임베딩을 프롬프트에 주입합니다.
   • 훈련 전략: 모델은 2 단계 훈련 과정을 거칩니다:
     • 지도 미세 조정 (SFT): 모델은 음의 로그 가능도를 최소화하면서 지식에 조건부로 코드를 생성하는 법을 학습합니다. 보조 손실 함수는 평균 예측 숙련도를 실제 정답 점수와 정렬시킵니다.
     • 직접 선호도 최적화 (DPO): 모드 붕괴 (모델이 입력 지식과 관계없이 동일한 코드를 생성하는 현상) 를 해결하기 위해 강화 학습 단계가 도입됩니다. 선호도 쌍은 현재 학생의 지식을 고려할 때 다른 학생의 응답보다 덜 가능성이 있는 실제 학생 응답과 비교하여 형성됩니다. DPO 는 생성된 응답이 입력 지식 상태에 따라 의미적으로 다양하게 변하도록 모델을 정제합니다.

2. 문항 선별 알고리즘:
   CodeGENCAT 은 GIRT 모델을 사용하여 후보 문항에 대한 $N$개의 잠재적 코드 응답을 샘플링합니다. 다음 문항을 결정하기 위해 세 가지 선별 기준이 제안됩니다:

   • 불확실성 기반: 평균 예측 정답 점수가 0.5 에 가장 가까운 문항을 선택하여 정답 확률에 대한 정보 이득을 극대화합니다.
   • 다양성 기반: 샘플링된 코드 응답이 가장 높은 의미적 다양성 (CodeBERT 임베딩의 쌍별 코사인 유사도로 측정) 을 보이는 문항을 선택합니다. 이는 학생이 어떻게 응답할지에 대한 높은 불확실성을 나타냅니다.
   • 피셔 정보 기반: 피셔 정보 행렬의 대각합 (trace) 을 최대화하는 문항을 선택하여 학생의 잠재 지식 벡터에 대한 불확실성을 가장 크게 줄이는 것을 목표로 합니다.

3. 적응형 평가 사이클:
   시스템은 모집단 사전 분포를 사용하여 학생의 잠재 지식을 초기화합니다. 각 단계에서 후보 문항에 대한 응답을 GIRT 모델에서 샘플링하고, 선별 알고리즘을 사용하여 점수를 매긴 후, 가장 높은 점수를 받은 문항을 실시하며, 실제 응답에 기반하여 경사 하강법을 통해 학생의 잠재 지식을 업데이트합니다.

주요 기여

• 생성형 CAT 프레임워크: 이진 정답을 넘어 예측된 학생 코드 응답을 문항 선별에 활용하는 개방형 코딩 문제를 위해 특별히 설계된 최초의 CAT 프레임워크입니다.
• GIRT 모델: 잠재 지식 표현과 LLM 기반 코드 생성을 결합한 새로운 모델로, 생성된 응답이 추정된 학생 지식과 정렬되도록 SFT 와 DPO 로 훈련되었습니다.
• 새로운 선별 알고리즘: 개방형 응답의 맥락에서 문항의 정보성을 평가하기 위해 생성 능력을 활용하는 세 가지 고유한 알고리즘 (불확실성, 다양성, 정보) 입니다.

실험 결과
이 프레임워크는 CodeWorkout(Java 제출물) 과 ProgFeed(Python 제출물) 의 두 가지 실제 데이터셋에서 평가되었습니다.

• 성능: CodeGENCAT 은 AUC(곡선 아래 면적) 와 정확도로 측정된 학생 지식 추정에서 강력한 기준 모델 (1PL IRT, BOBCAT, NCAT, LACAT) 보다 일관되게 우수한 성과를 거두었습니다.
• 초기 단계 이득: 가장 큰 개선은 평가 초기 단계 ($t=1$부터 $t=7$까지) 에서 발생했습니다. CodeWorkout 에서 다양성 기반 선별 알고리즘은 첫 단계에서 가장 강력한 기준 모델 대비 4.32% AUC 향상을 달성했습니다.
• 알고리즘 변동성: 최적의 선별 알고리즘은 데이터셋과 평가 단계에 따라 달라졌습니다. 다양성은 CodeWorkout 의 초기 단계에서 가장 잘 수행된 반면, 정보 기반 선별은 ProgFeed 에서와 CodeWorkout 의 후기 단계에서 일관되게 우월했습니다.
• 평가 보안: CodeGENCAT 은 경쟁력 있는 평가 보안 지표 (문항 노출 및 중복률) 를 유지하여 효율성과 보안 요구 사항 간의 균형을 맞출 수 있음을 입증했습니다.
• 절대 연구: 이 연구는 DPO 정렬이 모델이 다양하고 지식에 조건부인 응답을 생성하는 데 결정적임을 확인했습니다. 더 큰 백본 모델 (3B 대 1B) 은 데이터셋에 의존적인 이점을 보였으며, 샘플링된 응답 수 ($N$) 를 10 에서 3 으로 줄이는 것은 최소한의 정확도 손실로 상당한 시간 절약을 제공했습니다.

의의 및 주장
이 논문은 CodeGENCAT 이 개방형 코드에 포함된 풍부한 정보를 활용함으로써 프로그래밍 교육의 적응형 평가에서 중요한 진전을 이루었다고 주장합니다. "학생이 실패할지 여부"에서 "학생이 어떻게 실패할지"로 초점을 이동시킴으로써, 이 프레임워크는 이진 모델이 놓치는 구체적인 오류와 오개념을 포착합니다. 저자들은 이 접근 방식이 특히 평가의 중요한 초기 단계에서 더 정확하고 효율적인 지식 추정으로 이어진다고 단언합니다. 현재 평가는 입문 컴퓨터 과학으로 제한되어 있지만, 적절한 데이터셋이 제공된다면 이 프레임워크는 이론적으로 다른 개방형 영역에도 적용 가능하다고 지적합니다. 이 작업은 학생이 생성한 콘텐츠의 뉘앙스를 배제하지 않으면서 심리 측정 모델링을 강화할 수 있는 생성형 모델의 잠재력을 강조합니다.