Toward LLM-Supported Automated Assessment of Critical Thinking Subskills

1. 문제 정의 (Problem Statement)

• 배경: AI 생성 콘텐츠, 허위 정보, 알고리즘적 설득이 만연한 현대 사회에서 비판적 사고 (Critical Thinking) 는 핵심 인간 역량으로 부상하고 있습니다.
• 현황: 교육 데이터 마이닝 (EDM) 커뮤니티에서는 비판적 사고의 정의, 측정, 지원에 대한 연구가 부족합니다. 기존 정의들이 모호하거나 과소화되어 있어 실제 교육 환경에서 측정 가능한 '작동화 (Operationalization)'가 어렵습니다.
• 과제: 비판적 사고는 단순한 이진법 (Binary) 이 아닌 다차원적이고 역동적인 고차원 사고 과정입니다. 이를 authentic learning activity(진정한 학습 활동, 예: 논술 에세이) 에서 즉각적이고 자동화된 방식으로 평가할 수 있는 도구의 부재가 주요 문제입니다.

2. 방법론 (Methodology)

2.1 데이터셋 및 평가 도구

• 데이터셋: PERSUADE 2.0 코퍼스 (미국 6~12 학년 학생들의 논술 에세이 4,115 편 중 일부) 를 사용했습니다.
• 평가 기준 (Rubric): 'Skills for the Future (SFF)' 이니셔티브의 비판적 사고 진전도 (Progression) 를 기반으로 3 가지 핵심 기술과 6 가지 하위 기술 (Subskills) 로 구성된 코딩 루브릭을 개발했습니다.
  • 기술: 정보 분석 (Synthesizing Sources, Evaluating Evidence), 논증 생성 (Using Counterarguments, Facts/Opinions), 논리적 추론 (Drawing Conclusions, Logical Fallacies).
  • 수준: '적용 불가 (Not Applicable)'부터 '모범 (Exemplifying)'까지 5 단계의 숙련도 수준으로 정의했습니다.
• 인간 코딩: 두 그룹의 코더 (대학원생) 가 500 편의 에세이를 코딩했습니다. Krippendorff's Alpha(≥0.6) 를 기준으로 신뢰도를 확보했습니다.

2.2 LLM 기반 평가 접근법

세 가지 주요 접근법을 세 가지 다른 대규모 언어 모델 (LLM) 에 적용하여 비교 평가했습니다.

1. 프롬프팅 (Prompting): OpenAI 의 GPT-5를 사용.
   • Zero-shot: 루브릭 정의만 제공.
   • Few-shot: 루브릭 정의와 함께 각 숙련도 수준의 예시 (in-context examples) 를 제공.
2. 파인튜닝 (Fine-tuning): 오픈소스 모델인 Llama 3.1 8B와 ModernBERT를 학습 데이터로 미세 조정.
   • 입력: 하위 기술 정의, 루브릭 설명, 에세이 텍스트.
   • 출력: 숙련도 라벨 (및 선택적으로 근거/Justification 생성).
   • 변형: 루브릭 포함/미포함, 근거 생성 포함/미포함 조건을 실험했습니다.
3. 데이터 분할 전략:
   • Essay-based split: 에세이를 학습/검증/테스트로 분할 (동일 하위 기술 학습).
   • Subskill-based split: 특정 하위 기술은 학습 없이 테스트 (새로운 하위 기술 일반화 능력 평가).

2.3 평가 지표

정확도 (Accuracy), RMSE, Macro/Weighted F1, 그리고 Krippendorff's $\alpha$(인간 코더 간 일치도 기준) 를 사용하여 모델 성능을 인간 코더의 신뢰도 기준 ($\alpha \ge 0.6$) 과 비교했습니다.

3. 주요 결과 (Key Results)

3.1 전반적 성능 비교

• 최고 성능: Llama 3.1 8B 파인튜닝이 가장 우수한 성능을 보였습니다. 특히 '루브릭 포함, 근거 미생성 (With Rubric, Without Justification)' 변형이 Krippendorff's $\alpha$에서 0.606을 기록하여 인간 코더 간 신뢰도 기준을 충족한 유일한 모델이었습니다.
• 프롬프팅 vs 파인튜닝: GPT-5 의 Few-shot 프롬프팅은 Zero-shot 보다 성능이 향상되었으나, 파인튜닝된 오픈소스 모델 (Llama) 에 비해 성능이 낮았습니다. (Llama 는 GPT-5 Few-shot 보다 $\alpha$에서 약 6% 우위).
• 모델 크기 영향: 경량 모델인 ModernBERT 는 Llama 보다 성능이 낮았으며, 특히 소수 클래스 (Minority labels) 를 처리하는 데 어려움을 겪었습니다.

3.2 하위 기술별 성능 분석

• 성공적인 영역: 'Synthesizing Multiple Sources'와 같은 하위 기술은 숙련도 수준 간의 차이가 명확하고 데이터 분포가 불균형하여 모델이 주류 클래스를 잘 예측하여 높은 정확도 (약 0.78) 와 일치도 ($\alpha \approx 0.74$) 를 보였습니다.
• 어려운 영역: 'Using Counterarguments'나 'Using Logical Fallacies'와 같이 숙련도 수준 간의 구분이 미묘하거나 데이터가 균등하게 분포된 경우, 모델의 성능이 크게 저하되었습니다. 특히 'Logical Fallacies'의 경우 $\alpha$가 0.41 로 낮아, 논리적 오류와 증거를 세밀하게 구분하는 데 한계가 있었습니다.

3.3 일반화 능력 (Generalization)

• 새로운 하위 기술 예측: 학습 데이터에 없는 새로운 하위 기술을 테스트했을 때 (Subskill-based split), 성능이 급격히 떨어졌습니다.
• 루브릭의 중요성: 새로운 하위 기술을 평가할 때 **루브릭 설명 (Rubric descriptors)**이 입력에 포함되어야만 모델이 어느 정도 의미를 파악할 수 있었습니다. 루브릭이 없으면 $\alpha$가 거의 0 에 수렴했습니다.
• 근거 생성 (Justification): 새로운 하위 기술에 대해 근거를 생성하도록 유도하는 것이 일반화 성능을 향상시키는 데 도움이 되었습니다.

3.4 오류 분석

• 모델의 오류는 주로 인접한 숙련도 수준 (예: 'Emerging'을 'Expanding'으로 오분류) 사이에서 발생했습니다. 이는 논리적 오류의 미묘한 뉘앙스를 식별하거나 증거와 오류의 균형을 판단하는 데 있어 인간 코더와 유사한 어려움을 겪고 있음을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 비판적 사고 하위 기술의 자동 평가 프레임워크 제시: 모호한 '비판적 사고' 전체를 평가하는 대신, 구체적인 하위 기술 (Subskills) 로 세분화하여 LLM 기반 평가의 가능성을 입증했습니다.
2. LLM 평가 방법론 비교: 제로샷/퓨샷 프롬프팅과 오픈소스 모델 파인튜닝을 체계적으로 비교하여, 비판적 사고 평가와 같은 복잡한 과제는 파인튜닝이 더 효과적임을 보였습니다.
3. 데이터 불균형 및 미묘한 차이의 도전 과제 규명: 클래스 불균형이 심하거나 숙련도 간 차이가 미묘한 경우 LLM 의 성능이 제한됨을 실증적으로 보여주었습니다.
4. 일반화 한계와 루브릭의 역할: 새로운 하위 기술에 대한 일반화에는 학습 데이터가 필수적이며, 루브릭 설명이 중요한 컨텍스트 역할을 함을 발견했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: LLM 을 활용하면 기존에 불가능했던 대규모 에세이 데이터에서 비판적 사고 하위 기술을 실시간으로, 비용 효율적으로 평가할 수 있는 가능성을 열었습니다. 이는 적응형 학습 시스템과 형성 평가 (Formative Assessment) 에 중요한 기여를 할 수 있습니다.
• 한계와 향후 과제: 현재 모델은 인간 코더 수준의 완전한 신뢰도를 모든 하위 기술에서 달성하지 못했습니다. 특히 논리적 오류 탐지나 미묘한 뉘앙스 구별에는 여전히 인간의 검증 (Human-in-the-loop) 이 필요합니다.
• 미래 방향: 향후 연구에서는 데이터 불균형 해결 (Synthetic oversampling 등), 메타 프롬프팅을 통한 자동 루브릭 생성, 그리고 더 다양한 LLM 과 프롬프팅 전략을 탐구하여 교육 현장에 적용 가능한 강력한 평가 도구를 개발해야 합니다.

이 논문은 교육 데이터 마이닝 분야에서 비판적 사고와 같은 고차원 사고 기술을 측정하기 위한 초기 단계의 중요한 실증 연구로서, AI 기반 평가 도구의 잠재력과 한계를 명확히 제시합니다.