Interpretability from the Ground Up: Stakeholder-Centric Design of Automated Scoring in Educational Assessments

1. 문제 제기 (Problem)

• 배경: AI 기반 자동 채점 시스템은 복잡한 서술형 응답을 확장 가능하고 효율적으로 평가할 수 있지만, 오류, 편향, 공정성 문제에 취약합니다.
• 현황: 해석 가능한 AI (XAI) 에 대한 연구는 증가하고 있으나, 실제 대규모 교육 평가 현장에서는 널리 채택되지 못하고 있습니다. 기존 연구들은 종종 기술적 해석 가능성에만 초점을 맞추어, 실제 평가 과정에 관여하는 인간 행위자 (수험생, 교사, 정책 입안자 등) 의 구체적인 해석 필요성을 충족시키지 못합니다.
• 핵심 문제: 자동 채점의 결정이 신뢰할 수 있고, 공정하며, 정당화될 수 있도록 하기 위해서는 단순한 예측 성능 향상을 넘어 투명하고 해석 가능한 시스템이 필수적이지만, 이를 위한 표준화된 프레임워크가 부재합니다.

2. 방법론 (Methodology)

A. FGTI 해석 가능성 원칙 (The FGTI Principles)

저자들은 다양한 이해관계자의 요구를 분석하여 자동 채점 모델의 해석 가능성을 위한 4 가지 핵심 원칙을 정의했습니다.

1. Faithful (충실성): 설명이 채점 모델의 실제 계산 메커니즘을 정확하게 반영해야 합니다. (예: LLM 의 프롬프트 기반 '생각의 사슬'은 내부 계산 과정을 반영하지 못하므로 부적합함)
2. Grounded (근거성): 모델이 사용하는 초기 특징 (features) 은 학생의 작업과 과제의 명시적이고 인간이 이해할 수 있는 요소로 직접 연결되어야 합니다. (예: 임베딩 코사인 유사도보다는 구체적인 문장 요소의 유무)
3. Traceable (추적 가능성): 채점 모델은 명확한 입력에 대해 정의된 증거 추론 단계를 수행하는 하위 루틴 (subroutines) 으로 구성되어야 하며, 인간이 그 과정을 추적할 수 있어야 합니다.
4. Interchangeable (대체 가능성): 인간은 각 추론 하위 루틴에 개입하여, 필요시 모델의 출력을 인간이 생성한 결과로 대체할 수 있어야 합니다.

B. ANALYTICSCORE 프레임워크

위 원칙들을 구현하기 위해 제안된 3 단계 모듈형 프레임워크입니다.

• Phase 1: 분석 구성 요소 추출 (Extracting Analytic Components):
  • 학생 응답 텍스트에서 명시적으로 식별 가능한 요소 (예: 명제, 개념) 를 추출합니다.
  • LLM 을 사용하여 후보 구성 요소를 생성하고, 평가 개발자가 이를 검토하여 최종 15 개 이내로 제한합니다.
• Phase 2: 응답 특성화 (Featurizing Responses):
  • 추출된 구성 요소가 각 학생 응답에 존재하는지 여부를 인간이 이해할 수 있는 레이블 (0: 없음, 1: 부분적, 2: 직접적) 로 변환합니다.
  • 이 과정은 LLM 을 활용하되, 비용 효율성을 위해 오픈소스 모델 (Llama-3.1-8B) 을 정밀 미세 조정 (Fine-tuning) 하여蒸馏 (Distillation) 합니다.
• Phase 3: 논리적 추적 가능 채점 (Logically Traceable Scoring):
  • 특성화된 데이터를 기반으로 순서형 로지스틱 회귀 (Ordinal Logistic Regression) 모델을 학습시켜 최종 점수를 도출합니다.
  • 이 모델은 각 구성 요소의 가중치 합 ($\eta$) 을 계산하고, 학습된 임계값 ($\theta$) 과 비교하여 점수를 결정합니다. 이 과정은 인간이 직접 재현하거나 수정할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. FGTI 원칙 제안: 대규모 교육 평가의 이해관계자 요구를 반영한 4 가지 해석 가능성 원칙을 체계화했습니다.
2. ANALYTICSCORE 프레임워크 개발: 위 원칙을 구현한 최초의 해석 가능 자동 채점 프레임워크를 제시했습니다. 이는 'Concept Bottleneck Models'의 교육 평가 버전으로 볼 수 있습니다.
3. 성능과 해석 가능성의 균형: 해석 가능성을 희생하지 않으면서도 기존 블랙박스 모델에 버금가는 채점 정확도를 달성함을 증명했습니다.
4. 인간-모델 정렬 분석: 모델의 특성화 (Featurization) 행동이 인간 판정자와 얼마나 일치하는지를 실증적으로 분석했습니다.

4. 실험 결과 (Results)

• 데이터셋: ASAP-SAS (미국 학교 학생들의 10 가지 서술형 문제, 과학/독해 영역)
• 채점 정확도 (Scoring Accuracy):
  • QWK (Quadratic Weighted Kappa) 지표를 사용했습니다.
  • ANALYTICSCORE 는 많은 해석 불가능한 (uninterpretable) 자동 채점 방법들보다 평균적으로 우수한 성능을 보였습니다.
  • SOTA(최고 성능) 블랙박스 모델 대비: 10 개 항목 평균 0.06 QWK 이내의 오차 범위를 보였습니다. (과학 영역 0.04, 독해 영역 0.08~0.09 차이)
  • 특히, 증류된 Llama 기반 특성화기를 사용한 모델은 Few-shot 프롬프팅이나 기존 자동 채점 베이스라인보다 통계적으로 유의미하게 높은 성능을 기록했습니다.
• 특성화 정렬 (Featurization Alignment):
  • 인간 판정자와 모델 간의 특성화 일치도를 측정했습니다.
  • Human-Human 일치도: Krippendorff's $\alpha$ 가 0.67~0.72 수준으로, 인간 간에도 일관된 판단이 가능함을 보였습니다.
  • Model-Human 일치도: 증류된 Llama 모델은 모든 영역에서 인간 판정자와 높은 일치도 (QWK 0.72~0.90) 를 보였습니다. 특히 '없음 (0)'과 '완전 포함 (2)' 레이블에 대한 일치도가 높았으나, '부분 포함 (1)' 레이블은 모호성으로 인해 일치도가 다소 낮았습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 자동 채점을 단순한 '예측 작업'이 아닌, 평가 설계부터 채점, 개선까지 이어지는 이해관계자 중심의 평가 생태계 내의 일부로 재정의했습니다.
• 실용성: 해석 가능성 원칙 (FGTI) 을 준수하면서도 실제 적용 가능한 수준의 정확도를 달성함으로써, 대규모 교육 평가 현장에 해석 가능한 AI 를 도입할 수 있는 길을 열었습니다.
• 신뢰성 확보: 수험생, 교사, 정책 입안자가 채점 결정의 근거를 명확히 이해하고 검증할 수 있게 함으로써, 자동 채점 시스템에 대한 신뢰와 공정성을 높일 수 있습니다.
• 향후 과제: 복잡한 논리 구조를 더 잘 포착하기 위한 모듈 개선, 다양한 평가 도메인으로의 확장, 그리고 실제 현장에서의 검증 (Field Study) 이 필요함을 지적했습니다.

요약하자면, 이 논문은 **"해석 가능성과 정확성을 동시에 잡을 수 있는 원칙 기반 프레임워크 (ANALYTICSCORE)"**를 제안하고, 이를 통해 교육 평가의 투명성과 신뢰성을 획기적으로 개선할 수 있음을 실증적으로 증명했습니다.