AI-based scoring systematically underestimates conceptual understanding of linguistically weak students' explanations in physics

기술적 요약: AI 기반 채점과 물리 설명에서의 언어적 편향

문제 제기
물리 교육에서 텍스트 기반 설명은 학생의 개념적 이해를 추론하기 위한 일차적인 근거 역할을 한다. 그러나 개념적 이해는 언어를 통해 전달되기 때문에, 평가자는 개념의 질(quality of the underlying concept)과 설명의 언어적 질(lexical and syntactic sophistication, 어휘 및 구문적 정교함)을 구분해야 하는 근본적인 과제에 직면한다. 선행 연구에 따르면 인간 물리 교사들은 '언어 편향(language bias)'을 보여, 언어 숙련도가 낮은 학생들의 개념적 이해도를 체계적으로 과소평가하는 경향이 있다. AI 기반 채점 방식(전통적인 머신러닝과 대규모 언어 모델 모두 포함)이 평가를 보조하거나 자동화하기 위해 점점 더 많이 도입됨에 따라, 이러한 시스템이 이 편향을 재현하는지에 대한 이해에 중요한 공백이 존재한다. 구체적으로, AI가 표현된 언어적 형태와 독립적으로 개념적 이해를 추론할 수 있는지, 아니면 언어적 질이 AI 생성 점수를 체계적으로 왜곡하는지는 아직 밝혀지지 않았다.

연구 방법론
본 연구는 소리의 전달에 관한 개방형 "우주 유영 과제(spacewalk task)"에 대응하여 독일의 9학년 학생들이 작성한 116개의 실제 텍스트 기반 설명 코퍼스를 활용하였다. 이 데이터셋은 개념적 이해와 언어적 질 모두에서 자연스러운 변이를 갖도록 선택되었다.

1. 전문가 참조 표준: 두 명의 독립적인 전문가가 별도의 검증된 루브릭을 사용하여 두 가지 독립적인 차원을 채점하였다.

   • 개념적 이해: 설명의 내부적 일관성과 외부적 과학적 일관성으로 조작적 정의하였다 (점수 0–2).
   • 언어적 질: 철자/구두점 오류를 제외한 어휘적 정밀도와 구문적 일관성으로 조작적 정의하였다 (서수 점수 0–4).
   • 이 점수들은 참조 표준이 두 구성 개념을 혼동하지 않도록 독립적으로 생성되었다.

2. AI 채점 접근 방식: 본 연구는 11가지의 서로 다른 AI 기반 채점 파이프라인을 평가하였다.

   • 머신러닝(ML) 접근 방식: 세 가지 텍text-embedding 모델(단일 언어 독일어, 다국어, 과학 교육 특화 독일어)과 세 가지 지도 학습 분류기(이차 판별 분석, 정규화된 다항 로지스틱 회귀, 관련 벡터 머신)를 결합한 완전 교차 $3 \times 3$ 설계를 사용하였다. 이 모델들은 10-겹 층화 교차 검증을 통해 전문가 점수로 학습되었다.
   • 대규모 언어 모델(LLM) 접근 방식: GPT-4.1과 GPT-5-mini 두 모델을 사용하여, 미세 조정(fine-tuning) 없이 전문가 채점 체계를 프롬프트로 제공하여 원문 텍스트에 직접 점수를 부여하도록 하였다. 확률적 변동성을 고려하여, 각 모델당 텍스트당 10회씩 반복 채점하였다.

3. 통계 분석:

   • AI 생성 점수를 전문가 점수와 비교하여 결과를 일치(agreement), *과소평가(underestimation, AI 점수 < 전문가 점수)*, 또는 *과대평가(overestimation, AI 점수 > 전문가 점수)*로 분류하였다.
   • 다항 로직 회귀를 사용하여, 언어와 개념 사이의 상관관계를 통제하면서 전문가가 평가한 언어적 질(독립 변수)의 함수로서 과소평가 또는 과대평가의 확률을 모델링하였다. 이 통제는 언어의 직접적인 효과를 격리하기 위해 필수적이었다(전문가가 평가한 개념적 이해를 공변량으로 설정).

주요 결과

• 전반적 일치도: AI 기반 접근 방식은 전문가 점수와 67.2%에서 78.4% 사이의 보통에서 양호한 수준의 일치도를 보였다.
• 체계적 과소평가: 모든 11가지 AI 접근 방식에서 일관된 언어 편향이 관찰되었다. 언어적 질이 낮은 설명은 체계적으로 과소평가될 가능성이 더 높았다. 언어적 질이 1단위 감소할 때마다 과소평가될 확률(odds)이 1.3배에서 3.9배까지 높아졌다. 이러한 패턴은 ML 기반 시스템과 LLM 기반 시스템 모두에서 나타났다.
• 편향의 비대칭성: 과소평가와 달리, 높은 언어적 질이 과대평가와 체계적인 연관성을 보이지는 않았다. 과학 교육 특화 임베딩 모델을 사용한 두 가지 ML 기반 접근 방식은 높은 언어적 질과 과대평가 사이의 양의 상관관계를 보여주었으나, 나머지 대부분의 접근 방식(11개 중 9개)은 높은 언어적 질과 과대평가 사이의 유의미한 연관성을 보이지 않았다.
• 아키텍처 간 일관성: 편향의 방향(언어적으로 취약한 텍스트의 과소평가)은 기초 기술(전통적 ML vs. LLM)이나 사용된 특정 임베딩 모델에 관계없이 놀라울 정도로 일관되게 유지되었다.

의의 및 주장
본 논문은 관찰된 언어 편향이 단순히 특정 알고리즘이나 모델 아키텍처의 결함이 아니라, 텍스트 기반 설명을 통해 개념적 이해를 추론하는 과제 자체에 내재된 것이라고 주장한다. 이러한 결과는 AI가 인간 전문가와 일치하더라도, 구성 타당성과 무관한 특징(언어적 질)에 따라 체계적으로 편향될 수 있음을 시사한다.

본 연구는 다음을 강조한다:

1. 타당성 문제: 표준 평가 지표(예: 인간 전문가와의 일치율)는 이러한 편향을 감지하기에 불충리하다. AI는 인간 전문가와 일치할 수 있지만, 두 주체 모두 구성 타당성과 무관한 특징(언의적 질)에 의해 체계적으로 편향될 수 있다.
2. 형평성 문제: 이 편향의 위험은 다국어 학습자와 국제 학생들에게 가장 높다. 이들의 낮은 언어 숙련도가 약한 개념적 이해로 오해받을 수 있으며, 이는 AI가 고부담 총괄 평가(high-stakes summative assessment)로 나아감에 따라 불공정한 교육적 결정으로 이어질 수 있다.
3. 인간-AI 협업: 인간 참여형(human-in-the-loop) 전략이 제안되었으나, AI 편향과 인간 교사의 편향이 유사하다는 점은 인간 평가자 또한 AI의 오류를 교정하지 못할 수 있음을 시사한다. 두 주체 모두 동일한 언어적 단서에 의해 오도될 수 있기 때문이다. 본 논문은 향-후 연구가 실제 개념적 증거에는 민감하면서도 언어적 가변성에는 강건한(robust) 채점 방식을 개발하는 데 집중해야 한다고 제언한다.

저자들은 AI가 확장성과 효율성을 제공하지만, 다양한 AI 모델 전반에서 언어 편향이 지속된다는 점은 자동화된 물리 평가에서 언어적 형식과 개념적 내용의 분리가 근본적인 과제임을 나타낸다고 겸허히 결론짓는다.