Measuring What Matters -- or What's Convenient?: Robustness of LLM-Based Scoring Systems to Construct-Irrelevant Factors

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 교육 평가 분야에서 자동 채점 시스템 (Automated Scoring Systems) 은 개방형 응답 및 에세이 채점에 널리 사용되며, 훈련된 인간 평가자와 동등하거나 더 나은 성능을 보입니다. 최근 대규모 언어 모델 (LLM) 을 기반으로 한 채점 시스템의 사용이 급증하고 있습니다.
• 문제: 기존 자동 채점 시스템은 종종 구성 요소와 무관한 요인 (Construct-Irrelevant Factors) 에 취약합니다. 이는 평가하려는 능력 (예: 문제 해결 능력, 협업 능력) 과 직접적인 관련이 없는 응답의 특성 (예: 텍스트 길이, 특정 구문, 오타 등) 이 점수에 과도하게 영향을 미치는 현상을 의미합니다.
  • 기존 연구 (비-LLM 기반) 에서는 문장 반복이나 텍스트 길이를 늘리는 것이 인위적으로 점수를 높이는 '적대적 공격 (Adversarial Attack)'으로 작용하는 것이 확인되었습니다.
  • LLM 기반 시스템의 경우 '할루시네이션 (Hallucination)'과 같은 기술적 한계에 대한 대중의 인식이 높아지면서, 이러한 시스템이 구성 요소와 무관한 요인에 얼마나 견고한지 (Robustness) 에 대한 재검토가 필요합니다.
• 연구 목적: 상황 판단 테스트 (SJT) 를 위한 듀얼 아키텍처 LLM 기반 채점 시스템이 의미 없는 텍스트 추가, 작문 정교함 (Spelling errors, writing sophistication), 그리고 주제 이탈 (Off-topic) 과 같은 요인에 어떻게 반응하는지 조사하여 시스템의 견고성을 평가하는 것입니다.

2. 연구 방법론 (Methodology)

• 데이터 소스:
  • 평가 도구: 30 개의 개방형 문항으로 구성된 상황 판단 테스트 (SJT). 개인 및 전문적 기술 (내적 역량, 대인관계, 사회적/윤리적 책임, 비판적 사고) 을 평가합니다.
  • 데이터셋: 910 명의 학생 (6 개 학교) 의 26,571 개 응답을 기반으로 훈련된 인간 평가자 (1-5 리커트 척도) 의 점수를 기준으로 자동 채점 시스템을 개발했습니다.
  • 실험용 샘플: API 비용 절감을 위해 318 명의 학생 545 개 응답을 계층적 표본 추출 (Stratified Sampling) 하여 선정했습니다.
• 자동 채점 시스템 아키텍처:
  • 듀얼 아키텍처: LLM 을 '판사 (Judge)'로 활용하여 특징 (Feature) 을 추출하고, 이를 기반으로 회귀 알고리즘 (Regression) 을 적용하여 점수를 산출합니다.
  • 설계 목표: 언어 능력이나 작문 기술이 아닌, 평가하려는 핵심 역량 (협업, 문제 해결 등) 에 집중하도록 설계되었습니다.
• 실험 설계 (3 가지 시나리오):
  1. 의미 없는 텍스트 추가 (Meaningless Text):
     • 원본 응답 복사 (길이 인플레이션), 역량 명시 문장 추가, 시나리오 재진술, 공식적인 문구 (Formulaic phrases) 추가.
  2. 작문 정교함 변형 (Writing Sophistication):
     • 맞춤법 오류: 5%~50% 의 고정 확률로 무작위 문자 편집 (치환, 삭제, 삽입) 을 가하여 worst-case 시나리오 구현.
     • 읽기 수준 (Reading Level): GPT-5 mini 를 사용하여 원본 의미는 유지하되 문장 구조와 어휘를 단순화하거나 복잡하게 변경 (Flesch-Kincaid Grade Level 조절).
  3. 주제 이탈 응답 (Off-Topic Responses):
     • 원본 응답을 다른 문항 (동일 역량 또는 다른 역량) 과 무작위로 매칭하여 시스템이 주제 불일치를 얼마나 감지하고 패널티를 주는지 확인.

3. 주요 결과 (Key Results)

3.1 의미 없는 텍스트 (Meaningless Text)

• 텍스트 반복 (Duplication): 원본 응답을 복사하여 길이를 늘리는 경우, 점수가 평균적으로 감소했습니다 (Cohen's d = -0.24). 이는 기존 비-LLM 기반 시스템 (반복 시 점수 상승) 과 정반대의 결과로, LLM 이 텍스트 양보다 내용을 더 중요하게 평가함을 시사합니다.
• 무의미한 문장 추가: 역량 명시나 시나리오 재진술을 추가하여 길이를 늘려도 점수 변화는 미미했습니다 (|d| ≤ 0.01).
• 공식적 문구: "존중하고 비대립적인 방식으로 접근하겠다"와 같은 암기된 문구를 추가한 경우 점수가 소폭 상승했으나 (d = 0.16), 그 영향력은 매우 작았습니다.

3.2 작문 정교함 (Writing Sophistication)

• 맞춤법 오류 (Spelling Errors):
  • 문자 오류율 (CER) 이 30% 이하일 때까지 점수 영향은 미미하거나 무시할 수 있었습니다.
  • CER 35% 이상에서 점수 하락이 관찰되기 시작했고, 40% 이상에서는 텍스트가 무작위 문자열로 인식되어 점수가 급격히 떨어졌습니다.
  • 의미: 인간의 가독성이 떨어질 정도로 심각한 오류가 발생하지 않는 한, LLM 기반 시스템은 오타에 매우 강건합니다.
• 읽기 수준 및 문장 구조 (Reading Level):
  • 문장 길이, 단어 복잡도, 어휘 수준을 크게 변경 (Flesch-Kincaid Grade Level 변화) 하여도 예측 점수에 유의미한 차이가 발생하지 않았습니다.
  • 단순하고 짧은 문장을 사용한 응답과 복잡하고 정교한 문장을 사용한 응답이 유사한 점수를 받았습니다. 이는 시스템이 작문 기술이 아닌 내용의 질을 평가하고 있음을 강력히 시사합니다.

3.3 주제 이탈 (Off-Topic Responses)

• 강력한 패널티: 질문과 무관한 응답 (주제 이탈) 은 시스템에 의해 적절히 감지되어 대폭적인 점수 감점을 받았습니다.
  • 다른 역량 문항과 매칭된 경우 평균 점수 1.69 (기저선 3.11 대비, d = -1.33).
  • 동일한 역량 문항과 매칭된 경우 평균 점수 2.38 (d = -0.62).
• 최저 점수 빈도: 주제 이탈 응답의 경우 시스템이 가능한 최저 점수 (1.0) 를 부여하는 빈도가 현저히 증가했습니다 (기저선 3.7% → 다른 역량 매칭 시 35.0%).
• 역량 구분 능력: 시스템은 문항별로 평가해야 할 역량이 다르다는 것을 인지하고, 특정 문항에 적합한 특징을 가진 응답에만 높은 점수를 부여하는 것으로 확인되었습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. LLM 기반 채점 시스템의 견고성 입증: 기존 비-LLM 시스템의 취약점이었던 '텍스트 길이 인플레이션'에 대해 LLM 기반 시스템은 오히려 부정적인 영향을 미쳐 견고함을 보였습니다. 이는 LLM 이 텍스트 양보다 의미적 내용을 더 잘 이해함을 의미합니다.
2. 구성 요소와 무관한 요인 제거: SJT 와 같은 복잡한 역량 평가에서 작문 기술 (맞춤법, 문장 구조, 어휘 수준) 이 점수에 영향을 주지 않는다는 것을 확인했습니다. 이는 언어 능력 평가가 아닌 역량 평가를 위한 자동 채점 시스템의 이상적인 상태를 보여줍니다.
3. 적대적 조건에 대한 대응: 주제 이탈이나 무의미한 텍스트 채우기 (Padding) 에 대해 시스템이 효과적으로 패널티를 부과하여, 시험의 공정성과 신뢰성을 높일 수 있음을 증명했습니다.
4. 미래 시스템 설계 방향 제시: LLM 을 '특징 추출기'로 활용하고 전통적인 회귀 모델을 결합하는 듀얼 아키텍처가 구성 요소 관련성 (Construct Relevance) 을 유지하는 데 효과적임을 시사합니다.

5. 결론 및 한계 (Conclusion & Limitations)

• 결론: 본 연구에서 조사된 LLM 기반 자동 채점 시스템은 의미 없는 텍스트, 맞춤법 오류, 작문 정교함 등 구성 요소와 무관한 요인에 대해 매우 견고하며, 주제 이탈에는 강력하게 반응합니다. 이는 미래의 자동 채점 시스템이 인간 평가자의 편향을 줄이고 평가의 타당성을 높이는 데 유망한 기술임을 보여줍니다.
• 한계 및 향후 과제:
  • 단일 LLM 기반 시스템 (GPT-5.X 사용) 과 단일 평가 도구 (SJT) 에만 국한됨. 더 다양한 모델과 아키텍처로 연구 확장 필요.
  • 공식적인 문구 (Formulaic phrases) 의 영향이 작았으나, 더 광범위하게 연구 필요.
  • 시스템이 주제 이탈을 감지하더라도 모든 경우에 최저 점수를 부여하지는 않았으므로, '비정상 응답'을 식별하고 플래그하는 추가 메커니즘 개발 필요.

이 논문은 AI 기반 교육 평가의 신뢰성을 높이기 위해, 시스템이 무엇을 측정해야 하는지 (역량) 와 무엇을 측정하지 말아야 하는지 (형식적 요소) 를 명확히 구분하는 설계의 중요성을 강조합니다.