Implicit Grading Bias in Large Language Models: How Writing Style Affects Automated Assessment Across Math, Programming, and Essay Tasks

본 연구는 수학 및 프로그래밍 과목에서는 편향이 미미했으나 에세이 과목에서는 문법 오류, 비격식적 표현, 비모국어적 문구 등 작성 스타일에 따라 콘텐츠의 정확성과 무관하게 대규모 언어 모델 (LLM) 이 심각한 채점 편향을 보인다는 사실을 규명했습니다.

핵심

이 논문은 **"인공지능 (AI) 이 학생의 글을 채점할 때, 내용이 똑같아도 글씨체나 말투가 다르면 불공정하게 점수를 깎아주는가?"**라는 질문을 던집니다.

결론부터 말씀드리면, "네, 그렇습니다. 특히 에세이나 글쓰기 과제에서는 AI 가 매우 편파적으로 행동합니다."

이 복잡한 연구를 일상적인 비유와 쉬운 한국어로 설명해 드리겠습니다.

---

🍎 핵심 비유: "맛있는 사과 vs. 껍질이 벗겨진 사과"

상상해 보세요. 두 개의 사과가 있습니다.

1. 사과 A: 껍질이 매끄럽고, 빨갛고, 아주 예쁘게 다듬어진 사과입니다.
2. 사과 B: 껍질이 약간 벗겨져 있고, 모양이 조금 투박하지만, 안쪽의 과육과 맛은 사과 A 와 100% 똑같은 사과입니다.

이제 AI 채점관 (LLaMA, Qwen 같은 거대 언어 모델) 이 이 두 사과를 평가하라고 합니다. AI 는 "맛만 보고 점수를 매겨라. 껍질이나 모양은 무시해라"라는 지시를 받습니다.

하지만 결과는 어떨까요?

• 수학이나 프로그래밍 문제 (정답이 명확한 경우): AI 는 "아, 이 사과도 저 사과도 맛은 똑같구나!"라고 생각하며 똑같은 점수를 줍니다.
• 에세이나 글쓰기 문제 (정답이 주관적인 경우): AI 는 "저 사과는 껍질이 투박하고 말투가 너무 구어체 (반말) 라서... 아마 내용도 덜 깊겠지?"라고 무의식적으로 착각합니다. 그래서 맛은 같은데 껍질이 투박한 사과 B 에게는 점수를 깎아줍니다.

이 논문은 바로 이 **"무의식적인 편견"**을 과학적으로 증명했습니다.

---

🔍 연구가 무엇을 했나요?

연구진은 180 개의 학생 답안을 만들어 AI 에게 채점하게 했습니다. 내용은 모두 정답이었지만, 글쓰기 스타일만 세 가지로 바꿔보았습니다.

1. 문법 실수: 철자나 문법이 조금 틀린 경우 (예: "I go to school yesterday" → "I went to school yesterday" 대신 "I go to school yesterday"라고 씀).
2. 비격식적인 말투: 친구에게 말하듯 편하게 쓴 경우 (예: "너 5 빼고 2 로 나누면 4 가 돼"라고 씀).
3. 외국인 특유의 표현: 영어를 모국어로 하지 않는 사람이 쓰는 독특한 문장 구조 (예: "우리는 양쪽에서 5 를 빼면 2x 가 8 이 됨").

그리고 AI 에게 **"내용만 보고 점수 줘. 글쓰기 스타일은 무시해"**라고 아주 명확하게 지시했습니다.

---

📊 결과는 어땠나요? (놀라운 발견)

1. "과목에 따라 편견이 다르다" (가장 중요한 발견)

• 수학 & 프로그래밍: AI 는 거의 편견이 없었습니다. 정답이 명확하니까 "정답이다"라고만 보고, 글씨체가 어떻든 상관없었습니다.
• 에세이 & 글쓰기: 여기서 대폭발이 일어났습니다. AI 는 내용이 완벽해도, 글쓰기 스타일이 조금만 어색하면 점수를 확 깎았습니다.

2. "가장 큰 벌점은 '비격식적인 말투'였다"

AI 는 특히 친구처럼 편하게 쓴 말투 (Informal Language) 를 가장 싫어했습니다.

• LLaMA라는 AI 는 비격식적인 글을 썼을 때 평균 1.9 점을 깎았습니다. (10 점 만점 기준)
• Qwen이라는 AI 도 1.2 점을 깎았습니다.
• 비유하자면: 두 학생의 지능과 지식은 똑같은데, 한 학생은 "교수님, 이 문제는 이렇게 풀립니다"라고 정중하게 썼고, 다른 학생은 "야, 이거 이렇게 하면 돼"라고 썼을 때, AI 는 후자를 B+ 에서 C+ 로 떨어뜨리는 엄청난 차이를 만들었습니다.

3. "명령을 들어도 안 들었어요"

연구진은 AI 에게 "절대로 글씨체 때문에 점수 깎지 마!"라고 명령을 내렸습니다. 하지만 AI 는 그 명령을 무시하고 여전히 편견을 보였습니다.

• 비유: AI 는 마치 "이 아이는 옷차림이 촌스러우니까 머리가 나쁘겠지"라고 생각하는 선입견이 뇌 (데이터) 에 너무 깊게 박혀 있어서, "아니야, 옷차림과 머리는 상관없어!"라고 외쳐도 그 선입견을 지울 수 없는 상태였습니다.

---

💡 왜 이런 일이 일어날까요?

AI 는 인터넷에 있는 수많은 책, 뉴스, 논문 같은 격식 있고 딱딱한 글로 배웠습니다.

• AI 의 생각: "격식 있는 글 = 좋은 글 = 지적인 사람"
• AI 의 생각: "편하게 쓴 글 = 나쁜 글 = 지식이 부족한 사람"

이런 선입견이 AI 의 뇌에 깊이 박혀 있어서, 학생이 "지식은 있는데 표현이 투박한" 경우를 보면 AI 는 그 학생의 지식을 제대로 보지 못하고, 오히려 "표현이 투박하니까 지식이 부족하겠지"라고 착각하는 것입니다.

⚠️ 이것이 왜 문제일까요?

이건 단순히 점수 문제가 아닙니다.

• 공정성 문제: 영어를 모국어로 하지 않는 학생, 혹은 학교 교육보다 실생활에서 언어를 배운 학생들은 AI 에게 불이익을 받습니다.
• 기회 박탈: 이 점수가 장학금이나 진급에 영향을 준다면, 똑똑한 학생이 단순히 '글쓰기 스타일' 때문에 기회를 잃게 됩니다.

🛠️ 연구진이 제안하는 해결책

1. AI 도입 전 '편견 테스트' 필수: 학교나 기관이 AI 채점 시스템을 도입하기 전에, "내용은 같은데 글쓰기 스타일만 다른지"로 테스트해봐야 합니다.
2. 주관적 과제는 사람이 채점: 에세이나 논술처럼 정답이 명확하지 않은 과제는 AI 가 아닌 사람이 채점해야 합니다.
3. AI 교육 개선: AI 가 다양한 스타일의 글을 학습하도록 다시 훈련시켜야 합니다.

📝 한 줄 요약

"AI 는 수학 문제에서는 공정한 심판이지만, 글쓰기 과제에서는 '글씨체'와 '말투'를 보고 학생의 지능을 판단하는 편견 있는 심판입니다. 우리는 AI 가 모든 학생에게 공평하게 대우받도록 시스템을 다시 설계해야 합니다."

기술 요약

논문 개요

본 연구는 대규모 언어 모델 (LLM) 이 교육 평가 도구로 활용될 때, 내용의 정확성은 동일하지만 작성 스타일 (문법 오류, 비공식적 언어, 비모국어 표현 등) 만이 다를 경우 편향된 채점을 하는지를 규명하는 것을 목적으로 합니다. 연구팀은 수학, 프로그래밍, 에세이/작문 세 가지 과목에서 LLM 의 편향성을 정량적으로 분석하고, 명시적인 지시에도 불구하고 편향이 어떻게 유지되는지 입증했습니다.

1. 문제 제기 (Problem Statement)

• 자동 채점의 공정성 문제: LLM 이 교육 현장에 도입되면서, 학생의 언어적 배경이나 문화적 맥락과 무관하게 공정한 평가를 할 것이라는 가정이 검증되지 않은 채 받아들여지고 있습니다.
• 표면적 변이의 영향: 비모국어 화자, 비공식적 교육 배경을 가진 학생, 또는 구어체 표현을 사용하는 학생들은 개념적으로 정답일지라도 '표면적'인 언어적 특징 (문법, 어조, 비표준 영어) 으로 인해 LLM 에 의해 불이익을 받을 수 있습니다.
• 지시어의 한계: 채점 프롬프트에 "문법이나 스타일을 고려하지 마라"는 명시적 지시를 포함하더라도, 모델이 실제로 이를 준수하는지 여부는 불확실합니다.

2. 연구 방법론 (Methodology)

2.1 데이터셋 구성

• 구조: 3 가지 과목 (수학, 프로그래밍, 에세이/작문) × 3 가지 변형 유형 × 20 개의 질문 = 총 180 개의 응답 데이터.
• 변형 유형 (Perturbation Types):
  1. 문법 오류 (Grammar Errors): 철자, 문장 부호, 문법적 불일치 도입.
  2. 비공식적 언어 (Informal Language): 구어체, 속어, 약어 사용 (예: "u gotta", "boom").
  3. 비모국어 표현 (Non-native Phrasing): 비모국어 화자 특유의 어순, 전치사 오용, 직역 어조.
• 기준점: 모든 변형된 답변은 내용적 정확성을 유지하며, 인간 채점자가 1~10 점 척도로 기준 점수 (Ground Truth) 를 부여했습니다 (수학 평균 9.0, 프로그래밍 8.75, 에세이 8.45).

2.2 평가 모델

• LLaMA 3.3 70B (Meta): 영어 중심의 웹 코퍼스로 학습된 모델.
• Qwen 2.5 72B (Alibaba): 다국어 코퍼스를 포함하여 학습된 모델.
• 설계 의도: 파라미터 크기는 유사하지만 학습 데이터 분포와 조직적 기원이 다른 두 모델을 비교하여 편향이 모델 특이적인지 시스템적인지 확인.

2.3 채점 프로토콜

• 프롬프트: 각 모델에게 동일한 채점 기준 (Rubric) 과 "문법, 스타일, 비공식적 언어를 감점하지 말라"는 명시적 지시를 포함했습니다.
• 실험 조건: 기준 답변과 3 가지 변형 답변을 모두 채점하게 하여 점수 차이 ($\Delta$) 를 계산했습니다.
• 통계 분석: 평균 점수 차이, t-검정 (p < 0.05), 효과 크기 (Cohen's d), 인간 점수와의 상관관계 등을 분석했습니다.

3. 주요 기여 (Key Contributions)

1. 통제된 변형 프레임워크: 내용 정확성을 고정하고 스타일 변수만 조작하여 표면적 편향을 직접 측정할 수 있는 실험 설계 제시.
2. 과목별 편향성 차이 규명: 객관적 평가 (수학, 프로그래밍) 와 주관적 평가 (에세이) 간의 편향 정도가 극명하게 다르다는 발견.
3. 프롬프트 기반 편향 완화의 실패: 명시적인 지시 (Anti-bias instructions) 가 편향을 제거하지 못함을 입증하여, 프롬프트 엔지니어링만으로는 고위험 교육 응용에서의 편향을 해결할 수 없음을 시사.

4. 연구 결과 (Results)

4.1 과목별 편향성 (Subject-Dependent Bias)

• 에세이/작문 (Essay/Writing): 두 모델 모두 모든 변형 유형에서 통계적으로 유의미한 편향을 보였습니다.
  • 비공식적 언어가 가장 큰 감점을 받았습니다 (LLaMA: 평균 -1.90 점, Qwen: -1.20 점). 이는 10 점 만점에서 B+ 와 C+ 사이의 격차에 해당합니다.
  • 효과 크기 (Cohen's d) 가 매우 컸으며 (최대 4.25), 이는 행동 연구에서 드물게 관찰되는 큰 효과입니다.
• 수학 및 프로그래밍: 객관적 정답이 명확한 과목에서는 편향이 거의 없거나 통계적으로 유의미하지 않았습니다.
  • 프로그래밍은 거의 0 점의 편향을 보였으며, 수학은 비공식적 언어에서 미미한 편향만 관찰되었습니다.
• 결론: "주관성 기울기 (Subjectivity Gradient)"가 존재하며, 평가가 주관적일수록 편향이 심화됩니다.

4.2 모델 간 비교

• LLaMA 3.3: 편향의 **크기 (Magnitude)**가 더 컸습니다 (최대 감점 1.90 점).
• Qwen 2.5: 편향이 더 광범위하게 발생했으나 (유의미한 조건 비율 44.4%), 감점 크기는 상대적으로 작았습니다.
• 공통점: 두 모델 모두 '에세이 > 수학 > 프로그래밍' 순서로 편향이 증가하고, '비공식적 언어 > 비모국어 표현 > 문법 오류' 순서로 감점이 심화되는 동일한 패턴을 보였습니다.

4.3 프롬프트 지시의 무력화

• "문법과 스타일을 무시하라"는 명시적 지시에도 불구하고, 모델들은 학습된 데이터의 편향을 유지하며 스타일적 특징을 내용 질의 대리 변수 (Proxy) 로 사용하여 감점을 반복했습니다.

4.4 인간 - LLM 일치도

• 두 모델 모두 인간 채점자와의 상관관계가 낮았습니다 (LLaMA: r=0.315, Qwen: r=0.339). 특히 수학 영역에서는 상관관계가 거의 0 에 수렴하여 모델이 정답을 식별하는 데 실패하거나 편향 없이 점수를 매기는 경향을 보였습니다.

5. 의의 및 시사점 (Significance & Implications)

• 교육적 형평성 위협: LLM 기반 자동 채점 시스템이 도입될 경우, 비모국어 화자나 비공식적 교육 배경을 가진 학생들은 지식 수준과 무관하게 낮은 점수를 받아 학업 성취도, 장학금, 진로 기회에서 불이익을 받을 수 있습니다.
• 기술적 함의:
  • 단순한 프롬프트 수정 (Instruction Tuning) 만으로는 LLM 의 내재된 편향을 해결할 수 없습니다.
  • 편향 감축을 위한 근본적 접근 (스타일 다양성이 포함된 데이터로 파인튜닝, 아키텍처 수정, 편향 보정 앙상블 등) 이 필요합니다.
• 실무적 권고:
  1. LLM 채점 시스템 도입 전 **변형 기반 편향 감사 (Bias Auditing)**를 의무화해야 합니다.
  2. 편향이 최소화된 객관적 평가 영역에 자동 채점을 제한적으로 적용해야 합니다.
  3. 주관적 평가 (에세이 등) 에는 인간 감독을 필수적으로 유지해야 합니다.

결론

본 연구는 LLM 이 교육 평가에서 내용의 정확성보다 작성 스타일에 더 민감하게 반응하여 심각한 편향을 유발할 수 있음을 실증적으로 증명했습니다. 특히 주관적 평가 영역에서 이러한 편향은 통계적으로 유의미하며, 이는 교육 기술의 민주화라는 목표와 정반대의 결과를 초래할 수 있음을 경고합니다. 따라서 기관들은 LLM 도입 전 철저한 편향 검증과 인간 중심의 감독 체계를 구축해야 합니다.