From Prompting to Preference Optimization: A Comparative Study of LLM-based Automated Essay Scoring

본 논문은 영어 제 2 언어 작문 자동 채점 (AES) 을 위해 프롬프팅, 파인튜닝, RAG, 선호도 최적화 등 주요 LLM 기반 접근법들을 통합 벤치마크에서 비교 분석하여, k-SFT 와 RAG 를 결합한 구성이 93% 의 F1 점수로 가장 우수한 성능을 보임을 입증했습니다.

핵심

이 논문은 **"에세이 채점 로봇이 어떻게 더 똑똑해졌는가?"**에 대한 이야기입니다.

과거에는 컴퓨터가 학생의 영어 에세이를 채점할 때, 단순히 문법 오류 개수나 글자 수 같은 '표면적인 지표'만 봤습니다. 하지만 최근 등장한 **거대 언어 모델 (LLM, 예: GPT-4 등)**은 인간처럼 글을 읽고 맥락을 이해할 수 있게 되었습니다.

이 연구는 **"어떤 방식으로 이 똑똑한 AI 를 채점관으로 훈련시키는 것이 가장 좋은가?"**를 비교 실험한 결과입니다. 마치 새로운 요리사를 훈련시키는 네 가지 방법을 비교해 본 것과 같습니다.

---

🍳 4 가지 훈련 방법 (비유로 설명)

연구진은 IELTS(영어 시험) 에세이 채점을 위해 4 가지 다른 훈련 방식을 시도했습니다.

1. 전통적인 분류기 (Discrimative Fine-tuning)

• 비유: "오직 점수만 외우는 기계"
• 설명: AI 에게 수천 개의 에세이와 정답 점수를 보여주고, "이건 6 점, 저건 7 점"이라고 강제로 외우게 합니다.
• 결과: 점수는 어느 정도 맞지만, 왜 그 점수를 줬는지 설명을 못 합니다. 마치 정답만 암기한 학생처럼, 조금만 다른 문제가 나오면 당황합니다.

2. 프롬프팅 (Prompting / Zero-shot)

• 비유: "지시만 내리는 지휘자"
• 설명: AI 를 훈련시키지 않고, 채점관 역할을 하라고 말만 해줍니다. (예: "너는 IELTS 채점관이야. 이 글을 읽고 점수를 줘.")
• 결과: 훈련 비용은 들지 않지만, AI 의 기분에 따라 점수가 들쑥날쑥합니다. 어떤 날은 완벽하고, 어떤 날은 엉망이 될 수 있습니다.

3. 지시 미세 조정 + 검색 (Instruction Tuning + RAG)

• 비유: "교과서와 모범 답안을 보고 공부한 우수생"
• 설명: AI 에게 채점 기준 (Rubric) 을 자세히 가르치고, 채점할 때마다 **유사한 모범 답안 (검색된 예시)**을 옆에 펼쳐두게 합니다.
• 결과: 가장 점수가 정확합니다. 기준에 맞춰 꼼꼼히 채점하며, 실수도 적습니다. 마치 시험 직전 모의고사를 많이 풀어본 학생 같습니다.

4. 선호도 최적화 (SFT + DPO + RAG)

• 비유: "선생님의 피드백을 받아 성숙한 멘토"
• 설명: 점수만 맞추는 게 아니라, "사람들이 어떤 피드백을 더 좋아할까?"를 학습시킵니다. AI 가 인간 채점관처럼 "이 부분은 좋지만, 저 부분은 다듬으면 더 좋아질 거야"라고 자연스럽게 조언합니다.
• 결과: 점수 정확도는 3 번 방법과 비슷하지만, 학생에게 주는 조언 (피드백) 이 훨씬 자연스럽고 따뜻합니다.

---

🏆 최종 결과: 무엇이 가장 좋을까?

연구진은 이 네 가지 방법을 비교한 후 다음과 같은 결론을 내렸습니다.

1. 가장 정확한 채점: **"3 번 방법 (지시 + 검색)"**이 최고였습니다.

   • 비유: 시험 문제와 정답지를 옆에 두고 꼼꼼히 채점하는 엄격한 채점관입니다.
   • 성적: 정확도 99% 에 가까운 F1 점수 93% 를 기록했습니다.

2. 가장 좋은 피드백: **"4 번 방법 (선호도 최적화)"**이 가장 좋았습니다.

   • 비유: 학생의 성장을 돕는 친절한 멘토입니다. 점수만 알려주는 게 아니라, "어떻게 고쳐야 할지"를 인간처럼 설명해 줍니다.

3. 비용과 성능의 균형 (트레이드오프):

   • 저렴하지만 덜 정확한 방법: 1 번과 2 번 (훈련 비용은 적지만, 신뢰도가 낮음).
   • 비싸지만 정확한 방법: 3 번과 4 번 (컴퓨터 자원과 시간이 많이 들지만, 결과가 훌륭함).

💡 이 연구가 우리에게 주는 메시지

이 논문은 **"AI 에게 에세이를 채점하게 할 때, 단순히 점수만 맞추게 하는 것보다, 채점 기준을 가르치고 모범 답안을 보여주는 것이 훨씬 효과적"**임을 증명했습니다.

• 시험을 치르는 상황 (고난도): 3 번 방법을 쓰세요. (정확한 점수 필요)
• 학생이 공부하는 상황 (형성 평가): 4 번 방법을 쓰세요. (자연스러운 조언 필요)

결론적으로, AI 가 인간처럼 글을 읽고 공정하게 평가하려면 "단순한 암기"나 "지시만"이 아니라, 구체적인 기준과 예시를 바탕으로 훈련되어야 한다는 것을 이 연구는 보여줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 자동 에세이 채점 (AES, Automated Essay Scoring) 은 교육 현장에서 채점 비용 절감, 일관성 향상, 즉각적인 피드백 제공을 위해 중요하게 여겨집니다. 최근 대규모 언어 모델 (LLM) 의 등장으로 AES 패러다임이 변화하고 있으나, 기존 연구들은 개별 기법 (프롬프트 엔지니어링, 미세 조정 등) 을 고립적으로 분석하는 경향이 있습니다.
• 문제점:
  • 영어 제 2 언어 (L2) 작문 (예: IELTS) 평가에 있어 다양한 LLM 기반 접근법 간의 체계적인 비교가 부족합니다.
  • 프롬프팅, 지시 미세 조정 (Instruction Tuning), 검색 증강 생성 (RAG), 선호도 최적화 (Preference Optimization) 등 서로 다른 패러다임이 어떻게 상호작용하며 어떤 장단점이 있는지 명확히 규명된 바가 없습니다.
  • 특히 정확도, 비용, 강건성 (Robustness) 간의 트레이드오프를 분석한 통합 벤치마크가 부재합니다.

2. 제안된 방법론 (Methodology)

이 연구는 IELTS Writing Task 2를 통합 벤치마크로 사용하여, 4 가지 주요 LLM 기반 AES 패러다임을 체계적으로 비교 평가했습니다.

데이터셋 구성

• 소스: Hugging Face 의 IELTS 에세이 평가 데이터셋 (10,324 개) 과 Kaggle 의 Raw IELTS Essays 데이터셋을 활용했습니다.
• 처리: 기존 데이터의 분석적 점수 (Task Response, Coherence 등 4 가지 항목) 일관성을 높이기 위해 Gemini-2.5-Pro 를 사용하여 점수를 재생성 (Re-generation) 하고, JSON 형식으로 구조화했습니다.
• 분할: 학습용 9,833 개, 테스트용 495 개로 고정 분할하여 모든 실험에서 공정한 비교를 보장했습니다.

4 가지 평가 접근법 (Approaches)

1. A1: 판별형 미세 조정 (Discriminative Fine-tuning)

   • RoBERTa, GPT-2 인코더 기반 모델을 분류기로 학습시켜 에세이를 직접 밴드 점수로 매핑합니다.
   • 특징: 전통적인 신경망 AES 베이스라인으로, 피드백 생성은 하지 않고 점수만 예측합니다.

2. A2: 컨텍스트 학습 (In-Context Learning, Prompting)

   • 모델 파라미터 업데이트 없이 제로샷 (Zero-shot) 및 퓨샷 (Few-shot) 프롬프팅을 통해 LLM(GPT-4o, Llama-3-70B 등) 이 채점합니다.
   • 특징: 학습 비용이 가장 낮으나, 모델과 프롬프트 설계에 따라 성능 편차가 큽니다.

3. A3: k-지시 미세 조정 및 RAG (k-Instruction Tuning with RAG)

   • 핵심: IELTS 평가 기준 4 가지 (Task Response, Coherence, Lexical Resource, Grammatical Range) 를 각각 독립적인 하위 작업으로 분해하여 LoRA로 미세 조정합니다.
   • RAG: 외부 평가 기준과 유사한 에세이 예시를 검색 (Retrieval) 하여 모델 입력에 포함시켜 할루시네이션을 줄이고 점수 일관성을 높입니다.
   • 특징: 기준별 (Criterion-specific) 전문성을 확보하고 검색 기반 증강을 통해 정확도를 극대화합니다.

4. A4: 지도 미세 조정 (SFT) + 선호도 최적화 (DPO) + RAG

   • SFT: 에세이와 점수/피드백 쌍으로 지도 학습을 수행합니다.
   • DPO (Direct Preference Optimization): 인간 선호도 데이터 (더 좋은 피드백 vs 나쁜 피드백) 를 사용하여 모델이 인간 채점자의 선호도와 정렬되도록 강화 학습을 적용합니다.
   • RAG: 추론 시 검색 증강을 적용합니다.
   • 특징: 점수 정확도뿐만 아니라 피드백의 질과 인간과의 정렬 (Alignment) 을 최적화합니다.

3. 주요 결과 (Key Results)

정량적 성능 비교

• 성능 계층 구조: 판별형 미세 조정 (A1) < 프롬프팅 (A2) < 지시 미세 조정 (A3) < SFT+DPO+RAG (A4) < k-지시 미세 조정 + RAG (A3+RAG).
• 최고 성능: **Llama-3.1-8B 기반의 k-지시 미세 조정 + RAG (A3+RAG)**가 가장 우수한 결과를 기록했습니다.
  • 정확도 (Accuracy): 0.9902
  • F1-Score: 0.9350
  • RMSE/MAE: 다른 방법들보다 낮은 오차율을 보였습니다.
• DPO 의 역할: A4(SFT+DPO+RAG) 는 점수 정확도에서는 A3+RAG 에 약간 미치지 못했으나 (정확도 0.987), RMSE 와 MAE 가 가장 낮아 점수 보정 (Calibration) 능력이 뛰어났습니다.

비용 - 정확도 - 강건성 트레이드오프

• A1/A2 (저비용): 학습 시간이 짧고 비용이 적게 들지만, 정확도가 낮고 (약 0.73), 고난도 평가에는 적합하지 않습니다.
• A3 (중간 비용): 학습 시간 약 7.2 시간, GPU 사용량 증가. 정확도 0.87~0.99 로 효율적인 성능 향상을 보입니다.
• A4 (고비용): 학습 시간 약 9.5 시간으로 가장 비용이 많이 들지만, 피드백의 질과 인간 정렬 측면에서 이점이 있습니다.

정성적 분석 (Case Study)

• A3+RAG: 특정 평가 기준 (Criteria) 에 맞춰 세분화된 진단적 피드백을 제공하며, 밴드 점수 예측 정확도가 매우 높습니다.
• A4 (DPO 포함): 점수 예측은 때때로 미세하게 어긋날 수 있으나, 전체적인 피드백의 일관성이 높고 실제 IELTS 채점관의 스타일에 더 가깝습니다. 피드백이 더 자연스럽고 교육적 가치가 높습니다.

4. 주요 기여 (Key Contributions)

1. 첫 번째 통합 벤치마크: 영어 L2 자동 채점을 위한 4 가지 주요 LLM 적응 패러다임 (판별형, 프롬프팅, 지시 미세 조정, 선호도 최적화) 을 최초로 체계적으로 비교한 연구입니다.
2. 기준 인식형 AES 프레임워크 설계: 지시 미세 조정, 검색 증강 생성 (RAG), 선호도 최적화를 결합하여 IELTS 채점 기준과 정렬된 새로운 프레임워크를 제안했습니다.
3. 실용적 가이드라인 제공: 정확도, 비용, 강건성 간의 명확한 트레이드오프를 규명하여, 고위험 평가 (High-stakes) 에는 k-지시 미세 조정 + RAG를, 학습자용 형성 평가 (Formative feedback) 에는 DPO 기반 접근법을 선택하는 데 대한 실용적인 지침을 제시했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 기반 AES 시스템이 단순히 점수를 매기는 것을 넘어, 어떻게 하면 인간 채점자의 판단과 일치하면서도 교육적으로 유용한 피드백을 제공할 수 있는지에 대한 통찰을 제공합니다.

• 기술적 시사점: RAG 와 k-지시 미세 조정을 결합한 접근법이 현재 L2 에세이 채점에서 가장 높은 정확도를 보장함을 입증했습니다.
• 교육적 시사점: DPO 를 통한 선호도 최적화는 점수 정확도보다는 피드백의 질과 인간적 정렬을 개선하는 데 핵심적임을 보여주었습니다.
• 미래 방향: 연구진은 코드와 데이터를 공개하여 (GitHub), 향후 연구자들이 LLM 기반 AES 시스템을 개발하고 평가하는 데 활용할 수 있는 기반을 마련했습니다.

결론적으로, 이 논문은 "어떤 LLM 기법이 가장 좋은가?"라는 질문에 대해 **"목적 (정확도 vs 피드백 질) 과 비용 제약에 따라 최적의 전략이 다르다"**는 것을 데이터 기반으로 증명했습니다.