💬 NLP

Enhancing Automated Essay Scoring With Three Techniques: Two-Stage Fine-Tuning, Score Alignment, and Self-Training

이 논문은 두 단계 미세 조정(Two-Stage fine-tuning), 점수 정렬(Score Alignment), 그리고 불확실성 인지 자기 학습(uncertainty-aware self-training)이라는 세 가지 핵심 기술을 DualBERT 모델에 통합함으로써, 데이터가 제한적인 설정과 전체 데이터 설정 모두에서 자동 에세이 채점 성능을 향상시키는 새로운 접근 방식을 제안하며, 이를 통해 ASAP++를 포함한 여러 데이터셋에서 최첨단(state-of-the-art) 결과를 달성하였다.

원저자: Hongseok Choi, Serynn Kim, Wencke Liermann, Jin Seong, Jin-Xia Huang

게시일 2026-08-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hongseok Choi, Serynn Kim, Wencke Liermann, Jin Seong, Jin-Xia Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매주 수백 편의 에세이를 채점해야 하는 지친 교사가 있는 세상을 상상해 보세요. 그것은 엄청난 작업이며, 공정하게 수행하기 위해서는 시간과 에너지가 필요합니다. 이를 돕기 위해 과학자들은 "자동 에세이 채점(Automated Essay Scoring, AES)" 시스템, 즉 학생의 글을 읽고 인간처럼 점수를 매기는 컴퓨터 프로그램을 만들었습니다. 이 프로그램들을 디지털 조교라고 생각하면 됩니다. 오랫동안 이 조교들은 똑똑하지만 서투른 로봇과 같았습니다. 제대로 채점하기 위해서는 수천 개의 예시를 읽어야만 했습니다. 만약 교사가 채점할 에세이가 몇 편밖에 없다면, 로봇은 혼란에 빠져 잘못된 점수를 줄 것입니다. 이는 큰 문제인데, 왜냐하면 현실 세계에서 교사들은 컴퓨터를 학습시킬 수천 편의 에세이를 가지고 있는 경우가 많지 않고, 그저 자신의 수업에서 나온 종이 뭉치를 가지고 있기 때문입니다.

문제는 컴퓨터에게 글쓰기를 가르치는 것이 어렵다는 점입니다. 그것은 단순히 단어 수를 세거나 문법을 확인하는 것이 아니라, 아이디어의 흐름, 어조, 그리고 구조를 이해하는 일입니다. 이야기를 쓰거나 여러분과 대화하는 것과 같은 거대하고 강력한 AI 모델들이 존재하지만, 이들은 방대한 양의 데이터가 주어지지 않으면 이 특정 작업에서 어려움을 겪는 경우가 많습니다. 그래서 연구자들의 큰 질문은 이것입니다: 어떻게 하면 데이터가 아주 많지 않을 때도 똑똑하고 공정한 컴퓨터 채점기를 만들 수 있을까?

이 논문은 특히 배울 수 있는 에세이가 매우 적을 때, 이러한 디지털 채점기를 훈련시키는 영리한 새로운 방법을 소개합니다. 연구진은 DualBERT(개별 문장과 에세이 전체를 모두 이해하는 똑똑한 독자와 같은 모델)라는 모델을 사용하여 성능을 높이기 위한 세 가지 특별한 기술을 개발했습니다.

첫째, 그들은 LoRA를 이용한 2단계 미세 조정(Two-Stage Fine-Tuning with Lo-RA) 기법을 사용했습니다. 여러분이 이미 영어의 기초를 알고 있는 학생을 가르치고 있다고 상상해 보세요. 그들에게 처음부터 모든 것을 다시 배우게 하는 대신, 여러분은 그들에게 특별한 "형광펜(LoRA)"을 줍니다. 이 형광펜은 그들이 이미 알고 있는 것을 망가뜨리지 않으면서도 과제의 특정하고 까다로운 부분에 집중할 수 있게 해줍니다. 연구진은 모델이 이 형광펜을 가지고 두 차례 연습하게 했으며, 콘텐츠와 조직력 같은 다양한 에세이 특성의 중요성을 다르게 가중치를 두는 방식을 시도하여 완벽한 균형을 찾을 때까지 반복했습니다.

둘째, 그들은 **점수 정렬(Score Alignment)**을 도입했습니다. 때때로 똑똑한 채점기조차 조금 긴장해서 안전한 선택을 하곤 합니다. 학생이 완벽한 에세이를 썼음에도 불구하고, 컴퓨터는 만점 10점 만점에 9.8점을 주는 식으로 완벽한 점수를 주는 것을 두려워할 수 있습니다. 에세이가 엉망이라면 0점 대신 0.2점을 줄 수도 있습니다. 이 기술은 "교정 도구" 역할을 합니다. 연구진은 컴퓨터가 작은 연습용 에셋 세트를 어떻게 채점했는지 살펴보고, 컴퓨터가 너무 소심했는지 혹은 너무 대담했는지를 파악한 뒤, 실제 테스트를 위해 점수를 수정하는 간단한 수학적 조정을 적용합니다. 이것은 마치 모든 음이 정확한 음정에 맞도록 기타를 조율하는 것과 같습니다.

셋째, 그들은 **불확실성 인지 자기 학습(Uncertainty-Aware Self-Training)**을 사용했습니다. 이것은 컴퓨터가 아직 채점되지 않은 에세이로 연습하는 단계입니다. 컴퓨터는 채점되지 않은 에세이들을 읽고 "가짜" 점수를 부여합니다. 하지만 여기에는 함정이 있습니다. 만약 컴퓨터가 자신의 점수에 대해 확신이 없다면(즉, "불확실하다면"), 그 에세이는 버립니다. 컴퓨터는 스스로 확신을 느끼는 에세이들만을 추가 연습 자료로 사용하기 위해 남겨둡니다. 이렇게 함으로써 컴퓨터는 자신의 실수로부터 의도치 않게 배우는 일 없이 더 많은 예시로부터 학습할 수 있습니다.

연구진이 이 세 가지 기술을 함께 사용하여 ASAP++라는 데이터셋에서 테스트했을 때, 결과는 인상적이었습니다. 컴퓨터가 학습할 수 있는 에세이가 단 32편뿐인 상황(매우 적은 양)에서도, 이 새로운 방법은 채점 정확도를 크게 향 향상시켰습니다. 이 방식은 약 1,000편의 에세이를 학습한 모델의 성능 수준의 91.2%에 도달했습니다. 더 쉽게 말하자면, 아주 적은 양의 데이터와 이 세 가지 똑똑한 기술만으로도, 컴퓨터는 마치 도서관 하나 분량의 에세이를 읽은 것처럼 유능해졌습니다.

더 흥미롭게도, 컴퓨터가 충분한 데이터를 가진 상황("전체 데이터" 설정)에서, "점수 정렬" 기술 하나만으로도 이전의 모든 기록을 깨고 새로운 최고 점수를 달성했습니다. 연구진은 이 기술을 다른 유형의 에세이가 담긴 다른 데이터셋에서도 테스트했으며, 이 기술들이 거기서도 작동한다는 것을 발견했습니다. 이는 이 방법들이 특정 테스트에만 국한된 것이 아니라 견고하다는 것을 시사합니다.

이 논문은 이러한 기술들이 모듈식, 즉 다른 시스템과 혼합하거나 조합될 수 있다고 제안합니다. 그러나 저자들은 결과가 강력함에도 불구하고 여전히 한계가 있다는 점을 주의 깊게 언급합니다. 예를 들어, "자기 학습" 방법은 작동하기 위해 대량의 미채점 에세이 더미가 필요한데, 이는 모든 학교에서 항상 가용할 수 있는 것은 아닙니다. 또한, "2단계" 방법은 처음에 컴퓨터를 훈련시키는 데 시간이 조금 더 걸리지만, 나중에 실제 채점 과정을 늦추지는 않습니다.

궁극적으로, 이 연구는 훌륭한 AI 도구를 만들기 위해 반드시 방대한 양의 데이터가 필요한 것은 아니라는 점을 보여줍니다. 모델을 미세 조정하고, 점수를 교정하며, 연습 자료를 신중하게 선택하는 스마트한 전략을 사용함으로써, 우리는 데이터가 부족한 상황에서도 신뢰할 수 있는 자동 채점기를 만들 수 있습니다. 이는 우리가 어디에서나 교사들에게 도움이 되고 공정하며 효율적인 디지털 조교를 갖게 되는 데 한 걸음 더 다가가는 길입니다.

기술 요약: 세 가지 기법을 통한 자동 에세이 채점(AES) 성능 향상

문제 정의
자동 에세이 채점(Automated Essay Scoring, AES)은 확장 가능한 교육을 위해 필수적이지만, 주로 레이블링된 데이터의 극심한 부족으로 인해 실제 배포 과정에서 상당한 난관에 봉착해 있습니다. AES 데이터셋을 구축하는 것은 노동 집약적이고 비용이 많이 들며, 평가자 간 불일치 문제가 발생하기 쉽습니다. 대규모 언어 모델(LLM)은 다양한 NLP 작업에서 성공을 거두었으나, AES에서의 성능은 특정 작업용 딥러닝 모델(Quadratic Weighted Kappa [QWK] 약 0.5–0.6)에 비해 여전히 최적화되지 않은 상태이며, 이들의 계산 요구 사항은 도입의 장벽이 됩니다. 또한, 기존의 딥러닝 접근 방식은 레이블링된 에세이가 소수만 존재하는 저자원 환경에서 어려움을 겪는 경우가 많습니다.

방법론
저자들은 토큰 간 및 문장 간 의미를 포착하는 DualBERT 베이스 모델에 세 가지 핵심 기술을 통합하여, 데이터가 제한적인 설정과 전체 데이터 설정 모두에서 AES 성능을 향ộng시키는 새로운 접근 방식을 제안합니다.

저계수 적응(LoRA)을 이용한 2단계 미세 조정(Two-Stage Fine-Tuning):
- 1단계: 베이스 DualBERT 모델을 레이블링된 데이터셋에 대해 미세 조정합니다.
- 2단계: 동결된 베이스 모델에 LoRA 레이어를 삽입합니다. 저자들은 다양한 특성별 손실 가중치(trait-specific loss-weight) 구성을 탐색하는 전략을 도입합니다. 서로 다른 가중치 조합을 위해 별도의 모델을 완전히 미세 조정하는 대신, 각 구성에 대해 어댑터 레이어(LoRA)만을 학습시키는 방식입니다. 개발 세트(development set)에서 가장 좋은 성능을 보이는 구성을 선택합니다. 이를 통해 모델은 미세한 특징을 포착하고 특정 특성 요구 사항에 효율적으로 적응할 수 있습니다.
점수 정렬(Score Alignment, SA):
- 이는 예측 점수와 실제 점수 사이의 분포 편향을 교정하기 위해 설계된 훈련이 필요 없는 후처리 기술입니다. 미세 조정된 모델은 종종 극단적인 점수를 예측하는 데 실패합니다(예: 1.0 대신 0.95로 예측).
- SA는 홀드아웃 개발 세트에서 관찰된 실제 점수와 예측 점수 간의 차이를 기반으로 테스트 세트 예측값에 선형 변환을 적용합니다. 구체적으로, 개발 세트의 상위 및 하위 $p\%$ 점수에 대한 평균 차이를 계산하고, 이를 사용하여 테스트 예측값의 최소 및 최대 경계값을 조정함으로써 예측 분포가 실제 분포와 더 밀접하게 일치하도록 합니다.
불확실성 인지 자기 학습(Uncertainty-Aware Self-Training, UST):
- 레이블링되지 않은 데이터(레이블링된 데이터보다 수집하기 쉬움)를 활용하도록 설계되었습니다. UST는 평가되지 않은 에세이에 대한 예측의 불확실성을 추정합니다.
- 불확실성은 몬테카를로 드롭아웃(반복적인 드롭아웃 패스)을 통해 얻은 예측값의 표준 편차로 측정됩니다.
- 샘플은 예측된 점수 크기에 따라 빈(bin)으로 분할됩니다. 각 빈에서 불확실성이 가장 낮은 일정 수의 샘플을 선택하여 의사 레이블(pseudo-labeled) 데이터로 사용합니다. 이러한 필터링은 레이블 노이즈의 전파를 완화합니다. 증강된 데이터셋(원본 레이블 데이터 + 선택된 의사 레이블 데이터)은 모델을 재학습하는 데 사용됩니다.

주요 기여

새로운 통합: 본 논문은 2단계 미세 조정, 점수 정렬, UST를 하나의 모듈형 프레임워크로 통합합니다. 이를 통해 모델 적응, 출력 보정, 데이터 증강이라는 상호 보완적인 병목 현상을 해결하기 위해 기술들을 결ano 결합하거나 독립적으로 적용할 수 있습니다.
점수 정렬의 혁신: 저자들은 점수 정렬이 데이터 양에 관계없이 데이터 제한 및 전체 데이터 설정 모두에서 일관되게 성능을 향상시킨다는 것을 입증했습니다. LoRA와 결합했을 때, DualBERT 모델은 전체 데이터 설정에서 새로운 SOTA(State-of-the-Art) 결과를 달성하며 기존 AES 방법들을 능가했습니다.
저자원 환경에서의 효과성: 본 연구는 통합된 접근 방식이 레이블링된 데이터가 부족할 때 성능을 크게 높인다는 광범적인 증거를 제공하며, 각 프롬프트당 단 32개의 레이블링된 샘플만으로 전체 데이터 성능의 91.2%에 도달했습니다.

실험 결과
실험은 ASAP++ 데이터셋에서 수행되었으며, TOEFL11 및 ELLIPSE를 통해 일반화 가능성을 테스트했습니다.

전체 데이터 설정 (ASAP++): LoRA와 점수 정렬을 DualBERT에 통합한 결과 새로운 SOTA를 달성하였으며, 기존의 ArTS+RMTS 및 SaMRL과 같은 방법들을 능가했습니다. QWK는 베이스 DualBERT 대비 특성당 0.011, 프로ンプ트당 0.008 개선되었으며, 전체 통합(LoRA+SA) 시 특성당 0.714, 프롬프트당 0.732에 도달했습니다. 점수 정렬 단독으로는 최고의 지도 학습 베이스라인과 대등한 성능을 보였으나, LoRA와의 결 조합이 최상의 종합 결과를 냈습니다.
제한된 데이터 설정 (32-data): 32-data 설정에서 통합된 방법(LoRA+SA+UST)은 베이스 DualBERT 대비 QWK를 특성당 4.6 포인트, 프롬프트당 5.4 포인트 향상시켰습니다. 이는 최종 점수 0.639(특성당)를 기록하며 전체 데이터 성능의 91.2%에 도달한 수치입니다.
LLM과의 비교: 제안된 방법은 저자원 환경의 ASAP++에서 소수의 샷(few-shot)을 사용하는 LLM 베이스라인(예: Llama-3.1-8B-Instruct)보다 우수한 성능을 보였으며, 훨씬 적은 계산 자원과 파라미터를 요구했습니다.
일반화 가능성: TOEFL11 및 ELLIPSE에서 점수 정렬과 UST는 베이스라인 대비 성능을 일관되게 향상시켰으나, LoRA는 동질적인 특성 세트에 대한 과적합으로 인해 멀티 프롬프트 설정에서 미미하거나 부정적인 영향을 보였습니다.

의의 및 주장
본 논문은 거대 LLM에 의존하지 않고도 AES의 데이터 희소성 문제를 효과적으로 해결할 수 있다고 주장합니다. 이 연구의 의의는 제안된 기술들의 모듈성에 있으며, 이를 통해 점진적인 성능 향상이 가능합니다. 저자들은 점수 정렬이 데이터 양에 관계없이 일관된 이득을 제공한다는 점에서 특히 견고하다고 강조합니다. 통합된 방법은 심각한 레이블 부족(예: 32개 샘플) 상황에서도 고품질의 AES가 가능하다는 것을 보여주며, 제한된 데이터 성능과 전체 데이터 역량 사이의 간극을 메웁니다. 결론적으로, 이 기술들은 레이블링된 데이터가 병목 현상인 실제 교육 현장에서 견고한 AES 시스템을 배포하기 위한 실용적이고 효율적인 경로를 제공합니다.

유사한 논문