The Order Matters: Sequential Fine-Tuning of LLaMA for Coherent Automated Essay Scoring

기술 요약: 순서가 중요하다: 일관된 자동 에세이 채점을 위한 LLaMA의 순차적 미세 조정

문제 정의
자동 에세이 채점(AES) 시스템은 에세이 내 담화 요소들의 상호 의존적인 성격을 모델링하는 데 있어 중대한 과제에 직면해 있다. 기존의 접근 방식은 서론(Lead), 입장(Position), 주장(Claim), 근거(Evidence), 결론(Conclusion)과 같은 구성 요소들을 개별적으로 취급하는 경우가 많다. 이러한 파편화는 논증적 글쓰기에 내재된 논리적 흐름과 계층적 의존성(예: 입장의 명확성이 주장의 강도에 어떻게 영향을 미치는지)을 포착하지 못한다. 결과적으로, 기존 모델들은 일관성, 다양한 글쓰기 스타일에 대한 일반화, 그리고 통합적 구성 요소의 신뢰할 수 있는 평가 측면에서 어려움을 겪는다. 또한, 대규모 언어 모델(LLM)이 잠재력을 제공하고 있음에도 불구하고, 작업 의존성이 명시적으로 모델링될 때 더 작고 효율적으로 미세 조정된 모델이 거대한 범용 베이스라인 모델보다 뛰어난 성능을 보일 수 있는지에 대한 이해가 부족한 실정이다.

방법론
본 연구는 AES를 위한 LLaMA-3.1-8B의 미세 조정에 있어 훈련 커리큘럼이 미치는 영향을 조사한다. 저자들은 5가지 특정 담화 요소(서론, 입장, 주장, 근거, 결론)로 주석이 달린 25,000개 이상의 논증적 에세이 데이터셋인 PERSUADE 2.0 코퍼스를 활용한다.

모델을 효율적으로 적응시키기 위해, 저자들은 **4비트 양자화(NF4)**를 적용한 저차원 적응(LoRA) 방식을 사용하여 단일 A100 GPU에서 사전 학습된 지식을 보존하며 학습을 수행한다. 핵심 실험 설계는 세 가지 뚜렷한 훈련 커리큘럼을 제로샷(zero-shot) LLaMA-70B 베이스라인과 비교한다:

1. 독립적 미세 조정(Independent Fine-Tuning): 각 요소에 특화된 작업별 LoRA 어댑터를 사용하여 각 단일 담화 요소에 전념하는 5개의 별도 모델을 훈련한다. 이는 공유 표현의 가치를 평가하기 위한 베이스라인 역할을 한다.
2. 무작위(멀티태스크) 미세 조정(Randomized (Multi-Task) Fine-Tuning): 모든 5개 구성 요소 데이터셋의 혼합된 데이터를 셔플하여 단일 모델을 동시에 훈련한다. 이 방식은 작업을 독립적이고 동일하게 분포된 것으로 취급하며, 순차적 구조를 무시한다.
3. 순차적(커리큘럼) 미세 조정(Sequential (Curriculum) Fine-Tuning): 본 연구에서 제안하는 주요 방법이다. 단일 모델을 에세이 작성의 자연스러운 논리적 순서인 서론 $\rightarrow$ 입장 $\rightarrow$ 주장 $\rightarrow$ 근거 $\rightarrow$ 결론에 따라 점진적으로 미세 조정한다. 한 단계에서 학습된 파라미터는 다음 단계를 위한 초기값으로 사용되며, 이를 통해 기초적인 구성 요소로부터 지식을 활용하여 복잡한 표현을 구축하는 것을 목표로 한다.

주요 결과
PERSUADE 2.0 테스트 세트에 대한 실험 결과, 훈련 커리큘럼의 구조가 모델 성능에 유의미한 영향을 미치는 것으로 나타났다:

• 순차적 학습의 우수성: 순차적 커리큘럼은 가장 강력한 종합 결과를 나타냈다. 이 방식은 세 가지 구성 요소인 주장(40%), 근거(65%), **결론(87%)**에서 가장 높은 F1 점수를 달성했다. 특히 결론 작업에서 85%의 정확도를 기록했다.
• 작업 상호 의존성: 순차적 모델은 독립적 모델보다 특히 결론 작업(독립적 모델 F1 12% 대비 순차적 모델 F1 87%)에서 크게 앞섰다. 이는 통합적 구성 요소를 평가하기 위해서는 이전 에세이 섹션들로부터 정보를 얻는 맥락적 표현이 필요하며, 고립된 훈련은 이를 포착하지 못함을 시사한다.
• 무작위 학습의 불일치성: 무작위 방식은 입장 점수(F1 57%)를 개선했으나, 서론 구성 요소(F1 7%)에서는 낮은 성능을 보였다. 이는 구조화되지 않은 멀티태스크 학습이 담화 구조와 정렬된 커리큘럼보다 견고함이 떨어진다는 것을 나타낸다.
• 소형 모델 vs 대형 모델: 작업에 최적화된 컴팩트한 LLaMA-8B 모델(순차적 방식)은 훨씬 더 큰 제로샷 LLaMA-70B 베이스라인보다 문맥 의존적 작업에서 더 뛰어난 성능을 보였다. 구체적으로, 8B 모델은 70B 모델의 우수한 용량에도 불구하고 근거(49% 대비 65% F1)와 결론(60% 대비 87% F1) 작업에서 70B 베이스라인을 능가했다.

의의 및 주장
본 논문은 미세 조정 시 "순서가 중요하다"고 주장하며, 작업의 내재적 구조와 정렬된 커리큘럼 설계가 강력한 귀납적 편향(inductive bias)으로 작용한다고 단언한다. 저자들은 다음과 같이 주장한다:

1. 커리큘럼 설계의 중요성: 순차적 미세 조정을 통해 작업 의존성을 모델링하는 것은 특히 논리적 흐름이 필수적인 통합적 구성 요소에 대한 AES 성능을 실질적으로 향상시킨다.
2. 효율성 및 경쟁력: 작업에 최적화된 소형 모델은 훈련 전략이 작업의 계층적 성격과 일치할 때, 훨씬 더 큰 LLM과 경쟁하거나 심지어 능가할 수 있다. 이는 자원이 많이 투입되는 독점적 API에 의존하지 않고도 확장 가능한 교육적 평가를 위한 실용적이고 비용 효율적인 경로를 제공한다.
3. 일반화 가능성: 제안된 방식은 고립된 구성 요소 점수 산출 방식에서 벗어남으로써, 에세이 섹션 간의 논리적 관계를 반영하는 더욱 견고한 프레임워크를 제공하여 비일관적인 피드백 문제를 해결한다.

저자들은 NLP의 구조적 예측 작업에 있어, 모델에게 무엇을 가르치느냐만큼 어떻게 가르치느냐(커리큘럼)가 중요하며, 이를 통해 더 견고하고 효율적인 표현을 유도할 수 있다고 결론짓는다.