Structured Prompting for Arabic Essay Proficiency: A Trait-Centric Evaluation Approach

1. 연구 배경 및 문제 제기 (Problem)

• 아랍어 자동 에세이 채점 (AES) 의 한계: 영어 등 고자원 언어에서는 AES 기술이 발전했으나, 아랍어는 annotated 데이터셋의 부족, 언어적 복잡성, 그리고 숙달도 (Proficiency) 평가 도구의 부재로 인해 발전이 더딥니다.
• 기존 연구의 결함: 기존 아랍어 AES 시스템은 주로 전체적인 점수 (Holistic scoring) 나 내용 정확성 (Content correctness) 에만 초점을 맞추었습니다. 이는 조직 (Organization), 어휘 (Vocabulary), 전개 (Development), 스타일 (Style) 등 **구체적인 언어 능력 속성 (Traits)**을 세밀하게 평가하지 못한다는 한계가 있습니다.
• 미세 조정 (Fine-tuning) 의 비효율성: 기존 접근법은 종종 대규모 데이터로 모델을 미세 조정해야 했으나, 아랍어는 고품질 데이터가 부족하여 이 방식이 비현실적입니다.

2. 제안된 방법론 (Methodology)

저자들은 모델 미세 조정 없이 기존 대규모 언어 모델 (LLM) 을 활용하여 아랍어 에세이의 속성별 점수를 매길 수 있는 3 단계 프롬프팅 프레임워크를 제안했습니다.

A. 데이터셋 및 모델

• 데이터셋: QAES (Qatar Automated Essay Scoring) 데이터셋 사용. 이는 아랍어 에세이에 대해 조직, 어휘, 스타일 등 7 가지 속성 (Traits) 에 대한 인간 평가자 점수가 포함된 최초의 공개 데이터셋입니다.
• 평가 모델: ChatGPT-4, Fanar-1-9B-Instruct, Jais, ALLaM, Qwen 시리즈, LLaMA-2 등 다양한 크기와 아랍어 지원 수준을 가진 8 개의 LLM 을 평가 대상으로 선정했습니다.

B. 3 단계 프롬프팅 전략

1. Level 1: 표준 프롬프팅 (Standard Prompting)
   • 제로샷 (Zero-shot) 방식.
   • LLM 에게 하나의 프롬프트로 모든 7 가지 속성에 대한 점수를 직접 할당하도록 지시.
   • 예시나 rubric(채점 기준) 은 제공되지 않음.
2. Level 2: 하이브리드 속성 프롬프팅 (Hybrid Trait Prompting)
   • 다중 에이전트 시뮬레이션: 하나의 에세이를 5 명의 가상의 전문 평가자 (Organization, Vocabulary, Grammar, Content, Style 전문) 가 평가하도록 설계.
   • 각 평가자는 자신의 전문 분야 (Rubric) 에만 집중하여 점수를 매기고, 최종 점수는 관련 평가자들의 점수를 평균하여 산출.
   • 모델이 특정 언어 기술에 집중하도록 유도하여 인간 전문가의 평가 행동을 모방.
3. Level 3: 루브릭 기반 퓨샷 프롬프팅 (Rubric-Guided Few-Shot Prompting)
   • 각 속성별로 상세한 채점 기준 (Rubric) 과 **저/중/고 점수 예시 (Few-shot examples)**를 제공.
   • 모델이 대상 에세이를 예시 및 기준과 비교하여 구조화된 JSON 형식으로 점수와 근거를 생성하도록 유도.
   • 모델의 평가 기준과 인간 평가 기준 간의 정렬 (Alignment) 을 극대화.

3. 주요 기여 (Key Contributions)

1. 최초의 속성 기반 아랍어 AES 프레임워크: QAES 데이터셋을 활용하여 아랍어 에세이의 구체적인 언어 속성을 평가하는 최초의 체계적인 프롬프팅 연구 수행.
2. 3 단계 프롬프팅 아키텍처 도입: 전체 평가, 전문 평가자 시뮬레이션, 루브릭 기반 퓨샷 학습을 결합한 새로운 접근법 제시.
3. 퓨샷 (Few-shot) 학습의 아랍어 적용: 속성별 점수 매김을 위해 예시 기반 프롬프팅을 아랍어 AES 에 처음 적용.
4. 모델 규모보다 프롬프팅의 중요성 입증: 모델의 크기 (Parameter size) 보다는 프롬프트의 구조와 명확성이 평가 성능에 더 결정적인 영향을 미친다는 사실 규명.

4. 실험 결과 및 분석 (Results)

• 평가 지표: Quadratic Weighted Kappa (QWK) 와 95% 신뢰 구간 (Confidence Interval, CI) 을 사용.
• 성능 결과:
  • 최고 성능 모델: Fanar-1-9B-Instruct가 제로샷과 퓨샷 환경 모두에서 가장 높은 속성별 일치도 (QWK = 0.28, CI 상한값 0.41) 를 보임.
  • 프롬프트의 효과: 프롬프트 수준이 1 에서 3 으로 갈수록 (구체적이고 구조화될수록) 모든 모델에서 점수 일치도가 향상됨. 특히 **Development(전개)**와 Style(스타일) 같은 고차원적 속성에서 개선 폭이 컸음.
  • 모델 크기 영향: Fanar, Qwen3-VL, ALLaM 등 아랍어 최적화 모델이 우수한 성능을 보인 반면, Qwen1.5, LLaMA-2 등 소형 모델은 복잡한 프롬프트 (Level 3) 에서 성능이 급격히 저하되거나 점수 추출에 실패함.
  • 기존 연구 대비: 기존 아랍어 AES 연구 (Bashendy et al., 2024) 의 베이스라인 QWK(0.26) 를 소폭 상회했으나, 인간 평가자 간 일치도 (약 0.72) 에는 아직 미치지 못함.
• 통계적 유의성: 신뢰 구간 분석을 통해 모델 간 편차와 평가 불확실성을 정량화했으며, 특히 Level 3 프롬프팅이 신뢰 구간을 좁히고 일관성을 높이는 데 기여함을 확인.

5. 의의 및 결론 (Significance & Conclusion)

• 저자원 환경에서의 확장성: 고비용의 모델 미세 조정 없이, 구조화된 프롬프팅만으로 아랍어 교육 평가에 활용 가능한 확장 가능한 AES 솔루션을 제시.
• 교육적 함의: 아랍어 학습자의 언어 능력을 '내용'뿐만 아니라 '조직, 어휘, 스타일' 등 구체적인 속성별로 진단할 수 있는 도구를 제공.
• 미래 방향: 데이터셋의 규모 확대, 비아랍어 언어로의 프레임워크 전이, 그리고 하이브리드 평가 시 평가자 간 불일치 해결 등을 향후 과제로 제시.

이 연구는 LLM 의 규모 자체보다는 프롬프트 엔지니어링의 정교함이 저자원 언어 (아랍어) 의 자동화된 언어 평가에서 성공의 핵심 요소임을 입증했다는 점에서 중요한 의의를 가집니다.