Qayyem: A Real-time Platform for Scoring Proficiency of Arabic Essays

이 논문은 아랍어 작문 자동 채점의 기술적 복잡성을 해소하고 다양한 최신 모델을 통합하여 교수자가 쉽게 활용할 수 있도록 설계된 웹 기반 플랫폼 'Qayyem'을 소개합니다.

핵심

'카이옘 (Qayyem)': 아랍어 에세이를 즉석으로 채점해주는 똑똑한 비서

이 논문은 카타르 대학 연구팀이 개발한 **'카이옘 (Qayyem)'**이라는 새로운 플랫폼에 대해 소개합니다. 쉽게 말해, 아랍어로 쓰인 학생들의 에세이를 인공지능이 자동으로 채점해 주는 웹사이트입니다.

이 복잡한 기술을 일반인이 이해하기 쉽게, **'지능형 에세이 채점 식당'**에 비유해서 설명해 드리겠습니다.

---

1. 왜 이 식당이 필요한가요? (배경)

지금까지 에세이 채점은 선생님들이 직접 눈으로 하나하나 읽어서 점수를 매겨야 했습니다. 이는 시간이 너무 많이 걸리고, 선생님마다 점수 기준이 달라서 불공정할 수도 있었습니다.

영어나 다른 언어에서는 이미 AI 가 에세이를 채점해 주는 시스템이 있지만, 아랍어는 언어 구조가 복잡하고 학습용 데이터가 부족해서 이런 시스템이 거의 없었습니다. 마치 "아랍어 메뉴판이 있는 식당은 있는데, 아랍어 요리를 자동으로 맛있게 해주는 주방장이 없는 상황"과 같았습니다.

2. 카이옘 (Qayyem) 이란 무엇인가요?

카이옘은 아랍어 에세이 채점을 위한 **최초의 '올인원 (All-in-one) 자동화 시스템'**입니다. 이름인 '카이옘'은 아랍어로 '점수 (Grade)'를 뜻하는 동사이자 '가치 있는 (Valuable)'이라는 명사입니다. 즉, **"가치 있는 점수를 매겨주는 시스템"**이라는 뜻이죠.

이 시스템은 다음과 같은 4 단계로 작동합니다:

1. 메뉴판 만들기 (과제 설정): 선생님이 "이번엔 '환경 보호'에 대해 써오라"는 주제 (프롬프트) 와 채점 기준 (예: 문법 5 점, 구성 5 점) 을 설정합니다.
2. 주문 받기 (파일 업로드): 학생들이 쓴 에세이 파일들을 한 번에 업로드합니다.
3. 요리하기 (자동 채점): AI 주방장들이 에세이를 읽으며 문법, 구성, 어휘, 논리 전개 등 여러 항목을 동시에 채점합니다.
4. 서빙 및 수정 (검토): 채점된 결과를 선생님에게 보여주고, 필요하면 선생님이 직접 점수를 수정하거나 최종 리포트를 받을 수 있습니다.

3. 이 시스템의 핵심 특징 (창의적 비유)

🌟 "한 번만 배우면 어떤 주제도 다 잘해요" (범용성)

기존의 많은 AI 채점 시스템은 "환경 보호"에 대해만 훈련을 받아서, "학교 급식"에 대한 에세이를 보면 점수를 못 매겼습니다. (특정 메뉴만 요리하는 요리사)
하지만 카이옘은 **다양한 주제 (8 가지 이상의 다양한 에세이) 로 훈련된 '만능 요리사'**입니다. 선생님이 새로운 주제를 내줘도, 다시 가르치지 않아도 바로 척척 채점해 줍니다.

🎯 "여러 가지 맛을 동시에 평가해요" (다중 특성 채점)

기존 시스템은 에세이 하나에 '총점' 하나만 줬다면, 카이옘은 에세이를 **여러 가지 맛 (특성)**으로 나누어 평가합니다.

• "문법은 4 점, 하지만 구성은 2 점, 어휘는 5 점"처럼 세부적인 피드백을 줍니다. 마치 음식이 "소스는 맛있는데, 고기는 질기다"라고 구체적으로 알려주는 것과 같습니다.

🚀 "속도와 정확도의 저울질" (모델 선택)

카이옘 안에는 서로 다른 성격을 가진 5 명의 'AI 채점관'이 있습니다. 사용자는 상황에 따라 선택할 수 있습니다.

• 빠른 요리사 (기존 모델): 문법이나 단어 같은 건 순간에 처리하지만, 아주 복잡한 논리 평가는 조금 부족할 수 있습니다. (속도 중시)
• 정교한 미식가 (최신 AI 모델): 문법부터 글의 흐름, 논리까지 30 초 정도 걸려서 아주 꼼꼼하게 평가합니다. 정확도는 최고지만 시간이 좀 걸립니다. (정확도 중시)

선생님은 "오늘은 급하니까 빠른 걸로 채점해 줘" 혹은 "이번 시험은 중요하니까 정교한 걸로 채점해 줘"라고 선택할 수 있습니다.

4. 누가 사용할 수 있나요?

• 선생님들: 복잡한 코딩이나 기술 없이, 웹사이트에 로그인하기만 하면 에세이를 업로드하고 채점 결과를 받을 수 있습니다.
• 개발자/연구자: 이 시스템의 '레시피 (API)'를 공개해서, 다른 사람들이 이 기술을 가져다 새로운 프로그램을 만들 수 있게 했습니다.

5. 결론: 왜 이것이 중요한가요?

카이옘은 아랍어 교육 현장에서 공정하고 효율적인 평가를 가능하게 합니다. 선생님은 에세이를 일일이 읽는 수고로움에서 해방되어, 학생들에게 더 의미 있는 지도를 할 시간을 벌 수 있게 됩니다.

마치 스마트한 비서가 선생님의 책상 위에 앉아, 산더미 같은 에세이를 정리하고 점수표를 만들어주는 것과 같습니다. 이는 아랍어 교육의 디지털 전환을 이끄는 중요한 첫걸음입니다.

기술 요약

논문 요약: Qayyem - 아랍어 에세이 숙련도 점수 매기기를 위한 실시간 플랫폼

1. 문제 정의 (Problem)

• 아랍어 자동 에세이 채점 (AES) 의 부재: 영어 에세이 채점 시스템은 활발히 연구되고 있지만, 아랍어 AES 는 언어적 복잡성과 대규모 공개 주석 데이터셋의 부재로 인해 제한적입니다.
• 기존 도구의 한계: 기존 아랍어 작성 지원 도구 (예: Qalam) 는 피드백에 초점을 맞추고 있으며, 에세이 채점을 목표로 하는 ARWI 와 같은 도구는 특정 프롬프트 (prompt-specific) 에만 작동하거나 다중 특성 (multi-trait) 채점을 지원하지 않아 실제 교육 환경에서의 적용성이 떨어집니다.
• 일반화 문제: 대부분의 기존 모델은 특정 프롬프트에 맞춰 훈련되어 새로운 주제나 프롬프트가 주어지면 성능이 급격히 저하되는 문제가 있습니다.

2. 방법론 (Methodology)

Qayyem은 아랍어 에세이 채점을 위한 웹 기반 실시간 플랫폼으로, 다음과 같은 아키텍처와 워크플로우를 제공합니다.

• 시스템 아키텍처:

  • 할당 관리자 (Assignment Manager): Next.js 기반의 풀스택 웹 인터페이스로, 사용자 인증, 프롬프트 및 채점 기준 (Rubric) 설계, 에세이 업로드 등을 담당합니다.
  • 채점 서버 (Scoring Server): FastAPI 기반의 백엔드 서비스로, 배포된 모델들을 통해 자동 채점을 수행합니다. API 게이트웨이와 키 관리자를 통해 외부 개발자도 모델에 접근할 수 있도록 지원합니다.
  • 데이터베이스: PostgreSQL 을 사용하여 사용자, 프롬프트, 채점 결과 등을 관리하며, Prisma 를 통해 객체 - 관계 매핑을 수행합니다.

• 작업 워크플로우:

  1. 프롬프트 및 Rubric 설계: 작성 주제와 특성별 (문법, 구성 등) 채점 기준을 정의합니다.
  2. 할당 설정: 에세이 유형, 등급, 평가할 특성 (Traits) 및 사용할 채점 모델을 선택합니다.
  3. 채점 (Scoring): 배치 업로드된 에세이를 선택된 모델로 실시간 채점합니다.
  4. 검토 (Review): 자동 채점 결과를 확인하고, 필요시 수동으로 수정하거나 여러 모델의 결과를 비교할 수 있습니다.

• 채점 모델 (Scoring Models):

  • 특성 기반 모델 (Feature-based): 816 개의 수동 설계 특징 (handcrafted features) 을 활용하는 RF, NN, XGBoost 모델.
  • 최첨단 모델 (SOTA):
    • TRATES: LLM(Fanar) 을 사용하여 특성별 특징을 생성하고 신경망으로 채점하는 모델.
    • MOOSE: 전문가 혼합 (Mixture-of-Experts) 을 활용하여 특성 예측, 에세이 순위 매기기, 프롬프트 관련성을 평가하는 모델 (AraBERT 인코더 사용).
  • 데이터셋: 모든 모델은 아랍어 AES 를 위한 가장 큰 다중 특성 데이터셋인 LAILA(7,859 개의 에세이, 8 개의 프롬프트, 7 가지 특성) 를 기반으로 교차 프롬프트 (cross-prompt) 설정으로 훈련되었습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 아랍어 AES 플랫폼: 프롬프트에 구애받지 않는 (cross-prompt) 다중 특성 채점을 지원하는 최초의 온라인 아랍어 AES 시스템인 Qayyem을 소개했습니다.
2. 실용적인 교육 워크플로우: 프롬프트 설계부터 채점, 검토, 보고서 생성까지 전 과정을 지원하는 웹 인터페이스를 제공하여 교사의 업무 부담을 줄였습니다.
3. 다양한 SOTA 모델 배포: 성능과 효율성을 고려하여 다양한 상태-of-the-art 아랍어 채점 모델을 통합 배포했습니다.
4. 공개 API 제공: 개발자와 연구자가 직접 배포된 모델에 접근하여 쿼리할 수 있는 API 를 공개하여 연구 생태계를 확장했습니다.

4. 실험 결과 (Results)

LAILA 데이터셋을 기반으로 한 실험 결과는 다음과 같습니다 (성능 지표: Quadratic Weighted Kappa, QWK):

• 성능 (Effectiveness):
  • TRATES 모델이 모든 특성 (관련성, 구성, 어휘, 스타일 등) 에서 가장 높은 평균 QWK(0.653) 를 기록했습니다. 특히 '관련성 (Relevance)' 특성에서 MOOSE 보다 15 포인트 높은 성능을 보였습니다.
  • MOOSE가 두 번째로 좋은 성능을 보였으며, 전통적인 특성 기반 모델 (RF, NN, XGB) 보다 우월한 성능을 입증했습니다.
• 효율성 (Efficiency) 과 성능의 트레이드오프:
  • 속도: 특성 기반 모델 (RF, NN, XGB) 은 에세이당 0.2~0.3 초로 매우 빠르지만, QWK 성능은 상대적으로 낮았습니다.
  • 정확도 vs 시간: TRATES 는 에세이당 약 30 초의 시간이 소요되지만 가장 높은 정확도를 제공합니다. 이는 특성별 모델 호출이 필요하기 때문입니다.
  • 결론: 사용자는 빠른 처리가 필요한 경우 특성 기반 모델을, 높은 정확도가 필요한 경우 TRATES 나 MOOSE 를 선택하여 효율성과 정확도 사이의 균형을 맞출 수 있습니다.

5. 의의 및 중요성 (Significance)

• 아랍어 교육 기술의 혁신: 아랍어 에세이 채점 분야에서 장기적으로 해결되지 않았던 '대규모 데이터 부족'과 '배포 가능한 소프트웨어 부재' 문제를 동시에 해결했습니다.
• 확장성과 일반화: 특정 프롬프트에 의존하지 않고 새로운 과제에도 재학습 없이 적용 가능한 교차 프롬프트 (cross-prompt) 능력을 제공하여 실제 학교 및 대학 환경에서의 적용 가능성을 높였습니다.
• 오픈 이코시스템: API 를 통해 연구자와 개발자가 모델에 접근할 수 있게 함으로써, 아랍어 NLP 및 교육 기술 분야의 협력과 추가 연구를 촉진합니다.
• 인간 - AI 협업: 완전 자동화뿐만 아니라 교사의 수동 검토 및 점수 수정 기능을 포함하여, AI 의 판단을 최종적으로 인간이 검증하는 신뢰할 수 있는 평가 시스템을 구축했습니다.

이 논문은 아랍어 교육 평가의 디지털 전환을 가속화하고, 언어적 장벽을 넘어선 정교한 자동 채점 시스템의 표준을 제시했다는 점에서 큰 의의를 가집니다.