Exposía: Teaching and Assessment of Academic Writing Skills for Research Project Proposals and Peer Feedback

1. 문제 정의 (Problem)

학술 교육에서 연구 프로젝트 제안서 (Exposé) 작성은 가장 큰 도전 과제 중 하나이며, 동시에 학문적 성공에 필수적인 기술입니다. 그러나 많은 학생들이 연구 질문 도출, 방법론 수립, 가설 정의 등 제안서의 핵심 요소를 구성하는 데 어려움을 겪습니다.

동시에 고등 교육은 '동료 피드백 (Peer Feedback)'의 위기 직면해 있습니다. 동료 피드백은 작성자와 검토자 모두의 작문 능력을 향상시키는 강력한 교육 도구이지만, 학생들은 이를 체계적으로 배우는 기회가 거의 없습니다. 또한, 작문과 피드백의 관계를 연구하기 위한 데이터가 부족합니다. 기존 데이터셋은 다음과 같은 한계가 있습니다:

• 분리된 데이터: 작문 (Draft), 피드백 (Feedback), 수정 (Revision) 이 분리되어 있어 상호작용을 분석하기 어렵습니다.
• 세부 정보 부족: 전체적인 점수 (Holistic score) 는 제공되지만, 구체적인 항목별 (Fine-grained) 평가 점수나 피드백의 질을 평가하는 데이터가 부족합니다.
• 맥락 부재: 학술적 제안서 작성과 동료 피드백 제공이라는 두 가지 핵심 기술을 동시에 연결하는 데이터셋이 존재하지 않았습니다.

2. 방법론 (Methodology)

A. Exposía 데이터셋 구축

이 연구는 독일 다름슈타트 공과대학교 (TU Darmstadt) 의 "과학적 작업 소개 (Introduction to Scientific Work)" 과정을 기반으로 Exposía라는 최초의 공개 데이터셋을 구축했습니다.

• 수집 프로세스: 학생들은 1) 초안 작성 $\rightarrow$ 2) 동료 및 강사 피드백 (인라인 댓글 및 자유 텍스트 리뷰) 수령 $\rightarrow$ 3) 수정 및 최종 제출의 단계를 거칩니다.
• 데이터 구성:
  • Exposés: 초안과 최종 수정본 (Draft & Final).
  • Feedback: 인라인 댓글 (텍스트 구간별 하이라이트 + 태그: 강점/약점 등) 과 자유 텍스트 리뷰.
  • Assessment Scores: 강사들이 작성한 36 가지 제안서 평가 기준과 24 가지 리뷰 평가 기준에 따른 세부 점수.
• 규모: 55 개의 제안서, 306 개의 리뷰, 2,253 개의 인라인 댓글 (수집 중 지속 확장 예정).

B. 평가 기준 (Rubrics) 설계

교육학적 근거에 기반한 세밀한 평가 기준을 개발했습니다.

• 제안서 평가 (36 항목): 동기부여 (Motivation), 접근법 (Approach), 방법론 (Methodology), 일정 (Schedule), 참고문헌 (Bibliography) 등 9 가지 상위 범주 (Rubrics) 로 구성.
• 리뷰 평가 (24 항목): 피드백의 명확성, 학습 목표 (Feed Up), 피드백 내용 (Feed Back), 향후 학습 안내 (Feed Forward) 등 8 가지 범주로 구성.
• 특징: 주제에 구애받지 않는 (Topic-independent) 전이 가능한 기술 평가에 중점을 둡니다.

C. 실험 설정 (LLM Benchmarking)

Exposía를 활용하여 최신 대규모 언어 모델 (LLM) 의 성능을 두 가지 태스크에서 벤치마크했습니다.

1. 제안서 자동 채점 (Exposé Scoring): 36 가지 기준에 따른 점수 예측.
2. 리뷰 자동 채점 (Review Scoring): 24 가지 기준에 따른 피드백 품질 점수 예측.

• 모델: GPT-5.2, Claude Opus 4.6, Gemini 3.1 Pro (폐쇄형) 와 Llama 3.3, Qwen 3, GPT OSS (개방형) 등 다양한 모델 비교.
• 프롬프트 전략: 단일 기준별 프롬프트 (Single-criterion) vs. 모든 기준을 한 번에 처리하는 결합 프롬프트 (Combined prompting) 비교.
• 평가 지표: 인간과 모델의 점수 분포 차이를 측정하기 위해 **Binned Jensen-Shannon Divergence (JSD)**를 주 평가 지표로 사용 (상관관계나 단순 일치율보다 인간-기계 정렬을 더 잘 반영).

3. 주요 기여 (Key Contributions)

1. Exposía 데이터셋 공개: 학술적 제안서 작성, 동료 피드백, 수정 과정, 그리고 세밀한 인간 평가 점수를 하나의 데이터셋으로 통합한 최초의 공개 코퍼스입니다.
2. 새로운 문제 정의: 학술 교육 환경에서 '제안서 작성'과 '피드백 제공'이라는 두 가지 기술을 동시에 가르치고 평가하는 새로운 태스크를 정의했습니다.
3. 세밀한 평가 기준 (Rubrics): 제안서와 피드백의 질을 평가하기 위해 교육학적으로 검증된 36 개 및 24 개의 세부 평가 기준을 개발하고 공개했습니다.
4. LLM 성능 벤치마크: 제안서 및 리뷰 채점 태스크에 대한 SOTA LLM 들의 성능을 정립하고, 오픈형 모델과 폐쇄형 모델의 성능 차이를 분석했습니다.

4. 실험 결과 (Results)

• 프롬프트 전략: 모든 모델과 태스크에서 **결합 프롬프트 (Combined prompting)**가 단일 기준 프롬프트보다 인간 평가자와의 정렬 (Alignment) 이 더 높았으며, 계산 효율성도 훨씬 뛰어났습니다. (단일 기준 프롬프트는 토큰 비용과 지연 시간이 크게 증가함).
• 모델 성능 비교:
  • 폐쇄형 모델 우위: Claude Opus, GPT-5.2 등 폐쇄형 모델이 오픈형 모델 (Open-weight) 보다 일관되게 인간 점수 분포와 더 잘 일치했습니다 (낮은 JSD).
  • 작업별 최적 모델 차이: 모든 모델이 두 태스크에서 동일한 성능을 보이는 것은 아닙니다. 예를 들어, GPT-5.2 는 제안서 채점에서는 최상이지만 리뷰 채점에서는 성능이 낮았으며, Llama 3.3 은 그 반대 경향을 보였습니다. 이는 각 태스크에 적합한 모델이 다를 수 있음을 시사합니다.
• 오픈형 모델의 한계: 교육 현장에서는 데이터 프라이버시 문제로 인해 로컬 배포 가능한 오픈형 모델이 필수적이지만, 현재는 폐쇄형 모델에 비해 성능이 뒤처집니다. 이는 향후 연구의 중요한 방향성을 제시합니다.
• 인간-인간 일치도: 인간 평가자 간의 일치도 (IAA) 는 주제나 평가 기준에 따라 상이했으나, LLM 과 인간의 일치도는 인간 간 일치도와 유사한 수준을 보였습니다.

5. 의의 및 시사점 (Significance)

• 교육적 도구로서의 AI: LLM 기반 채점 시스템은 교사의 업무 부담을 줄일 수 있는 잠재력을 가지지만, 완전 자동화보다는 **의사결정 지원 도구 (Decision-support tool)**로 활용되어야 함을 강조합니다. (모델이 중요한 수정 사항을 놓치거나 전략적 게임플레이를 유도할 수 있음).
• 데이터의 확장성: 이 데이터셋은 작문과 피드백 간의 인과 관계 분석, 피드백 기반 수정 예측, 자동 피드백 생성 등 다양한 NLP 연구 과제를 가능하게 합니다.
• 실제 교육 환경 적용: 데이터는 실제 대학 강의에서 수집되었으며, 학생들의 행동 로그 (Interaction logs) 를 포함하여 마감일 직전의 급격한 활동 증가 (Deadline-driven) 와 같은 실제 교육 환경의 동역학을 반영합니다.
• 프라이버시와 오픈 모델: 교육 데이터의 민감성으로 인해 오픈 소스 모델의 성능 향상이 시급하며, Exposía는 이를 위한 중요한 벤치마크 역할을 수행합니다.

결론적으로, Exposía는 학술 작문 교육과 평가에 대한 계산적 접근을 위한 최초의 통합 리소스를 제공하며, LLM 을 활용한 교육적 피드백 시스템의 개발과 평가에 중요한 기반을 마련했습니다.