Training data generation for context-dependent rubric-based short answer grading

논문 개요

이 연구는 OECD 의 PISA(국제학업성취도평가) 시험과 같은 기밀 데이터에 접근할 수 없는 상황에서, 맥락 의존적 채점 기준 (Rubric) 에 기반한 단답형 답안 자동 채점을 위한 대규모 학습 데이터를 생성하는 방법을 탐구합니다. 저자들은 비밀 유지 계약 (NDA) 으로 인해 공개할 수 없는 소량의 기밀 데이터를 참조하여, 이를 대체할 수 있는 공개형 대리 데이터셋 (Surrogate Dataset) 을 생성하는 세 가지 방법을 제안하고 평가했습니다.

1. 문제 정의 (Problem)

• 데이터 접근성 제한: 고품질의 도메인 특화 데이터 (특히 학생의 서술형 답안과 채점 기준이 포함된 데이터) 는 개인정보 보호 및 지식재산권 문제로 인해 공개되지 않거나 접근이 제한적입니다.
• 학습 데이터 부족: 자동 채점 모델을 훈련시키거나 하이퍼파라미터를 최적화하려면 방대한 양의 도메인별 데이터가 필요하지만, 공개된 데이터셋은 대부분 단일 도메인에만 국한되거나 채점 기준 (Rubric) 이 부재합니다.
• 기존 방법의 한계: 완전히 합성된 (Synthetic) 데이터를 생성하면 참조 데이터셋과 유사성이 떨어질 수 있으며, NDA 위반 없이 원본 데이터를 직접 사용하여 생성하는 것도 어렵습니다.

2. 방법론 (Methodology)

저자들은 기밀 데이터 (PISA 데이터) 를 직접 공유하지 않고, 그 **언어적 및 의미적 특징 (Features)**을 모방하는 데이터를 생성하는 파이프라인을 구축했습니다.

가. 참조 데이터셋 (Reference Dataset)

• OECD 로부터 제공받은 PISA 이전 버전의 데이터 (Context, Question, Grading Rubric, Answer, Rating) 를 사용했으나, NDA 로 인해 직접적인 학습에 사용 불가.
• 대신 이 데이터를 '특징의 집합'으로 간주하여 생성된 데이터가 이 특징 분포를 따르도록 목표 설정.

나. 합성 후보 데이터 생성 (Synthetic Candidate Generation)

오픈 소스 LLM(GPT OSS 120b) 을 활용한 4 단계 파이프라인:

1. 맥락 추출 (Context Extraction): 공개 웹 텍스트를 전처리하여 150~800 단어 크기의 문맥 생성.
2. 질문 생성 (Question Generation): 문맥 기반의 논리적 이해를 요구하는 개방형 질문 생성 및 필터링.
3. 채점 기준 생성 (Grading Rubric Generation): '전체 점수', '부분 점수', '점수 없음' 세 가지 등급에 대한 명확한 기준 생성 및 검증.
4. 답안 생성 및 채점 (Answer Generation & Grading): 각 등급별 (전체/부분/무점수) 로 학생 답안 생성. LLM 판정자 (Judge) 를 통해 생성 지침 준수 여부를 확인.

다. 특징 추출 (Feature Extraction)

생성된 데이터와 참조 데이터의 유사성을 측정하기 위해 다음과 같은 15 가지 특징을 추출:

• 임베딩 유사도: BAAI/bge-m3 인코더를 이용한 문맥-질문, 문맥-답안, 채점 기준-답안 간의 코사인 유사도.
• 통계적 지표: N-gram Recall, Jaccard 유사도, TF-IDF 코사인 유사도, 어휘 밀도 (Lexical Density), 답안 길이 등.

라. 데이터 선택 전략 (Data Selection)

생성된 대량의 후보 데이터 중 참조 데이터와 가장 유사한 부분집합을 선택하는 3 가지 방법 비교:

1. 1 차 방법: 각 클래스 (정답/오답 등) 의 참조 데이터 평균 특징과 L2 거리로 가장 가까운 상위 5% 샘플 선택.
2. 2 차 방법: 도메인 다양성 유지를 위해 도메인별 상위 5% 선택 + k-means 클러스터링 (k=8) 을 통해 8 개의 평균 중 가장 가까운 샘플 선택.
3. 3 차 방법 (가장 엄격): 특징 축소 (Reduced features) 대신 **비축소된 특징 (Unreduced features)**을 사용. 참조 데이터와 생성 데이터의 L2 거리 순위 (Rank) 를 기반으로 점수를 산출하여 선택.

3. 주요 결과 (Results)

실험은 세 가지 평가 방식 (E1: Few-shot 정확도, E2: 모델 선택 지표, E3: 모델 훈련 성능) 으로 진행되었습니다.

• 1 차 및 2 차 선택 방법:

  • 특징 평균의 절대적 차이를 줄이는 데 일부 성공했으나 (예: 답안 길이), 모델 성능 향상에는 실패했습니다.
  • E1, E2, E3 모든 실험에서 무작위 샘플링이나 전체 데이터셋 대비 성능이 떨어지거나 유의미한 차이가 없었습니다.
  • 단순 평균화된 특징 집합이 데이터의 복잡성을 충분히 표현하지 못했음이 시사됩니다.

• 3 차 선택 방법 (성공):

  • 통계적 유의성: Wilcoxon 부호 순위 검정 결과, p-value 가 0.00091 및 0.00102 로 0.05 미만 (통계적으로 유의함).
  • 성능 향상: 3 차 방법으로 선택된 데이터로 훈련된 모델은 무작위 샘플링 대비 평균 **정확도 0.0206(첫 번째 실험) 및 0.0116(두 번째 실험)**만큼 향상되었습니다.
  • 이는 비축소된 특징을 활용한 순위 기반 선택이 모델 훈련에 더 효과적인 데이터를 선별했음을 의미합니다.

4. 주요 기여 (Key Contributions)

1. NDA 하의 데이터 생성 프레임워크: 기밀 데이터를 직접 공개하지 않으면서, 그 특징을 모방하는 공개형 학습 데이터셋을 생성하는 실용적인 방법론 제시.
2. 특징 기반 데이터 선별 (Feature-based Selection): 단순한 합성 데이터 생성이 아닌, 참조 데이터의 분포를 정밀하게 모방하기 위한 특징 추출 및 선택 알고리즘 개발.
3. 3 차 선택 방법의 유효성 입증: 단순한 평균 특징 매칭보다, 순위 기반의 비축소 특징을 활용한 선택이 모델 훈련 성능을 유의미하게 개선할 수 있음을 실험적으로 증명.

5. 의의 및 한계 (Significance & Limitations)

• 의의: 교육 평가, 법률, 의료 등 민감한 데이터가 필요한 분야에서 NDA 를 준수하며 고품질 학습 데이터를 확보할 수 있는 새로운 패러다임을 제시합니다. 특히 "채점 기준 (Rubric)"이 포함된 데이터 생성은 자동 채점 시스템 개발에 중요한 기여를 합니다.
• 한계:
  • 실험이 단일 모델 (ModernBERT-base-nli) 과 제한된 반복 횟수 (2~3 회) 로 수행되어 일반화 가능성에 대한 추가 검증이 필요합니다.
  • 단순한 특징 집합 (Averaged features) 은 표현력이 부족할 수 있으며, 더 복잡한 특징 집합이나 가중치 최적화가 필요할 수 있음.
  • 생성된 데이터가 실제 학생 답안의 모든 뉘앙스를 완벽히 반영하는지는 추가 연구가 필요합니다.

결론

이 논문은 기밀 데이터를 활용한 학습 데이터 생성의 난제를 해결하기 위해, 특징 기반의 합성 데이터 생성 및 선택 전략을 제안했습니다. 특히 단순한 특징 매칭을 넘어 **순위 기반의 비축소 특징 선택 (3 차 방법)**이 모델 훈련 성능을 유의미하게 향상시킨다는 점을 발견함으로써, 제한된 데이터 환경에서의 머신러닝 연구에 중요한 통찰을 제공했습니다.