Towards Generalizable Representations of Mathematical Strategies

1. 연구 배경 및 문제 정의 (Problem)

• 기존 한계: 기존 수학 텍스트용 사전 학습 인코더는 공식 분류나 정보 검색과 같은 작업에서는 성과를 보였으나, 전체 해법 경로 (entire solution pathways) 를 포괄하는 학생들의 전략을 표현하고 포착하는 데에는 한계가 있었습니다.
• 현재 접근법의 문제점:
  • 수동 라벨링: 전문가가 직접 전략을 라벨링하는 방식은 노동 집약적이며 확장성이 떨어집니다.
  • 플랫폼 종속성: 특정 학습 플랫폼 (예: MATHia) 의 행동 로그 (Action logs) 에 기반한 표현 학습은 해당 플랫폼에 국한되어 다른 환경이나 문제 간 비교가 어렵습니다.
• 핵심 과제: 문제의 구체적 내용이나 플랫폼에 구애받지 않고 (platform-agnostic, problem-invariant), 학생이 사용한 전체 해법 전략을 일반화하여 표현할 수 있는 방법이 필요합니다.

2. 방법론 (Methodology)

연구진은 전체 대수학 해법 경로의 문제 불변 (problem-invariant) 표현을 학습하기 위해 다음과 같은 3 단계 접근법을 제시했습니다.

2.1. 데이터 및 전처리

• 데이터 소스: 'From Here To There! (FH2T)'라는 게이미피케이션 학습 플랫폼에서 수집된 대규모 무작위 통제 실험 (RCT) 데이터 (7 학년 학생 4,092 명, 193,782 개의 문제 해결 경로) 를 사용했습니다.
• 데이터 특성: 학생들은 정답에 도달하기 위해 자유롭게 대수적 변환을 수행할 수 있으며, 각 단계는 '시작 상태 (Start State)'에서 '목표 상태 (Goal State)'로 이어지는 상태들의 시퀀스로 기록됩니다.

2.2. 임베딩 생성 전략: 상태 (State) vs 전이 (Transition)

• 상태 기반 임베딩 (State-based): 각 대수적 상태 ($s_t$) 를 고용량 사전 학습 모델 (MathBERT 등) 로 인코딩합니다. 그러나 이는 문제의 표면적 형태 (surface form) 에 민감하여 다른 문제라도 유사한 전략을 사용해도 임베딩 공간에서 멀어질 수 있습니다.
• 전이 기반 임베딩 (Transition-based, 제안):
  • 연속된 두 상태 간의 벡터 차이 ($\delta_t = h_t - h_{t-1}$) 를 계산하여 변환 (Transformation) 자체에 초점을 맞춥니다.
  • 이는 구체적인 숫자나 변수가 아닌, 수행된 **수학적 연산의 종류 (예: 덧셈, 곱셈, 분배)**를 강조하여 문제 간 일반화 능력을 높입니다.

2.3. 시퀀스 레벨 표현 학습 (Sequence-Level Learning)

• 모델 아키텍처: 전이 임베딩 시퀀스를 입력으로 받아 고정된 벡터로 변환하는 SimCSE (Simple Contrastive Learning of Sentence Embeddings) 기반 인코더를 사용합니다.
  • Backbone: Transformer 레이어를 사용합니다.
  • 학습 목표: 동일한 시퀀스에 드롭아웃 마스크를 적용하여 생성된 두 임베딩 (Positive Pair) 은 가깝게, 다른 시퀀스 (Negative Pair) 는 멀게 배치되도록 **대조적 학습 (Contrastive Learning)**을 수행합니다.
  • 하이퍼파라미터: Transformer 레이어 수 ($L$) 와 임베딩 차원 ($k$) 을 튜닝했습니다.

2.4. 평가 및 창의성 지표 도출

• 평가 태스크:
  1. 액션 유형 분류 (Action Type Content): 해법 경로에 포함된 75 가지 시스템 액션 유형을 다중 레이블 분류로 예측.
  2. 해법 효율성 예측 (Efficiency): 최적, 비최적, 미완성으로 분류.
  3. 액션 시퀀스 재구성 (Reconstruction): 임베딩에서 원래 액션 순서를 LSTM 으로 재구성 (Perplexity 측정).
• 창의성 및 전략 지표: 학습된 임베딩 공간의 거리를 기반으로 다음 지표를 도출했습니다.
  • 전략 독창성 (Uniqueness): 다른 학생들의 전략 분포로부터의 마할라노비스 거리.
  • 전략 다양성 (Diversity): 한 학생이 시도한 다양한 해법 간의 코사인 비유사도 평균.
  • 전략 순응도 (Conformity): 가장 빈번한 최적 해법과의 코사인 유사도.

3. 주요 결과 (Results)

3.1. RQ1: 전이 임베딩의 일반화 능력

• t-SNE 시각화: 상태 기반 임베딩은 문제 ID(Problem ID) 별로 명확하게 군집화되어 문제 특정 정보를 많이 포함하는 반면, 전이 기반 임베딩은 문제 간 중첩이 크고 액션 유형 (연산 종류) 별로 군집화되었습니다.
• 결론: 전이 기반 임베딩이 문제의 구체적 내용보다 **수학적 변환의 의미 (Semantics)**를 더 잘 포착하여 일반화됩니다.

3.2. RQ2: 시퀀스 임베딩의 전략 표현 능력

• 성능: SimCSE 기반 인코더 (MathBERT-mamut 기반, $L=1, k=768$) 가 베이스라인 (평균 풀링) 보다 액션 내용 예측과 시퀀스 재구성에서 우수한 성능을 보였습니다.
• 의미: 대조적 학습을 통해 학습된 임베딩은 해법의 순서와 변환 구조를 효과적으로 인코딩하며, 단순히 상태의 평균을 내는 것보다 풍부한 전략 정보를 담고 있습니다.
• 효율성 예측: 효율성 예측에서는 베이스라인보다 성능이 낮았으나, 이는 모델이 효율성보다는 전략의 구성과 순서에 더 집중하도록 학습되었기 때문으로 해석됩니다.

3.3. RQ3: 창의성 지표와 학습 성과의 연관성

• 단기 및 장기 학습 결과와의 상관관계:
  • 전략 순응도 (Conformity): 공통된 최적 전략과 유사할수록 단기 (개념, 절차, 유연성) 및 장기 (7 학년 주립 시험 점수) 학습 성과가 가장 강력하게 긍정적 상관관계를 보였습니다.
  • 전략 독창성 (Uniqueness) 및 다양성 (Diversity): 이 또한 학습 성과와 유의미한 양의 상관관계를 보였습니다.
• 해석: 효과적인 문제 해결은 **수렴적 사고 (최적 전략으로의 수렴)**와 **발산적 사고 (다양한 전략 탐색)**의 조합을 필요로 함을 시사합니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 플랫폼 독립적 전략 분석: 수동 라벨링이나 특정 시스템 액션에 의존하지 않고, 사전 학습된 수학 모델과 전이 기반 임베딩을 통해 어떤 플랫폼에서도 적용 가능한 학생 전략 분석 프레임워크를 제시했습니다.
2. 수학적 창의성의 정량화: 언어적 창의성 연구 (SemDis 등) 에서 영감을 받아, 임베딩 공간의 거리를 기반으로 학생의 수학적 창의성 (독창성, 다양성) 과 발산적 사고를 확장 가능하게 측정하는 지표를 개발했습니다.
3. 교육 데이터 마이닝 (EDM) 의 발전: 학생의 문제 해결 과정을 단순한 정답 여부가 아닌, 전략의 구조와 유연성으로 분석할 수 있는 새로운 관점을 제공하며, 자동화된 평가 및 맞춤형 학습 시스템 개발에 기여합니다.
4. 학습 성과 예측: 도출된 전략 지표들이 단기 및 장기 학습 성과와 밀접하게 연관되어 있음을 실증하여, 교육 개입 (예: 다양한 전략 시도 유도) 의 효과를 측정하는 데 활용 가능함을 보였습니다.

5. 결론

이 연구는 SimCSE 기반의 전이 임베딩이 학생들의 대수학 문제 해결 전략을 효과적으로 표현하며, 이를 통해 도출된 전략의 독창성, 다양성, 순응도가 학습 성과의 중요한 예측 변수임을 입증했습니다. 이는 교육 기술 분야에서 학생의 인지적 과정을 더 깊이 이해하고, 창의성과 유연한 사고를 촉진하는 맞춤형 교육을 설계하는 데 중요한 기초를 제공합니다.