기술 요약: 임베딩 기반 유사도 및 클러스터링의 타당성 검증 - 필기된 물리 문제 풀이 데이터를 중심으로

문제 정의

물리 교육에서 의미 있는 평가는 단순히 최종 정답을 확인하는 것을 넘어, 개념적 통찰, 수학적 모델링, 그리고 도식과 방정식의 조화로운 활용 등 풀이 과정을 분석하는 것을 필요로 한다. 자동화된 시스템들이 존재하지만, 이들은 대개 객관식이나 폐쇄형 대수식 답변으로 응답을 제한하여 학생의 추론 범위를 포착하지 못한다는 한계가 있다. 필기된 풀이는 고부담 시험(high-stakes exams)에서 여전히 표준적인 평가 방식으로 사용되지만, 대규모로 채점하기에는 노동 집약적이다.

최근 거대 언어 모델(LLM)과 텍스트 임베딩의 발전은 대규모 텍스트 컬렉션을 효율적으로 정리할 수 있는 계산적 대안을 제시한다. 임베딩 기반 방식은 텍스트를 고차원 벡터 공간으로 매핑하여, 값비싼 쌍별(pairwise) LLM 호출 대신 벡터 연산(예: 코사인 유사도)을 통해 저렴하게 유사도를 계산할 수 있게 한다. 그러나 결정적인 타당성 격차가 존재한다. 즉, 임베딩이 클러스터를 생성할 수는 있지만, 임베딩 공간의 기하학적 구조가 채점에 유의미한 변별력을 보존하는지는 불분명하다. 구체적으로, 임베딩 공간에서의 근접성이 인간이 부여한 점수의 유사성과 일치하는지, 아니면 임베딩이 단지 표면적인 특징에 기반하여 솔루션을 그룹화하는 것인지에 대한 의문이 남는다.

방법론

본 연구는 ETH 취리히의 고부담 공학 열역학 시험에서 수집된 992개의 필기된 학생 문제 풀이 데이터셋을 사용하여 임베딩 기반 유사도 및 클러스터링의 타당성을 평가하였다. 방법론은 다음과 같은 다단계 실험 설계로 구성되었다.

1. 데이터 준비 및 전사(Transcription)

필기된 솔루션은 정규화 및 해석의 정도를 달리하기 위해 다섯 가지의 뚜렷한 전사 조건 하에서 멀티모달 LLM(GPT-5.4)을 사용하여 텍스트로 전사되었다:

• ASCII Verbatim (ASCII 축약형): 최소한의 정규화만 수행하며, 평문 ASCII 내에서 독특한 표기법과 레이아웃을 보존함.
• LaTeX-Oriented (LaTeX 지향형): 수학적 표현은 LaTeX로 변환하되, 산문(prose)은 일반 텍스트로 유지함.
• Formula Narrative (공식 서사형): 원래의 변수는 유지하면서 수학적 단계와 기호를 자연어 형태로 서술함.
• Solution Narrative (풀이 서사형): 평가적인 용어를 피하고, 학생의 가시적인 풀이 과정을 간결한 서사로 기술함.
• Hybrid Structured (하이브리드 구조형): 문제 라벨, 공식, 도식, 외견상 방법 등 고정된 헤딩을 결합하여 리터럴(literal)한 내용과 구조적 조직을 함께 갖춘 구조화된 표현.

중요한 점은, 전사 프롬프트에서 모델이 문제를 풀거나, 오류를 수정하거나, 점수를 부여하는 것을 명시적으로 금지했다는 것이다.

2. 임베딩 생성

각 다섯 가지 텍스트 표현은 아홉 가지 임베딩 메커니즘을 통해 처리되었다:

• 일반 목적용: OpenAI text-embedding-3-large.
• Jina Embeddings v4: 다양한 어댑터(text-retrieval, text-matching) 및 양자화 수준(F16, Q8, Q4).
• 수학 특화형: Qwen 2.5-Math 모델(1.5B 및 7B 파라미터)을 사용하였으며, 최종 레이어의 은닉 상태(hidden states)를 평균 풀링(mean-pooling)하여 벡터를 생성함.

그 결과 총 44,640개의 사용 가능한 임베딩 벡터(9개 메커니즘 × 5개 표현 × 992개 응답)가 생성되었다.

3. 평가 지표

인간이 부여한 점수는 외부 참조 표준 역할을 수행했으나, 임베딩 생성이나 클러스터링 과정에는 사용되지 않았다. 두 가지 주요 분석이 수행되었다:

• 쌍별 유사도 (Pairwise Similarity): 임베딩 유사도와 인간 점수의 절대 차이의 음수 값 사이의 상관관계(Pearson 및 Spearman)를 측정함.
• 계층적 클러스터링 (Hierarchical Clustering): 임베딩으로부터 유도된 거리 행렬에 대해 응집형 클러스터링(agglomerative clustering, average 및 complete linkage 방식)을 수행함. 클러스터의 품질은 가중치 적용 클러스터 내 점수 표준 편차와 "유용한" 클러스터(크기 ≥ 5) 내 학생의 커버리지로 측정됨.

4. 합성 검증 (Synthetic Validation)

카르노 기관(Carnot engine)의 일(work)에 관한 문장들로 구성된 합성 데이터셋을 생성하여, 임베딩이 개념적 정확성(오류 유형/family)을 기준으로 클러스터링하는지, 아니면 표면적 정식화(문장 쌍)를 기준으로 하는지 테스트하였다. 이 "토이 시스템(toy system)"을 통해 임베딩이 전문가처럼 행동하는지(원리에 의해 그룹화), 아니면 초보자처럼 행동하는지(표면 특징에 의해 그룹화)를 통제된 환경에서 조사하였다.

주요 결과

1. 임베딩과 점수 유사도 간의 약한 상관관계

모든 모델과 표현 방식에 걸쳐, 임베딩 유사도는 점수 유사성과 일관되지만 완만한 관계를 보였다.

• 가장 높은 Spearman 상관계수는 0.198 (Hybrid structured + Qwen 7B + 코사인 유사도)이었다.
• 가장 높은 유사도 백분위에서도 상당한 점수 변동이 유지되었다. 즉, 임베딩 유사도가 높은 쌍이 반드시 유사한 점수를 가진 것은 아니었다.
• 이 관계는 채점 등가성을 위한 신뢰할 수 있는 대리 지표로 사용될 만큼 선형적이지 않았다.

2. 점수 정보를 포함하지만 점수 등가성은 없는 클러스터

계층적 클러스터링은 무작위 그룹화보다 점수가 약간 더 균질한 그룹을 생성했으나, 변동성은 여전히 높았다.

• 가장 우수한 구성(Formula narrative + Jina Retrieval Q8 + centered cosine + complete linkage)은 가중치 적용 유용한 클서터 점수 표준 편차 2.547점을 달성했다.
• 이 "최적" 클러스터 내의 점수 범위는 약 7점에서 9점에 달했으며, 이는 클러스터 내에 다양한 성취 수준이 혼재되어 있음을 나타낸다.
• 전사 방식의 영향: 서사형(Narrative) 및 구조화된(Structured) 표현이 리터럴한(ASCII/LaTeX) 전사 방식보다 일반적으로 더 우수한 성능을 보였다. 이는 기호적 작업을 의미론적으로 명시적인 텍스트로 변환하는 것이 임베딩이 채점 관련 구조를 포착하는 데 도움이 됨을 시사한다.
• 모델의 영향: 임베딩 메커니즘 간의 차이는 미미했다. 특정 모델이 모든 조건에서 압도적으로 우수하다고 단정할 수 없었다.

3. 임베딩의 "초보자적" 행동

합성 데이터 분석은 임베딩이 표면적 정식화를 기준으로 문장을 클러스터링하는 경향이 있다는 결정적인 한계를 드러냈다.

• 힘 지향 레이아웃(force-directed layouts)에서, 올바른 문장과 그 변형된 오류 문장들(동일한 단어 패턴을 공유하는 경우)이 함께 클러스터링되었다.
• 반대로, 동일한 개념적 오류를 공유하더라도 표현 방식이 다른 문장들은 서로 떨어져 있는 경우가 많았다.
• 이러한 행동은 물리 교육에서의 "초보자" 분류 방식(표면 특징에 의한 그룹화)을 반영하며, "전문가"의 방식(기저 원리에 의한 그룹화)과는 대조적이다.

의의 및 주장

본 논문은 최첨단 텍스트 임베딩이 필기된 물리 문제 풀이에 대한 검증된 비지도 학습 기반의 채점 기준을 제공하지 못한다고 결론짓는다.

• 타당성 한계: 임베딩 기하학은 "점수 정보가 풍부(score-enriched)"하지만(즉, 인간 점수와 관련된 신호를 일부 포함함), "점수 등가(score-equivalent)"는 아니다. 높은 임베딩 유사도가 채점의 등가성을 보장하지 않는다.
• 평가에서의 역할: 임베딩은 대규모 응답 세트를 탐색하거나, 전형적인 사례(exemplars)를 선택하거나, 특이한 솔루션을 식별하거나, 인간 참여형(human-in-the-loop) 검토 워크플로우를 지원하는 등의 탐색적 조직화에는 적합하다. 그러나 특정 평가 구성 요소에 대한 외부 검증 없이는 자율적인 채점 도구로 충분하지 않다.
• 표면 vs 개념: 본 연구는 현재의 임베딩 메커니즘이 물리 평가에 필요한 깊은 개념적 구조보다는 표면적 특징(표기법, 레이아웃, 문구)에 크게 영향을 받는 "초보자"처럼 행동한다는 점을 시사한다.
• 향ical 방향: 저자들은 비지도 임베딩 기하학에만 의존하는 것보다 루브릭(rubric)을 인지하는 LLM 채점이나 신뢰도 필터링이 적용된 인간 참여형 시스템이 더 유망한 경로라고 주장한다. 또한 클러스터링 결과는 확정적인 채점 카테고리가 아니라 인간의 검사를 위한 가설로서 취급되어야 함을 강조한다.