기술 요약: 검색 증강 생성(RAG)을 통한 커리큘럼 정렬 기반의 평가 피드백 분석

1. 문제 정의

고등 교육에서의 평가 피드백은 특정 학생의 오류에 대한 미세한 증거를 포함하고 있음에도 불구하고, 교수법 개선을 위한 데이터 소스로서 충분히 활용되지 못하고 있다. 교사들은 코호트(cohort)의 성취도를 모니터링하기 위해 루브릭 기반의 통계에 의존하지만, 이러한 지표는 학생들이 구체적으로 어떤 개념이나 절차를 오해하고 있는지, 혹은 그러한 어려움의 근원이 무엇인지를 밝혀내는 데 한계가 있다. 반대로, 평가 피드백은 주로 비정형 텍스트로 이루어져 있어 대규모로 정량화, 집계 또는 비교하기 어렵다. 대규모 학급을 대상으로 하는 수동적인 패턴 추출은 실행 불가능하며, 여러 명의 채점자 간에 발생하는 채점 스타일의 차이는 체계적인 분석을 더욱 복잡하게 만든다.

교육 분야의 기존 거대언어모델(LLM) 응용 사례들은 피드백 생성이나 학생 대상 분석에 집중해 왔으며, 오류 분류와 커리큘럼 수준의 매핑을 효과적으로 결합하지는 못했다. 또한, 전문가가 설계한 분류 체계를 사용하는 LLM 기반 분류의 신뢰도는 여전히 불확실하다. 이는 LLM이 카테 catégorie 정의에 매우 민감하기 때문이다. 따라서 비정형 피드백을 교수법 조정을 위한 실행 가능한 커리큘럼 정렬 오류 패턴으로 변환할 수 있는 방법론이 부족한 실정이다.

2. 방법론

본 연구는 비정형 평가 피드백을 커리큘럼과 정렬된 오류 분석으로 변환하기 위한 3단계 LLM 기반 방법론을 제안한다. 이 접근 방식은 학부 공학 설계 과정의 4개 코호트(2022~2025년)에서 수집된 6,072개의 피드백 데이터에 적용되었다.

1단계: 데이터 기반 오류 분류 체계(Taxonomy) 생성

사전에 정의된 전문가 카테고리에 의존하는 대신, 본 방법론은 피드백 데이터 자체로부터 귀납적으로 오류 분류 체계를 생성한다:

1. 행동 추상화(Behavioral Abstraction): LLM은 각 피드백 항목을 특정 주제와 독립적인 행동적 특성으로 추상화한다 (예: "속도에 대한 정당성 부족"을 "절차적 투명성 결여"로 변환).
2. 의미적 그룹화(Semantic Grouping): LLM은 의미적 유사성을 바탕으로 이러한 특성들을 후보 카테고리로 그룹화한다.
3. 인간 검토(Human Review): 인간 검토자가 중복되는 카테고리를 병합하고 특성들을 재할당하여 최종 분류 체계를 확정한다.
4. 정의 생성(Definition Generation): LLM은 최종 카테고리에 대한 정의와 경계(boundary)를 생성한다.
   결과: 4개의 오류 카테고리(내용 미비/누락, 절차/과정 결함, 추론/해석 오류, 제시/전달 방식)와 1개의 긍정 카테고리로 구성된 분류 체계가 도출되었다.

2단계: 커리큘럼 매핑을 위한 검색 증강 생성(RAG)

이 단계는 각 오류를 특정 커리큘럼 내용과 연결한다:

1. 지식 베이스 구축: 강의 슬라이드를 멀티모달 LLM과 인간의 검토를 거쳐 374개의 "지식 단위(knowledge units)"(단일 주제를 다루는 독립된 세그먼트)로 처리한다. 이 단위들은 text-embedding-3-large를 사용하여 임베딩된다.
2. 매핑 프로세스: 각 피드백 항목에 대해, 시스템은 코사인 유사도를 통해 가장 유사한 상위 5개의 지식 단위를 검색한다. 이후 LLM은 피드백, 검색된 단위, 그리고 오류 분류 체계를 분석하여 오류 카테고리를 할당하고, 피드백을 가장 관련 있는 지식 단위에 연결하며, 그 근거(reasoning)를 제공한다.

3단계: 패턴 집계 및 커버리지 분석

개별 주석(annotation)은 실행 가능한 패턴으로 통합된다:

1. 의미적 통합(Semantic Consolidation): 채점자 간의 차이를 해결하기 위해, 각 (지식 단위, 오류 카테고리) 그룹 내에서 의미적으로 유사한 추론 설명들을 병합한다.
2. 주차별 패턴 형성(Weekly Pattern Formation): 동일한 수업 주차 내의 서로 다른 지식 단위들 사이에서 연관된 병합된 주석들을 단일 "오류 패턴"으로 통합한다.
3. 정량화(Quantification): 코호트 커버리지는 특정 패턴을 참조하는 학생 그룹의 비율을 수업 주차별로 정리하여 계산된다. 이를 통해 연도별 추세 분석이 가능하다.

평가 설계

본 방법론은 두 가지 관점에서 평가되었다:

• 분류 신뢰도 (RQ2): 데이터 기반 분류 체계의 출력값을 독립적으로 개발된 전문가 분류 체계 및 인간의 판단과 비교하여 Cohen's $\kappa$ 및 일치율을 측정하였다.
• 실질적 유용성 (RQ3): 교수팀(교과목 코디네이터 및 조교)으로 구성된 포커스 그룹이 교차 연도 분석 결과물을 검토하여 타당성, 참신성, 해석 가능성 및 실행 가능성을 평가하였다.

3. 주요 결과

분류 성능

• 인간-LLM 일치도: 데이터 기반 분류 체계는 인간의 판단과 **89.1%**의 일치율($\kappa = 0.91$)을 보였으며, 이는 **74.7%**의 일치율($\kappa = 0.64$)을 기록한 전문가 설계 분류 체계를 크게 상회하는 수치이다.
• 불일치 분석: 전문가 분류 체계는 특히 "부주의함(Careless)"(21.4% 일치) 및 "절차적(Procedural)"(12.1% 일치)과 같은 카테고리에서 광범-적인 운용상의 어려움을 보였다. 또한 "제시/전달 방식" 카테고리가 누락되어, 전체 기록의 5.9%가 부적절한 카테고리에 강제로 할당되었다. 반면, 실제 피드백 말뭉치(corpus)에서 유도된 데이터 기반 분류 체계는 채점자들이 자연스럽게 만드는 구분을 잘 유지하였다.
• 커리큘ium 매핑: 연결된 지식 단위의 관련성에 대한 일치도는 두 분류 체계 모두 높았다 (데이터 기반 92.0% vs 전문가 89.7%).

커리큘럼 정렬 인사이트

• 오류 분포: "내용 미비/누락 및 정당성 부족"이 지배적인 오류 유형(전체 오류의 66.5%)이었으나, 두 번째 평가 단계에서는 "절차/과정 결함"이 유의미하게 증가했다.
• 패턴 식별: 본 방법론은 특정 반복 오류 패턴(예: "선택한 설계 속도에 대한 정당성 누락")을 식별하고 이를 특정 주차 및 지식 단위에 매핑하였다.
• 연도별 추세: 분석 결과 오류 패턴의 다양한 궤적이 드러났다. 예를 들어, "단면 데이터(cross-section data)" 관련 오류는 시간이 지남에 따라 감소한 반면, "곡선 협응 정당성(curve coordination justification)" 관련 오류는 증가하였으며, 이는 특정 교수법 조정의 영향을 조사할 수 있는 근거를 제공하였다.

교수팀 피드백

교수팀은 출력물이 자신들의 채점 경험과 일치함을 확인하였다. 주요 결과는 다음과 같다:

• 규모의 검증: 오류의 양적 규모는 팀을 놀라게 했으며, 이전에는 강조되었던 일부 이슈들이 매우 보편적인 문제였음을 드러냈다.
• 성찰적 실천: 연도별 추세를 통해 팀은 과거의 교수법 조정(예: 상세한 프로젝트 브ik)이 학생 성취도에 미친 영향을 추적할 수 있었다.
• 실행 가능한 결정: 이 증거는 낮은 오류를 보이는 주제에서 높은 오류를 보이는 주제로 강의 시간을 재배정하고, 특정 수업 내 시연(demonstration)을 도입하자는 제안을 이끌어냈다.
• 주의사항: 팀은 오류율이 교수 품질의 단독 척도로 사용되어서는 안 된다고 주의를 주었으며, 본 분석이 서면 자료에 국한되어 구두 지시의 뉘앙스를 놓칠 수 있음을 언급하였다.

4. 주요 기여

1. 방법론적 혁신: 본 연구는 데이터 기반 분류 체계 생성과 검색 증강 생성(RAG)을 결합하여 비정형 피드백을 특정 커리큘럼 내용에 매핑하는 새로운 파이프라인을 제시한다.
2. 분류 체계 설계에 대한 경험적 증거: 본 연구는 전문가가 설계한 분류 체계가 항상 최적인 것은 아니라는 가설에 도전한다. 연구 결과, 대상 말뭉치로부터 유도된 카테고리가 사전에 지정된 전문가 카테고리보다 인간의 판단과 훨씬 더 높은 정렬도를 보임을 입증하였다.
3. 피드백의 재정의: 본 연구는 평가 피드백의 관점을 학생 대상의 소통 도구에서 교수법 개선을 위한 진단적 데이터 소스로 전환하며, 이를 통해 특정 학습 내용 수준에서의 구성적 정렬(constructive alignment) 실패를 식별할 수 있게 한다.
4. 인간 참여형(Human-in-the-Loop) 분석: 본 연구는 교수팀이 커리큘럼 정렬된 증거를 어떻게 해석하는지 보여줌으로써, 이러한 데이터가 전문적 판단을 대체하는 처방적 도구가 아니라 성찰과 맥락적 지식과의 삼각측량을 위한 출발점 역할을 함을 보여준다.

5. 의의 및 주장

본 논문은 이 접근 방식이 교수자로 하여금 단순한 총괄적 성취도 지표를 넘어, 이전에 도달할 수 없었던 규모로 학생들의 어려움에 대한 "무엇(what)"과 "왜(why)"를 이해할 수 있게 한다고 주장한다. 정렬 실패를 경험적으로 가시화함으로써, 본 방법론은 타겟팅된 커리큘럼 개정과 교수 노력의 재배분을 지원한다.

저자들은 본 연구가 단일 공학 과정 내의 사례 연구이며, 다른 학문 분야, 평가 형식(예: 개인 시험), 기관적 맥락에서의 효과를 검증하기 위해서는 추가적인 테스트가 필요함을 겸허히 인정한다. 또한 지식 베이스로서의 서면 자료 의존도가 구두 지시를 완전히 포착하지 못할 수 있다는 점과, 숙련된 검토자 풀이 적다는 점으로 인한 검증 과정의 제약 또한 인정한다. 그럼러도 본 연구는 질적 교육 데이터를 활용하여 고등 교육에서의 교수 결정을 뒷받침하기 위한 기초적인 방법론을 확립하였다.