기술 요약: AI 튜터링 상호작용에서의 LLM 교육적 행동

문제 정의

학생들이 과제 수행 및 문제 해결을 위해 대규모 언어 모델(LLM)을 온디맨드 튜터로 점점 더 많이 활용함에 따라, 실제 학습 상호작용에서 이러한 모델이 제공하는 *지원 수준(level of assistance)*에 대한 경험적 이해가 심각하게 부족한 실정이다. 학생의 사용 패턴(학생이 무엇을 묻는가)을 규명하거나 교육적으로 설계된 튜터를 탐구한 기존 연구는 존재하지만, 범용 LLM이 제공하는 직접적인 지원의 정도는 여전히 충분히 규명되지 않았다. 이러한 격차는 중요한데, 지원의 정도가 과업에 대한 학습자의 역할을 결정하며, 이는 학습자의 인지적 노력에 직접적인 영향을 미치는 "지원 딜레마(Assistance Dilemma)"(Koedinger & Aleven, 2007)—즉, 너무 적은 도움을 주어 진행을 방해하는 것과 너무 많은 도움을 주어 생산적인 인지적 노력을 우회하게 만드는 것 사이의 긴장 관계—와 직결되기 때문이다.

방법론

본 연구는 지원의 차원을 **스캐폴딩 수준(scaffolding level)**으로 조작적으로 정의하고, 대학 입문 AI 과정의 학생 203명으로부터 수집된 14,637개의 LLM 응답을 분석하기 위한 측정 프레임워크를 개발하였다(StudyChat 데이터셋).

1. 스캐폴딩 척도 개발

저자들은 LLM 응답이 제공하는 직접적인 지원의 양에 따라 분류하기 위해 5단계 순서 척도($L_0$에서 $L_4$)를 정의하였다:

• $L_0$ (최소 - Minimal): 실질적인 과업 관련 지원 없음 (예: 거절, 방향 전환).
• $L_1$ (프롬프팅 - Prompting): 해결책을 제시하지 않고 추론이나 시도를 독려함.
• $L_2$ (힌트 제공 - Hinting): 구체적인 해결책을 제공하지 않으면서 관련 개념, 함수 또는 오류 위치를 식별함.
• $L_3$ (설명 - Explaining): 학생이 여전히 적용해야 하는 접근 방식이나 개념을 설명함.
• $L_4$ (해결 - Solving): 직접 사용할 수 있는 완전하고 과업 특화된 해결책을 제공함.

2. 데이터 및 분류

• 데이터셋: 특정 교육적 지침 없이 일반적인 시스템 프롬프트("당신은 도움이 되는 조수입니다")를 사용하여 GPT-4o-mini 모델과 상호작용한 StudyChat 데이터셋(McNichols et al., 2026)을 사용하였다.
• 자동 분류: 정의된 코드북을 바탕으로 훈련된 GPT-4o-mini(temperature 0)를 사용하여 응답을 분류하였다.
• 타당성 검증: 300개의 응답 샘ле을 두 명의 전문가가 층화 추출하여 주석을 달았다. 분류기는 조정된 인간 레이블에 대해 75.3%의 정확도와 .751의 가중치 F1 점수를 달성하였다. 인간 주석가 간의 일치도는 높았다($\kappa = .901$). 대부분의 분류 오류는 $L_3/L_4$ 경계에서 발생하였으며, "해결(Solving)" 응답을 과소 탐지하는 경향이 있었다.

3. 분석 접근법

본 연구는 세 가지 연구 질문(RQ)을 다룬다:

• RQ1: 스캐폴딩 수준의 분포는 어떠하며, 요청 유형 및 과제에 따라 어떻게 달라지는가?
• RQ2: 스캐폴딩 수준은 학생의 후속 대화 행동(다음 대화 행위)과 연관이 있는가?
• RQ3: 스캐폴딩 수준은 이전 성취도 및 대화 행위를 넘어, 이후의 시험 성적에 대한 추가적인 예측 정보를 제공하는가?

통계적 방법으로는 과제 간 차이를 위한 Kruskal–Wallis 검정, 스캐폴딩과 후속 대화 행위 간의 연관성을 위한 카이제곱 검정, 그리고 스캐폴딩의 점진적 예측력을 평가하기 위한 회귀 분석이 포함되었다.

주요 결과

1. 지원의 분포 (RQ1)

LLM은 주로 높은 수준의 지원 단계에서 작동한다.

• 집중도: 응답의 95% 이상이 설명($L_3$, 40.3%) 또는 **해결($L_4$, 55.2%)**로 분류되었다.
• 낮은 지원의 희소성: 프롬프팅($L_1$), 힌트 제공($L_2$), 최소($L_0$) 응답은 전체 상호작용의 5% 미만을 차지했다.
• 변동성: 지원 수준은 서로 다른 과제 및 요청 유형(예: 쓰기 요청은 평균 $\bar{L}=3.72$로 가장 높은 스캐폴딩을 받음)에 따라 유의미하게 달라지지만, 고수준 지원 응답은 모든 교육적 맥락에서 지배적이다.

2. 후속 상호작용과의 연관성 (RQ2)

스캐폴딩 수준은 학생의 다음 대화 움직임과 체계적으로 연관되어 있다.

• 뚜렷한 패턴: 해결($L_4$) 응답 이후에는 학생들이 다시 쓰기 요청을 하는 경우가 가장 많았다(29.7%). 설명($L_3$) 응답 이후에는 개념적 질문이 가장 흔했다(40.5%). 프롬프팅($L_1$) 이후에는 학생들이 추가적인 맥락을 제공하는 경우가 많았다(34.0%).
• 강건성: 이러한 연관성은 학생의 초기 요청의 광범위한 범주를 통제한 후에도 지속되었으며, 이는 스캐폴딩 수준 자체가 즉각적인 대화의 흐 흐름에 영향을 미친다는 것을 나타낸다.

3. 성과에 대한 예측력 (RQ3)

스캐폴딩 수준은 이후의 시험 성적에 관한 추가적인 예측 정보를 거의 제공하지 않는다.

• 모델 비교: 이전 성취도와 대화 행위 횟수를 사용하여 시험 점수($e_1, e_2, e_3$)를 예측하는 회귀 모델은 분산의 1230%를 설명하였다. 평균 스캐폴딩 수준을 추가했을 때 설명된 분산은 단 12%포인트 증가했을 뿐이다.
• 통계적 유의성: 모델 비교 중 통계적 유의 수준($p > .05$)에 도달한 것은 없었다. 스캐폴딩의 추정 계수는 시험마다 일관되지 않았다(시험 $e_3$에서는 방향이 바뀜).
• 결론: 이전 성취도와 관찰된 대화 행동을 고려한 후에는, 특정 스캐폴딩 수준이 이 데이터셋에서 시험 결과에 유의미하게 예측력을 갖지 않는다.

의의 및 주장

본 논문은 실제 튜터링 상호작용에서의 LLM 지원에 대한 **경험적 기준선(empirical baseline)**을 확립한다. 주요 기여는 다음과 같다:

1. 행동적 기준선: 범용 LLM은 명시적인 교육적 프롬프트가 없을 경우, 프롬프팅이나 힌트 제공과 같은 낮은 수준의 스캐폴딩 전략을 거의 사용하지 않고 고직접성 지원(설명 및 해결)을 기본값으로 설정함을 보여준다.
2. 측정 프레임워크: 대안적인 튜터링 설계(예: 소크라테스식 프롬프트, 다중 에이전트 시스템)가 학생들이 받는 지원을 어떻게 변화시키는지 평가하는 데 사용할 수 있는 검증된 5단계 스캐폴링 척도를 도입한다.
3. 상호작용과 결과의 구분: 연구 결과는 스캐폴링 수준이 즉각적인 상호작용 패턴(학생이 다음에 하는 행동)에는 영향을 미치지만, 반드시 이후의 시험 성과에서 측정 가능한 차이로 이어지지는 않는다는 점을 시사한다.

저자들은 이 연구가 "최적의" 지원 수준을 식별하는 것이 아니라 하나의 참조점을 제공하는 것임을 강조한다. 그들은 LLM 튜터를 평가할 때 두 가지 질문을 구분해야 한다고 주장한다: (1) 행동적 질문: 교육적 개입이 학생들이 받는 지원을 변화시키는가? (2) 교육적 질문: 그 변화가 학습을 개선하는가? 스캐폴링 측정은 첫 번째 질문을 직접적으로 다루며, 두 번째 질문은 추가적인 조사가 필요한 열린 경험적 과제로 남아 있다.

한계점

저자들은 네 가지 주요 한계를 인정한다:

• 맥락 특수성: 데이터는 단일 입문 AI 과정과 하나의 모델 구성에서 나왔으므로, 결과는 모든 범용 LLM이 아닌 이 설정을 특징짓는다.
• 분류의 세밀함: 자동 분류는 특히 $L_3/L_4$ 경계에서 불완전하며, 낮은 수준의 지원이 드물기 때문에 $L_0$–$L_2$에 대한 세밀한 분석에 한계가 있다.
• 관찰적 성격: 본 연구는 인과관를 확립할 수 없다. 프롬프트 내용, 과업 난이도, 학생의 특성이 모델의 응답과 이후의 행동 모두에 영향을 미칠 수 있다.
• 평가 범위: 본 분석은 인과적 학습 효과보다는 점진적 예측력을 평가하며, 고수준 스캐폴딩 응답에 집중되어 있어 성과 차이를 감지할 수 있는 변동성이 제한적이다.