Regulating the AI Tutor: Intentions, Help-Seeking, and Self-Regulated Learning in Adolescent GenAI Use

기술 요약: AI 튜터의 조절 (Regulating the AI Tutor)

문제 제기
생성형 AI(GenAI) 도구는 청소년들에게 흔한 학습 동반자가 되었으나, 학생들이 실제 학습 과업 중에 자신의 사용을 조절하는 메커니즘은 여전히 제대로 이해되지 않고 있다. 자기조절학습(SRL)과 고차원적 도움 요청(HS)이 수동적이거나 지름길 위주의 사용을 방지하는 안전장치로서 이론적으로 제안되어 왔음에도 불구하고, 기존의 실증 연구들은 주로 총체적인 학습 결과에 초점을 맞추고 있으며, AI 지원 학습의 순간순간 발생하는 과정에 대해서는 주목하지 못하고 있다. 특히 학생들이 최소한의 비판적 검토만 거친 채 AI가 생성한 추론을 그대로 수용하여, 자신의 사고를 지원하기보다는 오히려 억제하게 되는 '인지적 항복(cognitive surrender)'의 위험이 존재한다. 현재의 연구들은 학생들이 AI와 함께 학습을 진행하는 과정에서 실제로 어떻게 학습을 조절하는지 조사하기 위해, SRL 및 HS 이론에 근거한 과정 민감적(process-sensitive) 설명을 결여하고 있는 경우가 많다.

연구 방법론
본 진행 중인 연구(work-in-progress)는 독일의 세 곳의 김나지움(Gymnasium) 학교에 재학 중인 98명의 9학년 학생(14~15세)을 대상으로 한 교실 연구를 제시한다. 본 연구는 시험 전 수학 기술 준비를 위한 커리큘럼 준수 과업을 수행하기 위해 웹 기반의 Mistral-Large 튜터를 활용하였다.

• 절차: 연구는 5단계 프로토콜을 따랐다: (1) 사전 설문지(AI 리터러시 및 학습 전략); (2) 제한 시간 내 수학 사전 테스트; (3) 실제 수학 모델링 과업에 대한 AI 튜터와의 채팅 상호작용; (4) 사후 채팅 인지 부하 평가(내재적, 외재적, 본질적 부하); (5) 수학 모델링 사후 테스트.
• 데이터 수집: 데이터셋은 1,616회의 채팅 턴(학생 턴 808회)으로 구성된다. 채팅 전, 학생들은 8가지 옵션(예: 개념 설명, 단계별 예시, 최종 해답 등) 중에서 학습 목표를 선택하고 자신의 자신감을 평가했다.
• 분석 프레임워크: 저자들은 다음을 결합한 하이브리드 턴 단위 코딩 프레임워크를 제안한다:
  • 연역적 코드: Zimmerman의 순환적 SRL 모델(계획(PLAN), 모니터링(MONITOR), 요청(REQUEST), 평가(EVALUATE)) 및 도움 요청(HS) 이론(도구적 vs 실행적; 개념적, 절차적, 검증, 정답 요청)에 기반함. 또한 Blum의 프레임워크에 기반한 수학 모델링 코드를 통해 표면적 계산과 심층적 모델링 활동을 구분함.
  • 귀납적 LLM 특화 코드: 탐색적 분석을 통해 도출되었으며, 여기에는 인식론적 경계(Epistemic Vigilance)(부정확한 AI 턴에 대한 학생의 반응 탐지) 및 AI에 대한 주도권(Agency over the AI)(AI의 역할이나 스캐폴딩을 형성하려는 시도)이 포함된다.
• 코딩 과정: 예비 결과는 전체 데이터셋에 대한 AI 기반 코딩(Gemini 2.5 Pro)에 의존한다. 수학 교육학 및 학습 과학 전문가들에 의한 30%의 층화된 인간 검증 과정이 진행 중이다.

주요 결과
예비 분석 결과, 학생의 의도, 실행된 행동, 그리고 학습 결과 사이에 상당한 불일치가 있음이 드러났다:

1. 예측(Forethought) vs 실행(Enactment): 학생들은 학습 지향적인 의도를 강하게 보고하였으며, 단계별 예시(82.9%)나 개념 설명(69.7%)과 같은 목표를 선택했다. 그러나 실제 실행된 행동은 REQUEST(72.9%의 과업 관련 턴)가 지배적이었으며, PLAN이 유일하게 빈번한 다른 기능(18.1%)이었다. 결정적으로, MONITOR와 EVALUATE 행동은 거의 나타나지 않았다(중앙값 0%).
2. 도움 요청 패턴: 요청은 주로 실행적(instrumental)이었으며 실행적(executive)이지는 않았으나(75.1%), 그 내용은 절차적(37.4%)이고 개념적(25.1%)인 경우가 많았다. 69.7%의 학생들이 이해도를 확인하고 싶다고 언급했음에도 불구하고, 실제 검증 요청 비율은 낮았다(16.3%).
3. 의도-행동 간극: 명시된 의도와 실행된 행동 사이에는 뚜렷한 단절이 있었다. 일반적인 학습 지향적 의도(예: 검증 요청)는 그에 상응하는 상호작용 코드들을 유의미하게 예측하지 못했다. 유일하게 유의미한 일치는 "그냥 최종 해답을 달라"고 선택한 학생들에게서 발견되었으며, 이들은 이후 더 높은 비율의 실행적 및 정답 요청 행동을 보였다.
4. 학습 결과: 예상과 달리, 사후 테스트 성적(56.9%)은 사전 테스트 성적(67.5%, p = .014)보다 유의미하게 낮았다. 사전 지식을 통제한 OLS 모델에서, **외재적 인지 부하(extraneous cognitive load)**가 낮은 사후 테스트 점수의 유일한 유의미한 예측 변수였다(b = −.034, p = .025).

의의 및 주장
본 논문은 청소년의 생성형 AI 조절에 대한 초기적이고 과정 민감적인 설명을 제공하는 진행 중인 연구로서 스스로를 위치시킨다. 본 연구의 주요 의의는 다음과 같은 점을 입증하는 데 있다:

• 도구적 도움 요청은 얕은 수준에 머물 수 있다: 학생들이 정답 대신 지원을 요청할 때조차, 명시적인 모니터링과 평가의 결여는 이해의 심화를 방해한다.
• 의도가 조절을 보장하지 않는다: 학생들은 바람직한 AI 사용에 대한 메타인지적 지식을 갖추고 있을 수 있지만, 이를 실시간으로 실행할 상호작용 전략은 부족할 수 있다.
• 상호작용 과정이 총체적 이득보다 중요하다: 성적 저하와 외재적 부하 사이의 연결은 AI 튜터가 (프롬프트 작성, 상호작용 관리 등) 적절히 조절되지 않을 경우 의미 있는 학습을 저해하는 새로운 인지적 요구를 유발할 수 있음을 시사한다.

저자들은 핵심 과제가 학생들이 도움을 요청하느냐의 여부가 아니라, 주도성, 모니터링, 그리고 수학적 추론을 유지하기 위해 그 도움 요청을 어떻게 조절할 수 있느냐에 있다고 주장한다. 이들은 향후 스캐폴딩이 청소년들이 상호작용 속에서 자율적으로 갖추지 못한 모니터링, 평가, 그리고 "인식론적 경계" 행동을 능동적으로 지원해야 한다고 제안한다. 마지막으로 저자들은 최종 신뢰도 지표와 코드북의 완전한 검증이 남아 있음을 언급하며 결론을 맺는다.