🤖 AI

Investigating Self-regulated Learning Sequences within a Generative AI-based Intelligent Tutoring System

이 연구는 생성형 AI 기반 지능형 튜터링 시스템에 대한 학생의 상호작용 패턴을 분석하여 뚜렷한 자기조절 학습 시퀀스를 식별하였으며, 대부분의 학생이 정보 변환보다는 정보 습득을 위해 주로 생성형 AI를 사용하고 있으나 이러한 사용 패턴이 학습 성과와 유의미한 상관관계를 보이지는 않는다는 점을 밝혀냈다.

원저자: Jie Gao, Shasha Li, Jianhua Zhang, Shan Li, Tingting Wang

게시일 2026-01-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jie Gao, Shasha Li, Jianhua Zhang, Shan Li, Tingting Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 퍼즐을 푸는 상황을 상상해 보세요. 예를 들어 일주일 치의 완벽한 식단 계획을 짜는 것과 같은 일 말이죠. 이제 여러분 바로 옆에 무엇이든 답해주고 힌트도 줄 수 있는, 아주 똑똑하고 모든 것을 알고 있는 로봇 조수(생성형 AI)가 앉아 있다고 상상해 보세요. 이 연구는 114명의 학생이 이 로봇 조수와 함께 영양 관련 퍼즐을 풀며 어떻게 학습하는지를 관찰한 탐정 이야기와 같습니다. 연구진은 다음과 같은 점을 알고 싶었습니다: 학생들이 학습하는 동안 이 로봇을 실제로 어떻게 사용하는가? 그들은 체계적이고 똑똑한 방식으로 사용하는가, 아니면 그저 무작위로 이리저리 움직이는가?

다음은 간단한 비유를 사용하여 연구 결과의 핵심 내용을 정리한 것입니다.

두 가지 유형의 "로봇 댄서"

연구진은 학생들이 학습 과정 속에서 어떻게 움직이는지 보기 위해 그들의 모든 클릭과 키 입력(흔적 데이터)을 관찰했습니다. 그 결과, 학생들은 스스로의 학습을 어떻게 조절하느냐에 따라 자연스럽게 두 가지 뚜렷한 그룹, 즉 "춤 스타일"로 나뉘었습니다.

"빠른 속도의" 댄서 (클러스터 1):
- 움직임의 방식: 이 학생들은 트랙 위의 달리기 선수와 같았습니다. 목표를 설정하고, 음식의 한 부분을 확인하고, 그것을 평가한 뒤, 즉시 다음 항목으로 넘어갔습니다. 이들은 로봇에게 도움을 매우 자주 요청했습니다(평균 약 5회).
- 함정: 이들은 로봇에게 도움을 요청하고, 답을 얻으면, 즉시 다음 항목을 확인하기 위해 뛰어넘는 경향이 있었습니다. 매우 활동적이었지만, 전체적인 그림을 보기 위해 한 걸음 물러나기보다는 개별 정보들을 하나씩 확인하는 데 많은 시간을 보냈습니다.
- 결과: 이들은 다른 그룹보다 성적이 좋지 않았습니다. 이는 마치 설계도를 보며 집 전체를 구상하지 않고 벽돌을 하나씩 쌓아 올리는 것과 같습니다. 벽돌은 많이 쌓을 수 있겠지만, 집이 제대로 서 있을 수는 없을 것입니다.
"깊이 생각하는" 댄서 (클러스터 2):
- 움움임의 방식: 이 학생들은 건축가와 같았습니다. 로봇에게 도움을 요청하는 횟수는 더 적었지만(약 2회), 요청했을 때는 로봇과 더 길고 깊은 대화를 나누었습니다. 이들은 "성찰"하는 데 더 많은 시간을 보냈는데, 이는 마치 잠시 멈춰 서서 전체 퍼즐을 바라보며 "이 조각이 내가 이미 알고 있는 것과 잘 맞는가?"라고 생각하는 것과 같습니다.
- 결과: 이들은 성적이 더 좋았습니다. 성찰하고 생각을 정리하는 시간을 가짐으로써, 문제에 대한 더 명확한 정신적 지도를 구축했습니다.

그들은 로봇에게 무엇을 물어보았는가?

연구진은 학생들이 왜 로봇에게 질문을 하는지도 살펴보았습니다. 이는 사서에게 두 가지 서로 다른 것을 요청하는 것과 같습니다.

정보 습득 ( "이것은 무엇인가요?" 라는 질문): 이것이 가장 흔한 이유였습니다. 학생들은 "나트륨은 어떤 역할을 하나요?" 또는 "카페인은 얼마나 섭취하는 것이 과한가요?"와 같은 질문을 했습니다. 이들은 단순히 새로운 사실들을 수집하고 있었습니다.
정보 변형 ("이것은 무엇을 의미하나요?" 라는 질문): 이것은 덜 흔한 경우였으며, "이 음료에 탄수화물이 있다면 여전히 당분이 없는 것인가요?" 또는 "이것이 저 다른 음료와 어떻게 다른가요?"와 같이 질문하는 것입니다. 이는 자신이 아는 것을 활용하여 특정 문제를 해결하기 위해 정보를 비틀어야 하므로 더 어려운 작업입니다.

놀라운 사실: "이것은 무엇을 의미하나요?"라는 질문을 하는 것이 보통 더 똑똑하고 깊이 있는 학습자의 징후임에도 불구하고, 연구 결과 이것이 학생들의 성적을 실제로 변화시키지는 못했다는 사실이 밝혀졌습니다. 학생이 주로 사실을 물었는지 혹은 깊이 있는 분석을 물었는지에 관계없이, 최종 점수는 거의 비슷했습니다. 즉, 질문의 구체적인 유형보다 ( "빠른 속도의" 댄서 대 "깊이 생각하는" 댄서처럼) 단계들을 어떻게 통과하며 움직였는지가 성공에 훨씬 더 중요했습니다.

시사점

이 연구는 우리가 학생들에게 초지능 AI 튜터를 제공할 때, 학생들이 그것을 현명하게 사용할 것이라고 막연히 가정해서는 안 된다는 결론을 내립니다.

어떤 학생들은 정보를 빠르게 훑어보며 빠르게 이동하는 속독가처럼 사용하며, 이는 그들을 전체적인 맥로에서 혼란스럽게 만들 수 있습니다.
다른 학생들은 멈춰서 성찰하고 생각을 정리하는 생각 파트너처럼 사용하여, 문제 해결 능력을 높입니다.

연구진은 우리가 학생들이 더 잘 배우기를 원한다면, 단지 로봇을 주는 것에 그치지 않고 그들이 로봇과 어떻게 "춤을 추는지" 가르쳐야 한다고 제안합니다. 우리는 학생들이 다음 정보로 달려가는 대신, 멈추고 성찰하며 생각을 정리하도록 독려하는 시스템을 구축해야 합니다.

기술 요약: 생성형 AI 기반 지능형 튜터링 시스템 내 자기조절 학습 시퀀스 조사

문제 제기
생성형 인공지능(GenAI)이 적응형 콘텐츠와 피드백을 제공하기 위해 교육 환경에 점점 더 많이 통합되고 있지만, 단순히 기술이 존재하는 것만으로는 학업적 성공을 보장할 수 없다. GenAI 지원 학습의 효능은 학생들이 기술과 어떻게 상호작용하며 스스로를 조절하는가에 크게 달려 있다. 자기조절 학습(Self-Regulated Learning, SRL)은 이러한 맥락에서 매우 중요한 것으로 인식되고 있으나, 기존 연구는 학생들의 상호작용을 포착하는 데 있어 시간적 역동성(temporal dynamics)을 파악할 수 있는 세밀함이 부족한 경우가 많다. 구체적으로, GenAI가 지원하는 지능형 튜터링 시스템(ITS) 내에서 실시간으로 전개되는 SRL 행동(예: 계획, 모니터링, 성찰)의 순차적 패턴과, 이러한 시퀀스가 학습 성과 및 AI 사용의 구체적인 목적과 어떻게 상관관계를 갖는지에 대한 이해에 공백이 존재한다.

연구 방법론
본 연구는 통제된 학습 환경 내에서 트레이스 데이터(trace data) 분석을 사용하여 정량적, 프로세스 중심적 접근 방식을 채택하였다.

참가자 및 맥락: 본 연구에는 영양 지식 향상을 위해 설계된 ITS인 "Healthy Choice"와 상호작용한 110명의 대학생(모집된 114명 중)이 참여하였다. 이 시스템은 스캐폴딩(scaffolding)을 제공하기 위해 "Ask AI" 기능을 통해 ChatGPT를 통합하였다. 참가자들은 특정 시나리오를 바탕으로 최적의 영양 항목을 선택해야 하는 문제 해결 과제를 수행하였다.
데이터 추출 및 코딩:
- SRL 시퀀스: 플랫폼의 트레이스 데이터를 Zimmerman의 3단계 SRL 모델(예비 단계, 수행 단계, 성찰 단계)에 따라 코딩하였다. 미시적 행동으로는 목표 설정(GS), 실행(EX), 평가(EV), 모니터링(MO), 정교화(EL), 성찰(RE)이 포함된다.
- GenAI 사용 목적: "Ask AI" 기능을 통해 사용된 프롬프트는 정보 처리 이론에 근거하여 두 가지 범주, 즉 정보 습득(생소한 용어나 사실에 대한 이해를 구함)과 정보 변형(평가, 확인 또는 인지적 갈등 해소)으로 분류하였다.
분석 기법:
- 순차적 클러스터링(Sequential Clustering): 코딩된 행동으로부터 도출된 상태 시퀀스에 계층적 클러스터링 알고리즘을 적용하여, SRL 전이 패턴에 따른 뚜렷한 학습자 그룹을 식별하였다.
- 전이 분석(Transition Analysis): 특정 행동 시퀀스(예: $EV \to EX$ , $Ask\ AI \to EV$ )의 빈도를 시각화하고 비교하기 위해 전이율 히트맵을 생성하였다.
- 통계 분석: GenAI 사용 목적의 유병률을 분석하기 위해 Wilson 신뢰 구간을 사용하였으며, 클러스터 간의 성과 차이를 검토하였다.

주요 결과

두 개의 뚜렷한 클러스터 식별: 분석 결과, "Ask AI" 기능을 사용한 62명의 참가자를 SRL 시퀀스에 따라 두 개의 뚜렷한 그룹으로 분류하는 데 성공하였다.
- 클러스터 1 (n=18): 특정 시퀀스, 특히 $Ask\ AI \to EV$ (평가 전 AI를 통한 명료화) 및 $EV \to EX$ (평가에서 다시 실행으로 이동)에서의 높은 전이율이 특징이다. 이 학생들은 연속적인 목표 설정 및 실행 활동에 더 많이 참여했으나, 정보를 종합하기보다는 개별 정보 조각을 분석하는 데 더 많은 시간을 보냈다.
- 클러스터 2 (n=44): 자기 성찰( $RE \to RE$ ) 및 목표 설정( $GS \to GS$ )을 포함하는 반복적인 시퀀스를 보였다. 주목할 점은 이 그룹이 GenAI와 여러 차례의 대화를 수행했다는 것이며, 이는 더 깊은 수준의 상호작용을 시사한다.
GenAI 사용 패턴:
- 빈도: 클러스터 1의 학생들은 클러스터 2(평균 2회)에 비해 "Ask AI" 기능을 유의미하게 더 자주 사용하였다(평균 5회).
- 목적: 모든 참가자에 걸쳐, GenAI는 정보 변형(46.4%)보다 정보 습득(53.6%)을 위해 더 빈번하게 사용되었다.
성과 상관관계: 본 연구에서는 GenAI 사용의 구체적 목적(습득 vs 변형)과 학습 성과 사이의 상관관계가 통계적으로 유의미하지 않음을 발견하였다. 그러나 논문은 클러스터 1의 패턴, 즉 일관된 통합 없이 고립된 정보를 분석하는 경향이 낮은 성과에 기여했을 수 있다고 언급하였다. 다만, 이는 결과 섹션의 직접적인 통계적 인과관계 주장이라기보다 관찰된 행동 패턴에 기반한 추론이다.

주요 기여

SRL의 시간적 역동성: 본 연구는 정적인 SRL 측정 방식을 넘어 GenAI 환경 내에서 학생 행동의 순차적 전개를 매핑함으로써, 상호작용(예: AI 상호작용에서 평가로의 전환)의 순서와 빈도가 학습자 그룹 간에 크게 다름을 입증하였다.
AI 사용 목적의 차별화: 정보 습득과 변형을 구분함으로써, 본 연구는 학생들이 GenAI를 고차원적 인지 처리(평가/종합)보다는 사실 추출을 위해 사용하는 경향이 높다는 점을 강조한다.
행동 클러스터링: ITS 트레이스 데이터에 순차적 클러스터링을 적용하여 뚜렷한 행동 프로필을 성공적으로 식별하였으며, 이를 통해 고빈도 AI 사용자가 반드시 저빈도 사용자만큼 동일한 조절 패턴을 보이는 것은 아니라는 점과 반복적 성찰과 같은 특정 전이 패턴이 관찰 가능하다는 것을 밝혔다.

의의 및 주장
저자들은 본 연구의 결과가 교육 설계 및 GenAI 지원 학습 환경 개발 모두에 중요한 통찰을 제공한다고 주장한다.

교육적 함의: 결과는 전문성 발달을 위한 전략으로서 자기 성찰의 중요성을 강조한다. 저자들은 학생들이 목표, 행동, 결과를 통합할 수 있도록 돕기 위해 반복적인 성찰 주기를 명시적으로 스캐폴딩하는 교수 설계가 필요하다고 제안한다.
설계적 함의: 본 연구는 AI 상호작용의 깊이와 순서가 학습에 영향을 미친다는 점을 시사한다. (더 깊은 다회차 상호작용을 보인) 클러스터 2가 다른 패턴을 보였다는 관찰은, 적응형 AI 도구가 단순한 질의-응답 루프가 아니라 SRL 전략과 정렬된 지속적이고 구조적인 상호작용을 지원하도록 설계되어야 함을 나타낸다.
개입의 필요성: 본 연구의 결과는 고립된 정보 분석(클러스터 1의 패턴)에 의존하는 학생들을 위한 표적 개입의 필요성을 강조한다. 저자들은 미래의 시스템이 실시간 학습 분석을 활용하여 학생들에게 개인화된 가이드를 제공하고, 보다 효과적인 SRL 전략을 향해 학생들을 유도할 수 있다고 제안한다.

본 논문은 실시간 분석을 어떻게 효과적으로 운영하여 GenAI 지원 환경에서 그러한 개인화된 가이드를 제공할 수 있는지 결정하기 위해서는 향후 연구가 필요하다는 점을 언급하며 겸허하게 결론을 맺는다.

두 가지 유형의 "로봇 댄서"

그들은 로봇에게 무엇을 물어보았는가?

시사점

유사한 논문