Tracing GenAI Literacy: Uncovering Student-AI Interaction Patterns in Academic Writing through Epistemic Network Analysis
본 연구는 162명 학생의 상호작용 로그에 학습 분석학(Learning Analytics)과 인식 네트워크 분석(Epistemic Network Analysis)을 활용하여, 생성형 AI 리터러시가 반복적 정교화 대 직접 명령과 같은 뚜렷한 질문 패턴에 의해 효과적으로 특징지어질 수 있음을 입증함으로써 기존의 자기 보고식 평가를 대체할 수 있는 데이터 기반의 대안을 제시한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 학생들에게 연구 요약문을 쓰는 법을 가르치려 한다고 상상해 보십시오. 그런데 당신은 학생들에게 아주 똑똑하고 마법 같은 로봇 조수(생성형 AI)를 선물로 주었습니다. 여기서 중요한 질문은 학생들이 로봇을 '사용할 수 있느냐'가 아니라, '어떻게 대화하느냐'입니다. 그들은 로봇을 정답을 뱉어내는 자판기처럼 대합니까, 아니면 아이디어를 토론하고 다듬을 수 있는 사고의 파트너로 대합니까?
이 논문은 마치 탐정 소설과 같습니다. 연구자들(베이징 대학교의 Chen Angxuan과 Jia Jiyou)은 학생들이 AI를 얼마나 잘 사용하는지 단순히 묻는 대신, 162명의 대학생이 실제로 로봇과 어떻게 상호작용하는지를 관찰함으로써 "AI 리터러시(AI 활용 능력)"라는 미스터리를 풀고자 했습니다.
다음은 그들의 조사 내용에 대한 분석입니다.
문제점: "될 때까지 하는 척하기"의 함정
보통 학교에서는 학생들에게 설문조사를 실시합니다: "1점에서 10점 사이의 척도로 볼 때, 당신은 AI를 얼마나 잘 사용합니까?" 연구자들은 이것이 운전자에게 "운전할 줄 아나요?"라고 묻고는 그 답변을 그대로 믿어버리는 것과 같다는 사실을 깨달았습니다. 그것은 운전자가 실제로 고속도로에 합류하는 법을 아는지, 아니면 그저 자신이 할 줄 안다고 생각하는 것인지는 알려주지 않습니다.
연구자들은 단순히 운전자의 자신감을 보는 것이 아니라, 실제 운전을 보고 싶었습니다. 그들은 학생들이 논문의 초록을 쓰는 동안 AI를 사용하는 "과정"을 보고 싶었습니다.
설정: 엄격한 놀이터
정직한 데이터를 얻기 위해, 연구자들은 까다로운 게임을 설정했습니다:
- 과업: 학생들은 학술적 초록을 작성해야 했습니다.
- 도구: 그들은 강력한 AI(DeepSeek)와 연결된 맞춤형 플랫폼을 사용했습니다.
- 규칙: 학생들은 AI의 결과물을 단순히 복사해서 붙여넣을 수 없었습니다. 그들은 짧은 프롬프트(30단어 미만)를 입력해야 했으며, 시스템은 학생들이 최종 결과물을 얻기 위해 계속해서 AI와 대화를 이어가도록 강제했습니다. 이는 그들이 대화를 지속하게 만들었습니다.
탐정의 도구: "인식 네트워크 분석(Epistemic Network Analysis, ENA)"
학생들의 행동을 이해하기 위해, 연구자들은 특별한 도구인 **인식 네트워크 분석(ENA)**을 사용했습니다.
ENA를 무도회장의 지도라고 생각해 보십시오.
- ENA는 단순히 질문을 몇 번 했는지 세는 것(스텝 수를 세는 것)이 아니라, 움직임 사이의 연결을 살펴봅니다.
- ENA는 학생들이 어떤 행동을 한 직후에 무엇을 했는지 그 선을 그립니다. 예를 들어, 사실 확인을 요청한 직후에 바로 수정을 요청했는가? 아니면 초안을 요청한 뒤, 다듬기를 요청하고, 그다음 설명을 요청했는가?
- 이를 통해 학생이 AI와 대화하는 동안 뇌가 어떻게 작동하고 있었는지 보여주는 시각적인 "서명" 또는 "지문"을 만들어냅니다.
결과: 두 가지 매우 다른 댄서들
연구자들이 "무도회장 지도"를 살펴보았을 때, 학생들의 AI 리터러시 수준에 따라 두 가지 완전히 다른 스타일의 상호작용을 발견했습니다.
1. 저리터시 그룹 ( "자판기" 사용자)
- 패턴: 이 학생들은 주로 AI를 검색 엔진이나 자판기처럼 취급했습니다.
- 움직임: 그들은 "이것을 써줘"(생성 명령)라고 말한 뒤, 결과가 이상하면 "이게 사실이야?"(사실 확인)라고 물었습니다.
- 비유: 누군가 버거를 주문하고 한 입 베어 문 뒤, 맛이 없으면 즉시 요리사에게 "재료를 제대로 넣은 거 맞아요?"라고 묻는 것과 같습니다. 그들은 과정을 주도하기보다 결과에 반응합니다. 그들은 AI가 힘든 일을 다 하도록 맡기고, 결과가 "진짜"인지 확인하는 데에만 집중합니다.
2. 고리터시 그룹 ( "공동 저자" 사용자)
- 패턴: 이 학생들은 AI를 사고의 파트너나 공동 저자로 대했습니다.
- 움직임: 그들은 "이 문장을 더 학술적인 어조로 만들어줘"(개선)라고 말한 뒤, "이 용어의 실제 의미가 뭐야?"(명료화)라고 묻고, 이어서 "다음번에 더 나은 결과를 얻으려면 내가 어떻게 너에게 요청해야 할까?"(메타 명령)라고 물었습니다.
- 비유: 셰프와 수셰프의 관계와 같습니다. 셰프가 "양념을 다르게 해보자"라고 말하고, "이 향신료가 풍미에 어떤 영향을 주지?"라고 묻고, 다시 "완벽한 양을 얻으려면 향신료 통에 어떻게 요청해야 할까?"라고 묻는 것입니다. 이들은 의미 파악 → 다듬기의 순환 구조 속에 있습니다. 그들은 끊임없이 수정하고, 질문하고, 함께 작업을 개선해 나갑니다.
결론: 점수가 아니라 대화가 핵심이다
연구자들은 이 두 그룹이 단순히 테스트 점수만 다른 것이 아니라, 도구를 사용하는 동안 근본적으로 다른 사고 방식을 가지고 있다는 것을 발견했습니다.
- 저리터시는 거래처럼 보입니다: "내가 명령을 주면, 네가 결과를 준다."
- 고리터시는 협업처럼 보입니다: "내가 생각을 던지면, 우리는 그것을 함께 다듬고, 나는 더 나은 질문을 던지는 법을 배운다."
논문은 우리가 누군가가 "AI 리터러시를 갖췄는지" 판단하기 위해 단순히 설문조사에 의존해서는 안 된다고 결론짓습니다. 대신, 우리는 그들의 "춤 동작"(상호작용 로그)을 관찰함으로써 그들이 단순히 버튼을 누르고 있는지, 아니면 실제로 비판적으로 사고하고 있는지를 알 수 있습니다. 이는 진정한 AI 리터러시가 도구의 이름을 아는 것이 아니라, 배우고 창조하기 위해 대화를 어떻게 구성하느냐에 달려 있음을 교육자들이 이해하도록 도와줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.