🤖 AI

A Scaffolded GenAI Lab in Early Undergraduate CS: A Mixed-Methods, Multi-Course Evaluation

이 혼합 연구 방법론을 통한 연구는 여러 학부 과정에 걸쳐 실시된 짧고 단계적인 "AI-Lab" 개입이, 성적이 부여되는 과제에서의 전반적인 자기 보고식 사용량을 증가시키지 않으면서도, 개념적 및 디버깅 작업에 생성형 AI를 사용하는 것에 대한 학생들의 편안함과 개방성을 성공적으로 높였을 뿐만 아니라 더욱 비판적이고 반복적인 참여 전략을 함양했음을 보여준다.

원저자: Ethan Dickey, Andres Bejarano, Rhianna Kuperus, Bárbara Fagundes

게시일 2026-07-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ethan Dickey, Andres Bejarano, Rhianna Kuperus, Bárbara Fagundes

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터 과학의 세계를 학생들이 코드로 무언가를 만드는 법을 배우기 위해 찾아가는 거대하고 북적이는 도서관이라고 상상해 보십시오. 수년 동안 선반에 놓인 도구라고는 교과서, 강의 노트, 그리고 선생님이나 친구의 작은 도움뿐이었습니다. 하지만 최근, 초고속의 새로운 사서가 도착했습니다. 바로 생성형 AI(GenAI)입니다. 이 사서는 코드를 작성하고, 까다로운 개념을 설명하며, 눈 깜짝할 사이에 문제를 해결할 수 있습니다. 이것은 꿈처럼 들리지만, 교사들에게는 다소 악몽이기도 합니다. 그들은 만약 학생들이 그저 사서에게 정답을 요구하기만 한다면, 스스로 무언가를 구축하는 법을 실제로 배우지 못할까 봐 걱정합니다. 또한 부정행위에 대해서도 우려합니다. 그래서 교육자들의 큰 질문은 이것입니다. 어떻게 하면 학생들이 단순히 AI가 모든 일을 다 하게 내버려 두는 것이 아니라, 이 강력한 새로운 사서를 현명하게 사용하도록 가르칠 것인가? 이것이 컴퓨터 교육 분야의 연구자들이 풀고자 하는 퍼즐입니다.

퍼듀 대학교의 한 연구팀은 'AI-Lab'이라 불리는 학생들을 위한 '훈련 캠프'를 테스트해 보기로 결정했습니다. 그들은 사서를 금지하려고 하지도 않았고, 그렇다고 학생들이 제멋대로 날뛰게 내버지도 않았습니다. 대신, 그들은 학생들이 AI와 똑똑한 파트너가 되는 법을 가르치기 위해 짧고 구조화된 워크숍을 설정했습니다. 그들은 이 짧은 수업이 AI 사용에 대한 학생들의 태도와 실제 사용 방식에 변화를 줄 수 있는지 알고 싶었습니다. 학생들은 더 자신감을 갖게 되었을까요? 그들은 숙제를 할 때 AI를 더 많이 사용하기 시작했을까요? 아니 아니면 AI를 지팡이가 아닌 도구로서 사용하는 법을 배웠을까요?

연구진은 두 학기에 걸쳐 세 개의 컴퓨터 과학 수업과 한 개의 공학 수업을 대상으로 수백 명의 학생을 포함하여 이 실험을 진행했습니다. 그들은 AI-Lab 전후로 설문 조사를 실시하여 학생들의 감정과 습관을 측정했으며, 학생들의 이야기를 직접 듣기 위해 그룹 토론도 진행했습니다.

결과는 다음과 같았습니다. 워크숍 이후, 학생들은 까다로운 개념적 질문이나 숙제 도움을 받는 데 AI를 사용하는 것에 대해 훨씬 더 편안함과 개방성을 느꼈습니다. 그들은 AI에게 도움을 요청하는 것을 덜 두려워하게 되었습니다. 하지만, 여기에는 중요한 "하지만"이 있습니다. 학생들이 성적이 매겨지는 숙제나 큰 프로젝트에 AI를 사용했다고 답한 횟수는 늘어나지 않았습니다. 그것은 정확히 그대로 유지되었습니다. 유일하게 학생들이 AI를 더 많이 사용한 곳은 디버깅, 즉 고장 난 코드를 수정하는 작업이었습니다.

포커스 그룹에서 나온 학생들의 이야기는 그 이유를 설명해 주었습니다. 랩(lab)에 참여하기 전, 많은 학생은 AI를 마법 버튼처럼 취급했습니다. 모호한 질문을 입력하고 결과가 좋기를 바랐던 것입니다. 만약 답이 틀리면, 그들은 포기했습니다. 랩 이후, 그들은 숙련된 탐정처럼 변했습니다. 그들은 AI에게 더 많은 맥락을 제공하고, 더 나은 질문을 던지며, AI의 작업을 주의 깊게 확인하는 법을 배웠습니다. 그들은 AI가 완벽하지 않다는 것, 특히 수학이나 복잡한 논리에서 실수를 할 수 있다는 점을 깨달 been 것입니다. 그들은 AI를 단순히 일을 대신 해주는 해결책 생성기가 아니라, 매우 빠르지만 가끔은 틀리기도 하는 학습 파트너로 취급하기 시작했습니다. 그들은 AI가 개념을 이해하거나 버그를 잡는 데는 훌륭하지만, 최종 성적을 위해서는 여전히 스스로 힘든 과정을 수행해야 한다는 명확한 경계선을 설정했습니다.

연구진은 자신들이 학생들이 실제로 부정행위를 덜 했는지 혹은 더 많이 배웠는지를 증명한 것은 아니라고 신중하게 밝히는데, 이는 단지 학생들이 자신이 했다고 말한 내용만을 물었기 때문입니다. 그러나 결과는 짧고 영리한 수업이 학생들의 AI에 대한 생각을 바꿀 수 있음을 시사합니다. 그것은 학생들이 숙제를 AI에게 떠넘기는 사람이 되지 않으면서도, 더 자신감 있고 전략적으로 행동하게 만드는 것처럼 보입니다. 이는 마치 운전자에게 GPS 사용법을 가르치는 것과 같습니다. 그들은 새로운 도시에서 운전하는 데 더 자신감을 느낄 수 있지만, 여로도 자동차의 핸들은 스스로 조종해야 합니다.

기술 요약: 저학년 컴퓨터 과학 전공생을 위한 단계적 GenAI 실습(Scaffolded GenAI Lab)

문제 제기
생성형 인공지능(GenAI) 도구의 광범적인 보급은 온디맨드 코드 생성 및 설명을 가능하게 함으로써 컴퓨터 과학 교육 과정을 교란하고 있다. 교육자들은 학습 목표를 명확히 하고 무결성 경계를 설정할 필요성을 인식하고 있지만, 많은 이들이 전체 커리큘럼을 GenAI 중심으로 재설계하거나 광범에한 새로운 평가 인프라를 구축할 여력이 부족하다. 기존 문헌은 윤리적 함의와 한계점에 대한 교육의 필요성을 강조하고 있으나, 전체 커리큘럼의 전면적인 개편 없이도 짧고 과정에 내재된 교육적 개입이 어떻게 책임감 있고 학습 지향적인 사용을 촉진할 수 있는지에 대한 증거는 제한적이다. 특히, 가벼운 스캐폴딩(scaffold)이 (개념 질문, 디버깅, 과제 등) 일반적인 학술적 시나리오 전반에서 학생들의 자기 보고식 사용 패턴, 개방성 및 편안함을 변화시키면서도, 성적이 매겨지는 과업에 대한 GenAI 의존도를 의도치 않게 높이지 않을 수 있는지 여부는 여전히 불분ci명하다.

방법론
본 연구는 단계적 GenAI 리터러시 개입인 "AI-Lab"에 대해 혼합 방법론 기반의 다전공 평가를 수행하였다. 연구는 2024년 봄과 가을 두 학기에 걸쳐 미국의 한 대형 연구 중심 대학 내 세 개의 저학년 컴퓨터 과학 과정(DSA-CS, DSA-DSAI, CP)과 한 개의 1학년 공학 과정(ENGR)에서 진행되었다.

개입 구조: AI-Lab은 세 가지 구성 요소로 이루어진다: (1) 기대치, 무결성 경계 및 기초 프롬프팅을 다루는 사전 실습 오리엔테이션, (2) 강의 내용과 일치하는 주제에 대해 그럴듯하지만 불완전하거나 틀린 GenAI 출력물을 비판적으로 검토하는 수업 내 활동, (3) 특정 과제(예: 프롬프트 정교화, 검증 단계, 모델의 실패 사례)에 대한 GenAI와의 상호작용을 기록하고 성찰하는 사후 실습 과제.
양적 데이터: 실습 전후의 짝지어진 설문조사가 실습 시점에 맞춰 실시되었다. 설문 도구에는 "사용(Usage)" 도구(사용 빈도)와 "인식(Perception)" 도구(개방성 및 편안함)가 포함되었다. 주요 분석은 CS 과정 전반에서 얻은 778개의 짝지어진 응답(인식)과 773개의 응답(사용)을 대상으로 하였다. 통계 분석에는 서열 척도인 Liket 척도 응답의 변화를 평가하기 위해 짝지어진 비모수 윌콕슨 부호 순위 검정(Wilcoxon signed-rank tests)을 활용하였으며, 효과 크기 추정을 위해 순위 이계 상관계수( $r_{rb}$ )를 보완적으로 사용하였다.
질적 데이터: 개입 5~7주 후 자발적 참여자를 대상으로 6회의 반구조화된 초점 집단 면담(focus groups)을 실시하였다. 녹취록은 프롬프팅 전략, 검증 행동, 경계 설정에 초점을 맞추어 주제 분석(thematic analysis)을 통해 설문 결과의 변화를 맥락화하였다.

주요 기여

평가 프레임워크: 짝지어진 사전/사후 설문조사와 초점 집단 면담을 사용하는 짧고 단계적인 GenAI 리터러시 실습 개입에 대한 혼합 방법론 기반의 다전공 평가 모델 제시.
변화와 안정성의 실증적 증거: 학생들의 인식과 관행이 변화한 부분(특정 시나리오에서의 편안함 및 개방성 증가)과 유지된 부분(성적이 매겨지는 과업에서의 사용 빈도)을 문서화하였으며, 교육적으로 유의미한 귀무 가설(null findings)을 포함함.
실행 가능한 개입 구조: 타이밍, 구성 요소, 활동을 상세히 기술하고 경계 조건 및 타당도 위협(예: 자기 보고에 대한 의존)을 명시한 전이 가능한 실습 프레임워크 제공.

결과

양적 결과:
- 편안함 및 개방성: 학생들은 개념 질문, 디버깅, 과제 수행 시 GenAI를 사용하는 것에 대해 통계적으로 유의미한 편안함 증가를 보고하였다. 개방성은 개념 질문과 과제 도움 측면에서 유의미하게 증가하였다.
- 사용 빈도: 과제 및 프로그래밍 프로젝트를 위한 GenAI 사용 빈도는 안정적으로 유지되었다(통계적으로 유의미한 변화 없음). 그러나 디버깅을 위한 사용 빈도는 유의미하게 증가하였다.
- 효과 크기: 변화가 나타난 항목의 경우, 효과 크기는 일반적으로 컸으며( $|r_{rb}| > 0.50$ ), 이는 변화를 보인 응답자들 사이에서 일관된 방향성을 나타낸다.
- 하위 그룹: 인구통계학적 특성(성별, 인종/민족, 거주지, 학년)에 따른 변화 방향이나 크기의 통계적 유의차는 발견되지 않았으나, 이는 탐색적 목적으로 다루어졌다.
질적 결과:
- 단순 사용에서 전략적 사용으로: 참가자들은 시행착오 방식의 프롬프팅에서 더 반복적이고 맥락이 풍부한 전략(예: 제약 조건 제공, 프롬프트 정교화)으로 전환하였다.
- 한계에 대한 인식 개선: 학생들은 수학 및 복잡한 논리 영역에서 GenAI의 정확성에 대해 더 회의적으로 변했으며, 강의 자료를 통해 출력을 검증할 가능성이 높아졌다.
- 경계 및 무결성: 학생들은 명확한 경계를 설정하였으며, GenAI를 성적 산출을 위한 해결책 생성기가 아닌 개념 이해나 디버깅을 위한 "조교(TA)와 같은" 지원 도구로 정의하는 경향을 보였다.
내적 갈등: 참가자들은 GenAI의 효율성과 학습의 주도권을 유지하고 도구의 "꼭두각시"가 되지 않으려는 욕구 사이의 긴장감을 표현하였다.

의의 및 주장
본 논문은 짧고 구조화된 개입(AI-Lab)이 학생들의 보고된 편안함, 사용 의지, 그리고 GenAI와 상호작용하는 전략에 효과적으로 영향을 미칠 수 있다고 주장한다. 결정적으로, 본 연구는 이러한 변화가 성적이 매겨지는 과업(과제 및 프로젝트)에 대한 전반적인 자기 보고식 GenAI 사용 빈도를 높이지 않은 상태에서 발생했다는 점을 발견하였다.

저자들은 이 결과가 학생들의 준비도와 GenAI에 관한 의사결정을 형성할 수 있는 가벼운 스캐폴딩의 효용성을 보여주는 증거라고 위치시킨다. 저자들은 본 연구가 실제 행동 흔적이나 학습 성과를 측정한다고 주장하지 않으며, 또한 이 개입이 학업 부정행위를 방지한다는 것을 증명하는 것도 아님을 명시한다. 대신, 본 연구의 결과는 한계와 경계에 대한 명시적 교육이 성적이 매겨지는 과업에 대한 부적절한 GenAI 의존도를 반드시 높이는 것은 아니라는 점을 시사하며, 교수자들에게 유익한 신호를 제공한다. 결론적으로 본 논문은 이러한 패턴을 검증하기 위해 자기 보고를 행동 흔적 및 학습 측정치와 삼각측량(triangulate)하는 향후 연구의 필요성을 제기한다.

유사한 논문