The comparative evaluation of explanations for algorithmic programming problems provided by a Human vs. ChatGPT: an exploratory online user study

교실에서 학생과 교사의 관계는 인간 가이드가 복잡한 아이디어를 이해 가능한 단계로 나누어 설명하는 지식의 교환에 의해 오랫동안 정의되어 왔습니다. 오늘날, 새로운 종류의 가이드가 교실에 들어왔습니다. 바로 인공지능입니다. 이 시스템들은 인간 전문가에 필적하는 속도로 텍스트를 생성하고, 수학 문제를 풀며, 컴퓨터 코드를 작성할 수 있습니다. 그러나 교육자와 학부모들에게는 중요한 질문이 남아 있습니다. 학생이 학습하려고 노력할 때, 누가 설명하고 있는지가 과연 중요할까요? 사람이 만든 해법과 기계가 생성한 해법 사이에 근본적인 차이가 존재할까요? 그리고 학습자는 그 차이를 구별할 수 있을까요? 이 탐구는 학생들이 어려운 프로그래밍 과제에 대한 설명을 접할 때, 그것이 살아있는 사람이 아닌 디지털 캐릭터를 통해 전달될 경우 어떻게 인식하는지를 조사한 최근 연구의 핵심을 관통합니다.

연구진은 카자흐스탄 대학의 과학자들로 구성된 팀으로, 이들은 37명의 고등학생을 대상으로 이 신흥 기술의 한계를 테스트하고자 했습니다. 이들은 초보자가 아니었습니다. 참가자들은 15세에서 17세 사이의 연령대로, 수학 및 과학 경시 대회를 위한 훈련으로 유명한 특성화 학교 출신이었습니다. 이들은 이미 수년간 코딩을 배워왔으며, 많은 이들이 초등학교 시절부터 코딩을 시작했습니다. 연구의 목표는 이 숙련된 젊은 프로그래머들이 인간 강사가 작성한 솔루션과 텍스트 및 코드를 생성할 수 있는 거대 언어 모델(LLM) 유형의 인공지능이 생성한 솔루션을 구별할 수 있는지 확인하는 것이었습니다. 테스트의 공정성을 기하고 목소리나 외형에 따른 편향을 제거하기 위해, 연구진은 3D 애니메이션 캐릭터, 즉 아바타를 사용하여 설명을 전달했습니다. 이 디지털 형체는 컴퓨터로 생성된 음성으로 말함으로써, 학생들이 인간의 어조나 감정과 같은 단서를 이용해 출처를 추측할 수 없도록 보장했습니다.

실험은 일련의 도전 과제처럼 구조화되었습니다. 학생들에게는 다섯 가지 서로 다른 프로그래밍 문제가 제시되었으며, 각 문제에는 솔루션과 설명이 함께 제공되었습니다. 이 문제들은 경쟁적인 프로그래머들이 사용하는 유명한 온라인 플랫폼에서 가져온 것입니다. 각 문제에 대해 설명은 동일한 3D 아바타에 의해 전달되었지만, 코드의 출처는 다양했습니다. 어떤 경우에는 웹사이트에서 문제를 해결한 인간 전문가로부터 코드와 설명이 제공되었습니다. 또 다른 경우에는 코드가 인공지능 시스템에 의해 생성되었습니다. 학생들은 아바타가 솔루션을 설명하는 것을 시청한 후, 일련의 질문에 답해야 했습니다. 그들은 자신이 자료를 얼마나 잘 이해했는지 평가하고, 코드가 인간이 작성한 것인지 기계가 작성한 것인지 추측하며, 아바타 자체를 평가했습니다. 연구진은 또한 학생들의 이전 프로그래밍 경험이나 디지털 아바타와의 이전 상호작용이 차이를 식별하는 능력에 영향을 미치는지도 확인했습니다.

연구 결과는 학생들이 이 기술과 어떻게 상호작용하는지에 대한 놀라운 통찰을 제공했습니다. 코드의 출처를 식별하라는 요청을 받았을 때, 데이터는 미묘한 패턴을 드러냈습니다. 참가자들은 실제로 ChatGPT에 의해 제공된 과제에 대해서는 "ChatGPT가 제공함"을 더 자주, 그리고 더 단호하게 선택했습니다. 그러나 인간에 의해 제공된 과제에 대해서는 더 망설였으며, 출처를 인간과 AI 사이에서 더 균등하게 선택했습니다. 이는 학생들이 AI가 생성한 콘텐츠를 어느 정도의 확신을 가지고 식별할 수는 있지만, 인간의 솔루션을 구별하는 데는 더 어려움을 겪어 명확하고 일관된 구별 능력보다는 혼합된 정답과 오답을 보였다는 것을 시사합니다. 학생들은 코드가 사람으로부터 왔든 기계로부터 왔든 상관없이 솔루션에 대한 이해도를 비슷하게 평가했습니다. 나아가, 연구는 학생의 배경이 결과를 바꾸지 않는다는 것을 발견했습니다. 초등학교 때 코딩을 시작했는지 혹은 고등학교 때 시작했는지, 또는 디지털 어시스턴트와 상호작용한 적이 있는지 여부는 출처를 구별하거나 몰입도에 미치는 영향에 유의미한 차이를 주지 않았습니다.

학생들이 두 출처 사이의 차이를 쉽게 구별하지는 못했지만, 전달 방식에 대한 피드백은 더 비판적이었습니다. 인간과 기계의 솔루션을 모두 서술하는 역할을 맡았던 3D 아바타는 엇갈린 평가를 받았습니다. 많은 학생은 캐릭터의 목소리가 단조롭고 인간의 말처럼 자연스러운 리듬이 부족하다고 언급했습니다. 그들은 아바타의 움직임이 때때로 반복적이며 말하는 내용과 항상 일치하지는 않는다는 점을 지적했는데, 이는 코드의 복잡한 논리에 집중하는 것을 어렵게 만들었습니다. 일부 학생들은 캐릭터의 로봇 같은 특성이 학습 경험을 덜 개인적으로 만들고 따라가기 더 어렵게 만든다고 느꼈습니다. 이러한 비판에도 불구하고, 전반적인 정서는 낙관적이었습니다. 대부분의 학생은 이러한 기술이 특히 교사를 사용할 수 없을 때 어려운 개념을 설명하는 도구로서 미래에 유용할 것이라고 믿었습니다. 그들은 현재 버전의 아바타에 결함이 있음을 인정하면서도, 음성과 애니메이션이 개선된다면 교육에 귀중한 추가 요소가 될 수 있다고 보았습니다.

본 연구는 인공지능이 명확성과 정확성 측면에서 인간의 설명을 구별할 수 없을 정도로 빠르게 생성할 수 있게 되었지만, 전달 매체 또한 여전히 중요하다는 결론을 내립니다. 학생들은 기술을 학습 보조 도구로서 받아들일 용의가 있었으나, 현재의 디지털 아바타가 가진 한계를 빠르게 파악했습니다. 연구는 이러한 도구들이 진화함에 따라, 단순히 생성하는 코드의 품질뿐만 아니라 그들이 제공하는 상호작용의 품질에도 초점을 맞춰야 함을 시사합니다. 교육자들에게 있어, 이 연구 결과는 학생들이 곧 기계가 생성한 콘텐츠로부터 효과적으로 학습할 수 있게 되겠지만, 연결하고, 적응하며, 정적인 단조로운 아바타가 아직 재현할 수 없는 방식으로 몰입을 이끌어내는 교사의 인간적인 손길은 여전히 독보적이라는 점을 시사합니다. 교육의 미래는 인간 교사와 지능형 기계 간의 파트너십을 포함할 수 있으나, 그 파트너십으로 가는 길은 디지털 도구를 그들이 돕고자 하는 사람들만큼 매력적으로 다듬는 과정이 필요합니다.