Supervised Practice Time and the AI-Code Workflow: Evidence from Finance Undergraduates at a Regional Chinese University

현대 금융 교육의 강의실에서는 조용한 혁명이 일어났다. 수십 년 동안 시장을 분석하는 법을 배운다는 것은 컴퓨터 코드의 구문을 숙달하는 것을 의미했으며, 이는 많은 학생이 경제학의 더 깊은 논리에 도달하는 것을 가로막는 장벽이었다. 오늘날, 새로운 종류의 인공지능은 그 코드를 즉각적으로 작성할 수 있으며, 평범한 영어 문장을 작동하는 프로그램으로 바꾸어 놓는다. 이러한 변화는 과제를 코드를 작성하는 것에서 프로세스를 관리하는 것으로 옮겨 놓았다. 즉, 올바른 질문을 던지고, 스크립트를 실행하며, 결과를 확인하고, 오류를 수정하는 일이다. 교육자들에게 핵심적인 질문은 더 이상 학생들이 명령어를 입력할 수 있느냐가 아니라, 이 새로운 디지털 조수를 효과적으로 지시할 수 있느냐 하는 것이다. 만약 기계가 작성을 위한 힘든 일을 대신 해준다면, 학생은 여전히 기술을 연마할 필요가 있는가, 만약 그렇다면 어떻게 해야 하는가?

연구진은 중국의 한 지역 대학에서 학생들을 관찰함으로써 이 질문에 대한 답을 찾고자 했다. 그들은 하나의 단순한 변수인 '감독 하의 연습 시간'에 주목했다. 이는 학생이 단순히 시연을 보거나 집에서 혼자 공부하는 것이 아니라, 강사가 방 안에 있는 상태에서 컴퓨터로 작업하는 시간을 의미한다. 연구진은 교사의 안내를 받으며 그 추가적인 시간을 갖는 것이 학생들이 AI를 명령하는 데 도움을 줄 수 있을지 궁금해했다. 그들은 총 138명의 재무학 학부생으로 구성된 네 개의 온전한 학급을 모집하여 두 그룹으로 나누었다. 한 그룹은 모든 수업 시간에 자신의 노트북을 지참할 수 있도록 허용되어, 교사가 지켜보는 가운데 AI에게 프롬프트를 입력하고, 코드를 실행하고, 출력을 확인하는 순환 과정을 연습할 수 있었다. 다른 그룹은 표준 일정을 따랐으며, 특정으로 정해진 실습 시간에는 컴퓨터를 사용할 수 있었지만, 나머지 수업 시간에는 화면을 통해 강사가 작업하는 모습을 지켜보기만 했다.

연구는 두 학기에 걸쳐 진행되었다. 첫 번째 학기에는 학생들은 MATLAB이라는 금융 모델링 프로그램을 사용했다. 그들은 채권 가격을 계산하거나 주식 시장의 추세를 분석하는 것과 같은 실제 세계의 문제를 해결해야 하는 네 번의 실습 테스트를 치렀다. 규칙은 엄격했다. 코드는 오류 없이 실행되어야 하며 특정 수치적 답을 내놓아야 했다. 결과는 명확한 차이를 보였다. 시작 단계에서는 두 그룹 모두 점수가 최하위권 근처에 머물며 비슷하게 수행했다. 그러나 몇 주가 지나고 과제가 복잡해짐에 따라, 감독 하의 연습 시간이 더 많았던 그룹이 앞서 나가기 시작했다. 마지막 테스트에서, 수업 중에 노트북을 사용하여 연습했던 학생들은 단순히 보기만 했던 학생들보다 약 11점 더 높은 점수를 기록했다. 이 격차는 단순한 통계적 오차가 아니었다. 그것은 학급 전체의 분포가 변화했음을 나타냈다. 연습을 더 많이 한 학생들은 첫 단계에서 막힐 가능성이 훨씬 낮았고, 전체 과제 순서를 완수할 가능성이 더 높았다.

연구진은 두 학기에 걸쳐 두 학급을 추적 조사하였으며, 여기서는 기업 재무 문제를 다루는 Stata라는 다른 소프트웨어 프로그램을 다루었다. 이 중 한 학급은 추가적인 "자기 기기 지참(bring your own device)" 방식을 적용받았고, 다른 학급은 표준 일정을 유지했다. 비록 이것이 새로운 소프트웨어 도구와 새로운 문제 세트였음에도 불구하고, 그 패턴은 반복되었다. 추가적인 감독 시간을 가졌던 학급은 특히 여러 단계를 사슬처럼 연결해야 하는 어려운 과제에서 유의미하게 더 나은 성과를 보였다. 더 많은 연습을 한 학생들은 감독 하에 워크플로우를 연습할 시간이 적었던 동료들에 비해 가장 어려운 과제를 완수할 확률이 거의 두 배나 높았다.

왜 이런 현상이 일 나타났는지 이해하기 위해, 연구진은 학생들에게 직접 물었다. 답변은 기술적인 특성보다는 인간적인 특성을 가리켰다. AI 워크플로우 학습을 방해하는 요소가 무엇인지 묻자, 두 그룹의 대다수 학생은 자기 주도적 동기 부여의 부족을 꼽았다. 그들은 수업의 구조와 교사의 존재가 없다면, 스스로 프롬프트와 확인의 순환 과정을 연습하지 않았을 것이라고 인정했다. 감독 시간은 그 결여된 추진력을 대신하는 역할을 하여, 그렇지 않았다면 일어나지 않았을 연습을 강제로 수행하게 만들었다. 이 연구는 이러한 추가 시간의 가치가 기술 그 자체에 있는 것이 아니라, 학생들이 기술을 사용하게 만드는 환경에 있다는 점을 시사한다.

그러나 연구는 학생들이 코드를 실행하게 된 이후에 나타나는 새로운 병목 현상 또한 밝혀냈다. 그들이 보고한 가장 큰 어려움은 더 이상 프롬프트를 작성하거나 구문 오류를 고치는 것이 아니라, AI가 준 답이 실제로 맞는지 판단하는 것이었다. 코드가 결과를 생성하고 나면, 학생들은 그 결과가 현실 세계에서 타당한지를 검증하는 데 어려움을 겪었다. 이는 매우 중요한 장애물인데, 인공지능은 미묘하게 틀린 답을 매우 유창하고 설득력 있게 제시할 수 있기 때문이다. 연구진은 추가적인 연습 시간이 코드를 실행하게 하는 데는 도움이 되었지만, 그 출력이 옳은지 아는 문제를 완전히 해결해주지는 못했다는 점에 주목했다. 이 검증 단계는 대부분의 학생이 갖추지 못한, 그리고 수업 후에 스스로 개발하기 어려운 깊은 도메인 지식을 요구한다는 것을 그들은 발견했다.

이 연구 결과는 인공지능에 적응하는 교육의 모습에 대해 명확하면서도 미묘한 그림을 제공한다. 연구는 단순히 학생들에게 컴퓨터나 AI 도구에 대한 접근권을 주는 것만으로는 기술을 향상시키기에 충분하지 않다는 것을 보여주었다. 대신, 학습 환경의 구조가 매우 중요하다는 것을 보여주었다. 학생들이 교사의 감시 하에 AI를 지시하는 전체 순환 과정을 연습할 기회를 얻을 때, 그들은 워크플우를 더 효과적으로 탐색하는 법을 배운다. 이러한 이점은 과제가 어려워질수록 커지는데, 이는 이러한 도구를 관리하는 능력이 반복과 지도를 통해 구축되는 기술임을 시사한다. 그럼에도 불구하고, 연구는 하나의 질문을 남겨두었다. 완벽해 보이는 코드조차 숨길 수 있는 실수를 학생들에게 어떻게 찾아내게 할 것인가? 연구는 감독 하의 연습이 기계를 작동시키는 문제는 해결해주지만, 기계가 옳다는 것을 아는 더 어려운 과제는 향후 탐구가 필요한 과제로 남아 있다고 결론지었다.