Analyzing Undergraduate Problem-Solving in Physics Through Interaction With an AI Chatbot

물리학 수업을 무거운 전기톱을 저글링하려고 애쓰는 학생들이 모인 거대하고 시끄러운 체육관이라고 상상해 보세요. 수십 년 동안 교사들은 전문가(프로)와 초보자(노비스)가 단순히 저글링을 다르게 하는 것이 아니라, 생각하는 방식 자체가 다르다는 것을 알고 있었습니다. 프로들의 머릿속에는 움직임을 계획하고, 균형을 확인하고, 공중에서 조절하는 데 도움이 되는 비밀 지도가 있습니다. 하지만 전통적인 교실에서 교사는 최종 결과, 즉 전기톱이 바닥에 떨어졌는지 여부만을 볼 수 있습니다. 낙하하기 전에 일어났던 복잡하고 보이지 않는 사고 과정은 여전히 미스터리로 남습니다. 이것은 큰 문제입니다. 학생이 어떻게 생각하는지 볼 수 없다면, 그들의 지도를 고쳐줄 수 없기 때문입니다.

여기에 새로운 코치가 등장합니다. 인공지능(AI)입니다. AI를 단순히 정답을 주는 로봇이 아니라, "소크라테스식" 튜터라고 생각하세요. 이는 정답을 알려주는 대신, 스스로 답을 찾아낼 수 있도록 완벽한 질문을 던지는 코치를 뜻하는 멋진 표현입니다. 마치 "왼쪽으로 가세요"라고 말하는 대신, "메인 스트리트 표지판이 보이나요?"라고 묻는 GPS와 같습니다. 이 접근 방식은 학생 스스로의 정신적 지도를 구축하도록 설계되었습니다. 과학자들의 큰 질문은 이것입니다: 이 AI 코치가 실제로 학생들이 저글링을 더 잘하게 도와주는가, 그리고 우리가 그들이 던지는 질문을 듣는 것만으로 그들이 어떻게 생각하는지 배울 수 있는가?

---

이 연구에서 퍼듀 대학교의 연구원들은 실제 물리학 체육관에서 이 AI 코치를 테스트하기로 했습니다. 그들은 까다로운 역학 과정을 수강하는 150명의 1학년 과학도들을 위해 맞춤형 챗봇을 설정했습니다. 챗봇은 단순히 숙제를 내주는 대신, 인간 조수 역할을 했습니다. 챗봇은 거대한 스프링에 의해 발사되는 인간 포탄이라는 까다로운 시나리오를 제시했고, 학생은 연기자가 15피트 벽을 넘을 수 있을지 판단해야 했습니다. 핵심은 챗봇이 문제를 대신 풀어주지 않는다는 점이었습니다. 대신 챗봇은 "당신의 계획은 무엇인가요?" 또는 "우리가 가진 데이터는 무엇인가요?"라고 묻고 학생의 답변을 기다렸습니다.

연구원들은 두 가지를 알고 싶었습니다. 첫째, 학생들이 이 AI 코치에 대해 어떻게 느꼈는가? 그것이 그들을 더 똑똑하거나 자신감 있게 만들었는가? 둘째, 학생들이 봇에게 던진 질문을 분석함으로써 학생들의 문제 해결 능력을 배울 수 있는가? 그들은 채팅 로그를 보물 지도로 취급하며, 학생들이 "길을 잃었다"에서 "해냈다"로 어떻게 생각이 진화하는지에 대한 단서를 찾았습니다.

학생들의 생각
세션이 끝난 후, 학생들은 설문조사를 작성했습니다. 결과는 꽤 고무적이었습니다. 1점에서 5점 척도에서, 학생들은 챗봇이 실제 물리학 개념과 기술을 이해하는 데 도움을 준 정도에 대해 4.0/5.0이라는 높은 점수를 주었습니다. 그들은 봇이 스스로 문제를 해결하는 방법을 배우는 데 도움이 되었다고 느꼈습니다. 전반적인 효과성 등급은 약 3.4/5.0으로 약간 낮았는데, 이는 봇이 학습에는 훌륭했지만, 모든 사람에게 모든 것을 쉽거나 재미있게 만드는 마법 지팡이는 아니었음을 시사합니다. 일부 학생들은 여전히 과제가 어렵다고 느꼈고, 봇이 그 어려움을 완전히 제거하지는 못했지만, 학생들이 그 어려움을 헤쳐 나갈 수 있도록 도왔습니다.

질문의 진화
여기서 이야기는 정말 흥ей로워집니다. 연구원들은 대화 기록을 검토하며, 학생이 던지는 모든 질문을 그 순간의 뇌를 보여주는 스냅샷으로 취급했습니다. 그들은 질문을 두 가지 유형으로 분류했습니다: "포괄적 질문"(예: "어디서부터 시작해야 할지 모르겠어요" 또는 "무엇을 해야 하나요?")과 "구체적 질문"(예: "여기서 에너지 보존 법칙을 사용해야 하나요?" 또는 "스프링 높이가 중요한가요?").

채팅의 아주 초기 단계에서 대부분의 학생들은 암흑 속에 있었습니다. 첫 질문 중 구체적인 질문은 약 **10~15%**에 불과했으며, 나머지는 도움을 요청하는 포괄적인 내용이었습니다. 하지만 대화가 진행됨에 따라 놀라운 일이 일랐습니다. 학생들은 점점 더 날카롭고 목표가 분명한 질문을 던지기 시작했습니다. 네 번째 차례에 도달했을 때, 질문의 약 **58%**가 구체적이었습니다. 세션이 끝날 무렵에는 학생의 **100%**가 구체적이고 집중된 질문을 던지고 있었습니다. 마치 AI 코치가 학생들이 안개 속을 헤매는 것에서 벗어나 직선의 밝은 길을 걷도록 성공적으로 안내한 것과 같았습니다.

성공과의 연결 고리
연구원들은 다음을 물었습니다: 더 좋은 질문을 던지는 것이 더 좋은 성적을 의미하는가? 그들은 학생의 질문이 얼마나 구체적인지를 그들이 예상하는 강의 성적과 비교했습니다. 그들은 "완만한 양의 상관관계"(통계적으로 두 요소가 함께 움직인다는 의미)를 발견했는데, 그 수치는 0.43이었습니다.

이것을 쉬운 말로 풀이하면 다음과 같습니다. 더 구체적이고 상세한 질문을 던지는 학생일수록 높은 성적을 기대하는 경향이 있었습니다. 예를 들어, "A"를 받을 것이라고 생각한 많은 학생은 질문의 80% 이상이 구체적인 것으로 분류되었습니다. 반대로, 계속해서 포괄적이고 모호한 질문을 던지는 학생들은 낮은 성적(약 "C")을 예상하는 경향이 있었습니다.

하지만 연구원들은 이것을 완벽한 규칙이라고 부르는 데 주의를 기울였습니다. 데이터는 다소 흩어져 있었습니다. 매우 구체적인 질문을 던졌음에도 중간 정도의 성적을 예상한 학생들도 있었고, 높은 성적을 예상하면서도 놀라울 정도로 포괄적인 질문을 던진 학생들도 있었습니다. 이는 질문을 잘 던지는 것이 훌륭한 문제 해결자의 강력한 징후이긴 하지만, 그것이 유일한 요소는 아님을 시사합니다. 이미 알고 있는 지식의 양이나 노력의 정도와 같은 다른 요인들도 큰 역할을 합니다.

시사점
이 연구는 AI 챗봇이 단순히 정답을 주는 것이 아니라, 학생들이 올바른 질문을 던지도록 유도함으로써 물리학 교육의 강력한 도구가 될 수 있음을 시사합니다. 챗봇은 학생들이 길을 잃은 상태에서 전문가처럼 생각하도록 전환하는 데 도움을 주었습니다. 구체적인 질문을 던지는 것이 성공의 좋은 징후이긴 하지만, 그것은 퍼즐의 한 조각일 뿐입니다. 연구원들은 이것이 한 가지 유형의 문제만을 대상으로 한 작은 테스트였음을 인정하며, 이것이 모든 사람과 모든 주제에 적용되는지 확인하기 위해 더 많은 연구가 필요하다고 말했습니다. 하지만 현재로서는, "정답은 이것이다"라고 말하는 대신 "당신의 계획은 무엇인가요?"라고 묻는 AI 코치를 두는 것이 학생들이 물리학 전기톱 저글링을 배우는 데 꽤 좋은 방법인 것으로 보입니다.