Structured AI Demonstrations and Student LLM Use in Engineering Mechanics: Study Design and Preliminary Results

교실을 학생들이 복잡한 기계를 만드는 법을 배우는 거대하고 북적이는 작업실이라고 상상해 보세요. 수십 년 동안 이 작업실의 도구는 교과서, 계산기, 그리고 주변을 돌며 힌트를 주는 교사였습니다. 하지만 최근, 새로운 종류의 '슈퍼 보조자'가 도착했습니다. 바로 거대 언어 모델(LLM)입니다. 이들을 거의 모든 책을 읽고 거의 모든 문장을 쓸 수 있는 믿을 수 없을 정도로 빠르고 수다스러운 로봇이라고 생각해보세요. 이들은 여러분의 숙제 질문에 즉각 답해주는 지니와 같지만, 한 가지 함정이 있습니다. 때때로 이 지니는 수학 문제를 틀리거나, 진짜처럼 들리지만 사실은 아닌 정보를 지어내기도 합니다.

현재 교사들의 큰 고민은 이 지니를 금지할 것인가, 아니면 학생들이 스스로 생각하는 것을 포기하지 않으면서 이 지니와 함께 일하는 법을 가르칠 것인가 하는 것입니다. 이것은 마치 운전을 가르치는 것과 비슷합니다. 학생이 차가 스스로 운전하는 동안 그저 조수석에 앉아만 있기를 바라지는 않지만, 그렇다고 브레이크 작동법을 몰라서 사고를 내는 것도 원치 않는 것과 같습니다. 이 논문은 추측하는 것을 멈추고 관찰하기 시작한 엔지니어 그룹의 보고서입니다. 그들은 학생들이 이러한 AI 도구를 정확히 어떻게 사용하는지, 실제로 결과물을 확인하는지, 그리고 도구를 사용하는 방법을 보여주는 것이 학습 방식에 변화를 주는지 알아보기 위해 대학 공학 수업에서 특별한 실험을 설정했습니다.

실험: AI 관찰의 한 학기

2026년 봄, 보스턴 대학교의 연구원들은 '공학 역학(Engineering Mechanics)'이라는 까다로운 공학 수업의 커튼 뒤를 살짝 들여 들여다보기로 했습니다. 이 수업은 학생들이 다리가 무너지거나 건물이 기울어지는 것을 방지하는 법을 배우는 곳입니다. 수학, 도표, 논리가 매우 중요합니다. 연구원들은 세 가지를 알고 싶었습니다. 학생들은 실제로 AI를 어떻게 사용하고 있는가? AI 사용이 성적에 도움이 되는가, 아니면 해가 되는가? 그리고 만약 교사가 AI를 현명하게 사용하는 방법에 대해 일련의 짧고 구조화된 수업을 제공한다면, 그것이 학생들의 행동을 변화시키는가?

이를 알아내기 위해 그들은 학급을 두 그룹으로 나누었습니다. 한 그룹(실험군)은 학기 동안 아홉 번의 특별한 15분 미니 레슨을 받았습니다. 이것은 단순한 강의가 아니라, 교사가 AI를 (답을 주는 대신 질문을 던지는 '소크라테스식 튜터'로서) 사용하는 법, 프로그래밍을 구축하는 데 사용하는 법, 그리고 AI가 거짓말을 하는지 테스트하는 법을 직접 보여주는 실시간 시연이었습니다. 다른 그룹은 평소처럼 수업을 진행했습니다.

연구원들은 학기 초와 학기 말에 학생들에게 설문조사를 실시하여, AI를 얼마나 자주 사용하는지, AI에 대해 어떻게 생각하는지, 그리고 AI가 맞는지 어떻게 확인하는지에 대해 솔직하게 답변하도록 요청했습니다. 또한, 휴대폰이나 인터넷 없이 강의실에서 치러진 중간고사 성적을 검토하여, AI 활용 습관이 자료에 대한 이해도와 일치하는지 확인했습니다.

발견한 점: '검증되지 않은 사용'에서 '확인'으로의 변화

데이터가 들려주는 이야기는 마치 아이들이 새로운 비디오 게임을 익히는 과정을 지켜보는 것과 같습니다. 학기 초에는 약 3분의 1의 학생들이 이 특정 수업을 위해 AI를 사용해 본 적이 없다고 답했습니다. 학기 말에는 그 숫자가 거의 제로에 가까워졌습니다. 모두가 사용하고 있었습니다.

하지만 그 사용 방식이 변했습니다.

• '자체 시도'의 변화: 초기에 대부분의 학생은 문제를 스스로 먼저 풀려고 노력한 다음, 정답을 확인하거나 막혔을 때 도움을 받기 위해 AI를 사용한다고 답했습니다. 학기 말까지도 이 방법이 가장 인기 있었지만, 새로운 추세가 나타났습니다. 더 많은 학생이 단순히 마지막에 확인하는 것이 아니라, 작업하는 동안 단계별로 안내를 받기 위해 AI를 사용하기 시작했습니다.
• '신뢰' 문제: 학생들은 AI를 더 많이 사용하면서도, 이를 맹목적으로 신뢰하지는 않았습니다. 실제로 데이터는 그들이 점점 더 회의적으로 변했음을 시사합니다. 더 많은 학생이 AI의 작업물을 교과서와 대조하거나, 로봇이 환각 현상을 일으키지 않는지 확인하기 위해 문제를 직접 다시 풀어보는 등 적극적으로 확인하고 있다고 보고했습니다.
• '성적'의 미스터리: 여기서 까다로운 부분이 발생합니다. 연구원들은 한 패턴을 발견했습니다. 이미 어려움을 겪고 있던 학생들(하위 25%)이 학기 초부터 이 특정 수업을 위해 AI를 가장 많이 사용하고 있었습니다. 상위권 학생들은 AI를 가장 적게 사용했습니다. 그러나 논문은 이것이 AI가 낮은 성적의 원인임을 증명한다는 점에 매우 주의를 기울입니다. 학생들이 도움을 받기 위해 AI에 의존했을 가능성도 있으며, 혹은 AI에 너무 의頼함으로써 실력을 키울 충분한 연습을 하지 못했을 가능성도 있습니다. 연구는 어느 쪽으로 인과관계의 화살표가 향하는지 밝힐 수 없습니다.

교훈: 교사의 시연이 도움이 되었나?

아홉 번의 미니 레슨은 학생들이 AI를 '현명한 사용자'가 되는 법을 보여주기 위해 설계되었습니다. 결과는 공연의 절반은 관객이 열광하고 나머지 절반은 시간 낭비라고 생각하는 콘서트처럼 엇갈렸습니다.

• 긍정적인 면: 많은 학생이 이 레슨이 트러스 구조의 다리를 만드는 것과 같은 자신들의 구체적인 프로젝트에 AI를 사용하는 방법을 이해하는 데 도움이 되었다고 말했습니다. 그들은 AI가 단순히 답을 주는 대신 질문을 던지는 튜터처럼 행동하게 만드는 법을 보는 것을 좋아했습니다.
• 부정적인 면: 상당수의 학생이 레슨이 "중복적"(이미 알고 있는 내용)이거나 "유용성이 부족하다"(숙제에 어떻게 도움이 되는지 모르겠다)고 느꼈습니다. 어떤 이들은 타이밍이 맞지 않다고 느꼈습니다. 예를 들어, 컴퓨터 인터페이스를 구축하는 것에 대한 레슨이 학생들이 프로젝트의 수학적 원리를 완전히 이해하기도 전에 제공되어 혼란스럽다는 의견이 있었습니다.
• 결론: 레슨이 모든 학생을 완벽하게 사용하도록 마법처럼 만들어주지는 않았습니다. 대신, 학생들의 출발점이 매우 다르다는 점을 부각했습니다. 어떤 이들은 AI를 강력한 도구로 사용할 준비가 되어 있었던 반면, 다른 이들은 여전히 기초를 익히는 중이었습니다. 연구원들은 향-미래에 이 레슨들이 더 잘 작동하려면, 학생들이 매주 수행하는 실제 숙제 및 시험과 훨씬 더 밀접하게 연결되어야 한다고 언급했습니다.

큰 그림: 진행 중인 작업

이 논문의 가장 중요한 시사점은 최종적인 해답이 아니라, 문제에 대한 새로운 관점입니다. 연구원들은 AI가 더 이상 공학 수업에서 '그럴 수도 있는 것'이 아니라 '확실한 것'임을 발견했습니다. 학생들은 AI를 사용하고 있으며, 때로는 학습을 위해, 때로는 독립적인 작업을 우회하기 위해, 그리고 종종 그 중간 어디쯤에서 복잡한 방식으로 사용하고 있습니다.

연구는 AI를 단순히 금지하는 것은 그것이 학생들의 작업 방식에 너무 깊게 박혀 있기 때문에 불가능하며, 그렇다고 그들이 마음껏 날뛰도록 내버려 두는 것은 핵심 기술을 배우지 못하게 할 위험이 있다는 것을 시사합니다. '중간 경로'는 학생들에게 AI의 작업을 검증하는 법과 AI를 대체재가 아닌 파트너로 사용하는 법을 가르치는 것으로 보입니다.

그러나 저자들은 자신들의 연구 결과에 대해 매우 겸허합니다. 그들은 자신들의 연구 규모가 작았으며(약 100명의 학생), 레슨이 특정 변화를 유발했다는 것을 증명할 수 없음을 인정합니다. 그들은 자신들의 작업을 "예비적인 스냅샷(preliminary snapshot)"이라고 설명합니다. 즉, 빠르게 움직이는 목표물을 처음으로 살펴본 것이라는 뜻입니다. AI 도구가 더 똑똑해지고 학생들이 그 도구에 더 익숙해짐에 따라, 게임의 규칙은 계속 바뀔 것입니다. 이 논문의 주요 목표는 다른 교사들이 자신만의 실험을 수행하고, 로봇 지니의 시대에 공학을 가르치는 최선의 방법을 찾아낼 수 있도록 툴킷(설문조사 및 레슨 계획)을 제공하는 것입니다.