A Tool-Invariant Framework for Teaching and Assessing Computational Methods in the Age of Agentic AI

새로운 수학 수업: 계산기가 코드를 작성할 때

요리를 배우고 있다고 상상해 보세요. 수 세기 동안 요리에서 가장 어려운 부분은 채소를 다지고 냄비를 젓는 일이었습니다. 완벽한 소스를 만들기 위해서는 칼질 기술, 타이밍, 그리고 근육 기억을 익혀야 했습니다. 하지만 누군가 로봇 요리사를 발명했습니다. 이 로봇은 단순히 재료를 써는 것에 그치지 않습니다. 당신이 평이한 영어로 설명하는 레시피를 읽고, 양파를 다지고, 소스를 저으며, 맛을 보고, 심지어 너무 짜면 수정까지 할 수 있습니다. 갑자기 "요리"라는 행위의 본질이 변합니다. 더 이상 숙련된 칼잡이가 될 필요가 없습니다. 대신 당신은 숙련된 '맛을 보는 사람'이자 명확한 '지시를 내리는 사람'이 되어야 합니다. 만약 당신이 그저 "맛있게 만들어줘"라고만 말한다면, 로봇은 겉보기에는 맛있어 보이지만 결과는 엉망인 음식을 만들 수도 있습니다.

이것이 바로 물리학과 과학 교육계에서 일어나고 있는 일입니다. 오랫동안 "계산 물리학(computational physics)"을 배운다는 것은 컴퓨터 코드를 작성하는 것, 즉 행성의 움직임을 예측하거나 바이러스가 어떻게 퍼지는지와 같은 복잡한 수학 문제를 풀기 위해 컴퓨터에 명령어를 입력하는 것을 의미했습니다. 하지만 새로운 종류의 인공지기능(AI)이 등장했습니다. 이들은 단순히 질문에 답하는 챗봇이 아닙니다. 이들은 '에이전트형(agentic)' 도구입니다. 이들은 "공기 저항이 있는 튀는 공을 시뮬레이션해줘"와 같은 간단한 문장을 받아 코드를 작성하고, 시뮬레이션을 실행하며, 그래프를 그리고, 스스로의 실수를 수정할 수 있습니다.

교사들에게 던져진 큰 질문은 이것입니다. 만약 로봇이 요리를 한다면, 학생들은 무엇을 배워야 하는가? 학생들도 여전히 칼질하는 법을 알아야 하는가? 그리고 만약 로봇이 완벽해 보이는 보고서를 제출한다면, 우리는 학생이 실제로 레시피를 이해했는지 어떻게 알 수 있는가? 이 논문은 바로 이 문제를 다루며, 기존의 채점 방식(최종 보고서만 확인하는 방식)은 망가졌다고 주장하고, 타이핑 기술보다는 '왜(why)'와 '어떻게(how)'를 이해하는 데 초점을 맞춘 새로운 교수 및 평가 방식을 제안합니다.

---

논문의 핵심 아이디어: 타이핑에서 사고로

저자 래리 엔겔하르트(Larry Engelhardt)는 우리가 계산기가 슬라이드 룰(계산척)을 대체했을 때와 유사한 거대한 변화를 겪고 있다고 주장합니다. 과거에 학생들은 도구의 '메커니즘'을 배워야 했습니다. 즉, 컴퓨터를 작동시키기 위한 특정 명령어, 구문, 그리고 타이핑 기술을 익혀야 했습니다. 이제 이러한 새로운 AI 에이전트와 함께라면, '메커니즘'은 기계가 처리합니다. 학생의 역할은 '운용자(operator)'에서 '감독(director)'으로 바뀌었습니다.

논문은 도구는 변하더라도 학생이 반드시 알아야 할 핵심적인 것들은 수 세기 동안 변함없이 유지되어 왔다고 제안합니다. 엔겔하르트는 이를 연필, 계산기, 혹은 매우 똑똑한 AI를 사용할 때나 동일하게 적용되는 다섯 가지 "기둥(pillars)"으로 정리합니다.

1. 입력과 출력 (Inputs and Outputs): 시스템에 무엇을 넣고 무엇을 얻기를 기대하는지 아는 것.
2. 개념적 이해 (Conceptual Understanding): 단순히 어떻게 타이핑하는가가 아니라, 해당 방법이 실제로 무엇을 하고 어떻게 작동하는지 아는 것.
3. 용어 (Terminology): 문제를 명확하게 설명하기 위해 적절한 과학 용어를 사용하는 것.
4. 의미 파악 (Sensemaking): 결과를 보고 "이해가 된다" 혹은 "이것은 잘못되었다"라고 말할 수 있는 능력.
5. 도구 운용 (Operating the Tool): 현재의 도구를 사용하는 기술 (과거에는 타이핑이었으나, 이제는 AI에게 명확한 지시를 내리는 것).

논문의 주요 발견은 AI 시대에 가장 중요한 기술이 의미 파악(기둥 4)이 되었다는 점입니다. AI가 코드와 그래프를 즉각적으로 생성할 수 있기 때문에, 그 결과가 실제인지 검증하는 학생의 능력이 이제 가장 결정적인 기술이 되었습니다. 저자는 이를 "검증 권한(verification authority)"이라고 부릅니다. AI가 "여기에 답이 있습니다"라고 말한다고 해서 그것이 반드시 옳은 것은 아니며, 학생이 반드시 판사가 되어야 합니다.

왜 기존의 시험은 망가졌는가

이 논문은 계산 수업의 전통적인 채점 방식에 대해 명시적으로 반대합니다. 수십 년 동안 교사들은 프로젝트를 과제로 내주었습니다: "진자의 움직임을 시뮬레이션하는 코드를 작성하고, 그래프를 만들고, 보고서를 제출하시오." 그 전제는 학생이 작동하는 보고서를 제출했다면 물리 법칙을 이해하고 있을 것이라는 가정이었습니다.

엔겔하르트는 이것이 더 이상 유효하지 않다고 말합니다. 그는 이를 "대리물 붕괴(proxy collapse)"라고 부릅니다. '대리물(proxy)'이란 다른 무언가를 대신하는 것을 의미합니다. 과거에 보고서는 학생의 이해도를 나타내는 대리물이었습니다. 하지만 이제 AI가 요청 즉시 완벽한 보고서를 생성할 수 있기 때문에, 보고서는 더 이상 학생이 무언가를 안다는 증거가 되지 못합니다. 이는 마치 학생이 유명 작가가 쓴 완벽한 에세이를 제출한 것과 같습니다. 에세이는 훌 만큼 훌륭하지만, 그것이 학생이 글을 쓸 줄 안다는 것을 증명하지는 못합니다. 논문은 우리가 '결과물'(코드나 그래프)을 학습의 증거로 취급하는 것을 멈춰야 한다고 주장합니다.

새로운 해결책: "구술 방어 (Oral Defense)"

그렇다면 숙제를 믿을 수 없다면, 학생들을 어떻게 테스트해야 할까요? 논문은 물리학이 주로 가르쳐지는 소규모 수업에 설계된 실질적인 두 단계 시스템을 제 제안합니다.

1. AI 없는 퀴즈: 학생들은 여전히 AI를 사용할 수 없는 수업 내 코딩 퀴즈를 치릅니다. 이는 학생들이 코드가 어떻게 작동하는지에 대한 기본적인 "근육 기억"을 잃지 않았는지 확인하기 위 위함입니다. 학생들은 고장 난 코드를 수정하거나 작은 함수를 처음부터 작성하라는 요구를 받을 수 있습니다.
2. 구술 방어 (The Oral Defense): 이것이 핵심적인 새로운 아이디어입니다. 학생들이 AI의 도움을 받아 프로젝트를 구축한 후, 교사와 10분간 대화를 나누어야 합니다.
   • 반전 요소: 면담 전, 교사는 도구를 사용하여 학생이 제출한 코드에서 모든 주석(코드를 설명하는 메모)을 제거합니다.
   • 테스트: 교사는 학생에게 자신의 코드를 따라 설명하게 하고, 그래프가 무엇을 의미하는지 설명하게 하며, "왜 이 방법을 선택했습니까?" 또는 "질량이 두 배가 되면 어떻게 됩니까?"와 같은 질문에 답하게 합니다.
   • 관문: 특정 "검증 관문(verification gate)"이 존재합니다. 학생은 자신이 작업 내용을 확인했음을 증명해야 합니다. 만약 결과가 왜 옳은지 설명하지 못한다면, 코드가 완벽하게 돌아가더라도 낙제하게 됩니다.

저자는 이 구술 방어가 학생이 실제로 그 작업을 소유하고 있음을 인증하는 유일한 방법이라고 제안합니다. 이는 박사 과정 학생이 학위 논문을 방어하는 것과 유사합니다. 논문은 단순히 글쓰기에 대해 채점하는 것이 아니라, 학생이 그것을 설명하고 방어할 수 있는 능력에 대해 채점하는 것입니다.

논문이 말하는 것 (그리고 말하지 않는 것)

이 논문은 이것이 대규모의 장기적인 과학적 연구 결과가 아니라, 저자의 경험과 적응에 기반한 새로운 프레임워크임을 주의 깊게 밝히고 있습니다. 저자는 AI로 전환하기 전에 어느 정도의 코딩 연습이 필요한지에 대한 완벽한 "복용량"을 아직 모른다는 점을 인정합니다. 저자는 학생들이 정신적 모델을 구축하기 위해 적어도 한 번은 "화이트 박스(코드가 투명하게 작동하는 모습)"를 직접 봐야 한다고 제안하지만, 정확히 어느 정도가 충분한지는 확신하지 못합니다.

또한 논문은 단순히 AI를 "금지"할 수 있다는 생각도 배제합니다. 저자는 집에서 AI 사용을 막으려는 시도는 계산기 사용을 막으려는 것과 같아서 불가능하다고 주장합니다. 대신, AI를 사용하는 것이 속임수를 쓰기 위한 쉬운 방법이 아니라, 학습을 위한 올바른 방법이 되도록 하는 동기 부여와 평가 설계에 초점을 맞춰야 합니다.

결론

논문은 계산 물리학 과정의 "산출물"은 더 이상 코드나 그래프가 아니라고 결론짓습니다. 그것들은 이제 저렴하고 쉽게 얻을 수 있는 것들입니다. 진정한 산출물은 물리학의 언어를 사용하여 결과를 설명하고 방어할 수 있는 학생의 능력입니다.

기계가 힘든 일을 대신할 수 있는 세상에서, 인간의 가치는 판단력에 있습니다. 논문은 미래의 교육이 로봇이 코드를 쓰는 것을 막는 것이 아니라, 로봇이 정확히 무엇을 하고 있는지, 왜 그렇게 하는지, 그리고 그 답이 실제로 참인지 알고 있는 스마트하고 비판적인 감독자가 되는 법을 가르치는 것이라고 제안합니다. 학생과 교사 사이의 대화가 수업의 가장 중요한 부분이 될 것입니다. 왜냐러냐, 그것이 진정한 이해를 증명할 수 있는 유일한 장소이기 때문입니다.