Auditing Generative AI Error Patterns in Applied Differential Calculus: Evidence from ChatGPT and Gemini

당신은 복잡한 실생활 문제를 해결하기 위해 ChatGPT와 Gemini라는 두 명의 매우 똑똑하고 수다스러운 로봇을 고용했다고 상상해 보세요. 당신은 그들에게 기업의 이익을 극대화하는 방법, 입자의 속도, 또는 로켓이 얼마나 높이 날아오를지 등을 계산하라고 요청합니다. 당신은 그들이 완벽한 계산기이기를 기대하겠죠, 그렇지 않나요?

그런데, 연구자 Polemer M. Cuarto가 수행한 새로운 연구는 이 로봇들을 테스트해 보기로 했습니다. 그 결과는 마치 당신이 가장 좋아하는 로봇 요리사가 채소를 써는 것은 완벽하게 잘하지만, 소금을 넣는 것을 자꾸 까먹거나, 더 심하게는 소금 대신 설탕을 넣어야 한다고 생각하는 것을 발견한 것과 비슷합니다.

핵심 발견: "유창하지만 결함이 있는" 함정

연구에 따르면, 이 AI 도구들은 미분을 하거나 적분을 하는 것과 같은 기계적인 수학 단계는 매우 잘 수행하지만, **이야기를 수학 방정식으로 번로(translation)**하거나 초기 조건을 기억해야 할 때 자주 비틀거리는 것으로 나타났습니다.

이렇게 생각해 보세요. 만약 당신이 로봇에게 집을 지으라고 요청한다면, 로봇은 벽돌을 쌓는 작업(수학적 연산)은 완벽하게 해낼 것입니다. 하지만 로봇이 당신의 설계도를 오해하여 코티지(작은 집) 대신 성을 원한다고 생각한다면(수학적 모델링), 벽돌을 아무리 깔끔하게 쌓더라도 그 집은 잘못된 것이 됩니다.

이 논문은 이러한 도구들이 단순히 그대로 베껴 쓸 수 있는 "정답지"가 아니라고 제안합니다. 대신, 이들은 실수를 찾아내기 위한 연습 파트너로 사용되는 것이 더 적합합니다. 연구자들은 AI의 가장 위험한 점은 수학을 틀리는 것이 아니라, 완벽하게 자신감 있고 전문적인 말투로 틀린 답을 내놓는 것이라고 주장합니다.

세 가지 큰 실수

연구는 세 가지 특정 유형의 문제를 살펴보았으며, 로봇들은 각 단계에서 동일한 장애물에 걸려 넘어졌습니다.

1. 비즈니스 혼동 (의미론적-대수적 번역)
상점 주인이 "가격을 10달러 낮추면, 판매량이 20개 늘어납니다"라고 말한다고 가정해 봅시다.

• 전문가의 방식: 이는 가격이 내려가면 판매량이 올라간다는 뜻입니다. 수학적 기울기는 음수(-)입니다.
• AI의 방식: ChatGPT와 Gemini 모두 가끔 이 관계를 거꾸로 이해했습니다. 그들은 가격을 낮췄는데 판매량이 줄어드는 식의 모델을 만들거나, 관계를 완전히 뒤집어 버렸습니다.
• 결과: 그 후 그들은 망가진 모델을 바탕으로 완벽한 수학 계산을 수행했습니다. 이는 존재하지 않는 목적지를 향해 가장 빠른 경로를 계산하는 것과 같습니다. 논문은 비즈니스 문제에서 AI가 경제적으로 말이 안 되는 "양(+)의 기울기를 가진 수요 관계"를 만들어냈다고 언급합니다. (즉, 가격이 높아질수록 판매가 늘어난다는 모순된 상황을 제시함)

2. "유령" 시작점 (경계 조건 추적)
물리학에서, 만약 당신이 140피트 높이의 탑에서 공을 떨어뜨린다면, 당신은 그 140피트라는 높이를 기억해야 합니다.

• 전문가의 방식: 당신은 계산 과정 내내 그 "140"이라는 값을 유지합니다.
• AI의 방식: ChatGPT는 종종 시작 높이를 잊어버리거나 이를 0으로 설정하곤 했습니다. 이는 마치 로봇이 떨어지는 공을 보고는, "아, 바닥에서 시작했나 보네!"라고 멋대로 결정해 버린 것과 같습니다. 당신은 탑에서 시작했다고 말했는데도 말이죠.
• 결과: 공이 언제 지면에 닿는지에 대한 최종 답변은 틀렸습니다. 왜냐하면 로봇이 당신이 질문한 문제와는 다른 문제를 풀고 있었기 때문입니다.

3. 산술적 실수 (검증 및 맥락)
때로는 설정은 괜찮았지만, 마지막 숫자 계산에서 문제가 발생하기도 했습니다.

• AI의 방식: Gemini는 로켓 방정식을 세우는 데는 능숙했지만, 최종 이차 방정식(시간을 구하는 수학 과정)을 푸는 과정에서 실수를 저질렀습니다. 또한 때때로 필요하지 않은 중력에 관한 이상하고 불필요한 설명들을 덧붙이기도 했습니다.
• 결과: 답변은 그럴듯해 보였지만, 수치적으로는 불안정했습니다. 논문은 이러한 도구들이 "유창하지만 결함이 있는 설명"을 생성하며, 불필요한 정보를 삽입하여 실제 오류로부터 주의를 분산시킨다고 강조합니다.

논문이 당신에게 하지 말라고 권고하는 것

연구자들은 매우 명확하게 하지 말아야 할 행동을 명시하고 있습니다. 그들은 이러한 AI 도구를 "의심 없는 정답 출처"로 사용하는 것에 반대합니다.

• 그냥 복사하지 마세요: 설명이 깔끔하고 모든 올바른 공식이 들어있다고 해서 정답을 그대로 베끼지 마십시오.
• 자신감을 믿지 마세요: AI가 자신감 있게 말한다고 해서 그것이 옳다고 가정하지 마십시오.
• 숫자만 보지 마세요: 최종 숫자가 근사치처럼 보인다고 해서 전체 과정이 유효하다고 생각하지 마십시오.

이 논문은 이러한 도구들이 미적분학에서 인간의 판단을 대체할 준비가 되었다는 생각을 명시적으로 부정합니다. 사실, 이 연구는 검토 없이 AI에 의존하는 것이 위험하다고 제안하는데, 그 이유는 오류가 "세련된" 프레젠테이션 안에 숨겨져 있기 때문입니다.

얼마나 확실한가요?

저자들은 이것이 모든 AI에 대한 "최종 판결"이라고 부르는 것을 경계합니다. 그들은 이 연구가 2026년 초에 해결된 특정 문제 세트(비즈니스, 입자 운동, 수직 운동)를 기반으로 하고 있음을 인정합니다. 그들은 이러한 오류 패턴이 해당 특정 과업에서 실제로 관찰되고 실재하는 현상이지만, AI가 직면할 수 있는 모든 가능한 수학 문제를 측정했다고 주장하는 것은 아니라고 말합니다.

그들은 이 도구들이 "부분적인 절차적 역량"(단계는 수행할 수 있음)을 보여주지만, "모델링과 검증에서의 신뢰성"은 약하다는 것을 발견했습니다. 결론은 우리가 수학을 가르치는 방식을 바꿔야 한다는 강력한 제언입니다. 즉, 학생들에게 단순히 "정답을 맞히는 것"을 요구하는 대신, 그들이 **수학 감사관(math auditor)**이 되도록 가르쳐야 한다는 것입니다.

새로운 게임 플랜: 탐정이 되세요

그렇다면, 호기심 많은 학생을 위한 교훈은 무엇일까요?

AI를 마법의 예언자처럼 대하지 마세요. 대신 글은 아주 잘 쓰지만 사고력은 부족한 학생처럼 대하세요.

• 전략: AI에게 문제를 풀게 한 다음, 탐정 놀이를 하세요.
• 임무: 로봇이 틀린 첫 번째 단계를 찾아내세요. 이야기를 오해했나요? 시작 높이를 잊었나요? 아니면 산술 계산을 틀렸나요?
• 목표: 실수를 바로잡고, 왜 AI가 틀렸는지 설명하세요.

이 논문은 이러한 "감사(audit)" 접근 방식이 AI를 단순한 커닝 페이퍼에서 강력한 학습 도구로 변화시킨다고 제안합니다. 로봇의 실수를 찾아내는 과정에서, 당신은 단순히 스스로 문제를 푸는 것보다 수학을 더 깊이 배우게 됩니다.

요약하자면, 로봇은 복잡한 계산 작업을 수행하는 데는 뛰어나지만, 이야지를 이해하는 데는 서툽니다. 당신이 지도를 들고 나침반을 확인하며, 그들이 당신이 요청한 코티지 대신 실수로 성을 짓고 있지는 않은지 확인하는 사람이 되어야 합니다.