Auditing Generative AI Error Patterns in Applied Differential Calculus: Evidence from ChatGPT and Gemini

あなたは、複雑な実世界の数学パズルを解くために、非常に賢く、かつ非常におしゃべりな2台のロボット、ChatGPTとGeminiを雇ったと想像してみてください。あなたは、彼らがビジネスで最も利益を上げる方法や、粒子の移動速度、あるいはロケットがどれほどの高さまで飛ぶかといった問題を解いてくれることを期待しています。彼らは完璧な計算機であるはずですよね？

ところが、研究者のPolemer M. Cuartoによる新しい研究は、これらのロボットをテストした結果、ある事実を明らかにしました。その結果は、まるで「お気に入りのロボットシェフは野菜を切るのは完璧だが、塩を入れるのを忘れ続けたり、最悪の場合、レシピに塩ではなく砂糖が必要だと思い込んだりする」という発見に似ています。

主な発見：「流暢だが欠陥がある」罠

この研究では、これらのAIツールは微分や積分といった機械的な数学のステップを実行することには長けているものの、物語を数式へと翻訳することや、初期条件を記憶しておくことにおいて、しばしばつまずくことが分かりました。

このように考えてみてください。もしあなたがロボットに家を建てるよう頼んだとしたら、ロボットはレンガを積む作業（数学的操作）は完璧に行うかもしれません。しかし、もしロボットがあなたの設計図を誤解して、コテージではなく城を欲しがっていると思い込んだとしたら（数学的モデル）、レンガがいかに綺麗に積み上げられていても、家全体が間違ったものになってしまいます。

論文は、これらのツールを単にコピーして使うことができる「解答集」として扱うべきではないと示唆しています。むしろ、これらは間違いを見つけるための練習パートナーとして使うのが適しています。研究者たちは、AIの最も危険な点は、数学を間違えることではなく、完全に自信満々でプロフェッショナルな口調で間違ったことを言うことにあると主張しています。

3つの大きなつまずき

研究では、3つの特定のタイプの問題が調査されましたが、ロボットたちはそれぞれで同じハードルに引っかかりました。

1. ビジネスの取り違え（意味論から代数への翻訳）
店主が「価格を10ドル下げると、販売数が20個増えます」と言ったとします。

• 専門家のやり方： これは、価格が下がれば販売数は上がることを意味します。数学的な傾きはマイナスです。
• AIのやり方： ChatGPTもGeminiも、時としてこれを逆に捉えてしまいます。彼らは、価格を下げることで販売数が減るようなモデルを構築したり、関係性を完全にひっくり返したりしました。
• 結果： その結果、彼らは壊れたモデルに対して完璧な計算を行いました。これは、存在しない目的地に向かう最短ルートを計算しているようなものです。論文では、ビジネスの問題において、AIが「正の傾きの需要関係」を生成したと述べています。これは経済学的にナンセンスであり、価格が高くなると販売量が増えるという、問題と矛盾する関係を示唆しています。

2. 「幽霊」のような初期値（境界条件の追跡）
物理学において、もしボールを140フィートの塔から落とすなら、その140フィートという高さを覚えておかなければなりません。

• 専門家のやり方： 数式の中にその「140」をずっと保持し続けます。
• AIのやり方： ChatGPTはしばしば、その初期の高さを見失ったり、ゼロに設定したりしてしまいます。それはまるで、ロボットが落ちてくるボールを見て、「ああ、地面からスタートしたに違いない！」と勝手に判断してしまうようなものです。たとえあなたが塔からスタートしたと伝えていたとしてもです。
• 結果： ボールが地面に到達する「時間」に関する最終的な答えは、ロボットが依頼された問題とは別の問題を解いていたために、間違ったものになりました。

3. 算術のミス（検証と文脈）
セットアップ自体は正しいこともあるのですが、最終的な数値計算でミスが発生します。

• AIのやり方： Geminiはロケットの方程式の設定は上手くいっていましたが、最終的な二次方程式（時間を求めるための計算）を解く際に躓きました。また、必要のない重力に関する奇妙で無関係な説明を付け加えることもありました。
• 結果： 回答はもっともらしく見えますが、数値的には不安定でした。論文は、これらのツールが「流暢だが欠陥のある説明」を生み出し、実際の誤りから注意を逸らすような無関係な情報を挿入することがあると強調しています。

この論文が「すべきではない」と述べていること

研究者たちは、何をすべきではないかについて非常に明確です。彼らは、これらのAIツールを「疑う余地のない回答ソース」として使うことに反対しています。

• 解答が見栄え良く、正しい公式がすべて揃っているからといって、ただコピーしてはいけません。
• AIが自信たっぷりに話しているからといって、それが正しいと仮定してはいけません。
• 最終的な数字が近く見えるからといって、プロセス全体が妥当であると考えてはいけません。

論文は、これらのツールが微積分における人間の判断に取って代わる準備ができているという考えを明確に否定しています。実際、この研究は、チェックなしにこれらに依存することは危険であると示唆しています。なぜなら、エラーが「洗練された」プレゼンテーションの中に隠されているからです。

私たちはどの程度確信を持てるのか？

著者たちは、これがすべてのAIに対する「最終判決」であると呼ぶことには慎重です。彼らは、この研究が（ビジネス、粒子の運動、垂直方向の運動という）特定の限定された問題セットに基づいた、2026年初頭の調査であることを認めています。彼らは、これらのエラーパターンがこれらの特定のタスクにおいて実際に観察可能であることを示唆していますが、AIが直面する可能性のあるあらゆる数学的問題を測定したと主張しているわけではありません。

彼らは、これらのツールが「部分的な手続き的能力（手順を実行できる能力）」を示している一方で、「モデリングと検証における信頼性は低い」ことを発見しました。結論として、数学の教え方を変える必要があるという強い提案がなされています。つまり、学生に単に「答えを出す」ことを求めるのではなく、**「数学の監査官（オーディター）」**になるよう教えるべきだということです。

新しいゲームプラン：探偵になれ

では、好奇心旺盛な学生にとっての教訓は何でしょうか？

AIを魔法の神託（オラクル）のように扱わないでください。AIを、**「文章を書くのは得意だが、考えるのは苦手な学生」**のように扱いましょう。

• 戦略： AIに問題を解かせ、その後に探偵になってください。
• ミッション： ロボットが最初に間違ったステップを見つけ出してください。物語を誤解しましたか？初期の高さを忘れましたか？それとも算術をミスしましたか？
• ゴール： 間違いを修正し、なぜAIが間違っていたのかを説明してください。

論文は、この「監査」のアプローチが、AIをカンニングペーパーから強力な学習ツールへと変えることを示唆しています。ロボットの間違いを追いかけることで、単に自分で解くよりも、実際に数学をより深く学ぶことができるのです。

要するに、ロボットは計算という重労働を行うのは得意ですが、物語を理解するのは極めて苦手です。地図を持ち、コンパスを確認し、あなたがコテージを求めているのにロボットが誤って城を建ててしまわないようにするのは、あなた自身なのです。