Temporal Stability and Few-Shot Prompting in Math Task Assessment

2 人の異なる「AI 教育アシスタント」を雇い、数学の宿題の山を仕分けしてもらうと想像してください。あなたの目標は、それらを「簡単で反復的なドリル」と「難しく思考を要する課題」の 2 つの山に分けることです。彼らが判断するのを助けるために、ルールブック（タスク分析ガイドと呼ばれるもの）を与えます。

この研究は、これらの 2 人のアシスタントが時間とともに一貫性を保っているか、そして「ヒントシート（例）」を与えることでより良い仕事ができるかどうかを確認するための長期にわたる健康診断のようなものです。

以下に、何が起きたかを簡単に説明します。

2 人のアシスタント

研究者は 2 つの異なる AI ツールをテストしました。

1. Gemini（ジェミニ）: 「汎用型」のアシスタントです。これは、数学を含むあらゆることについて少しは知っている、非常に賢く博識な図書館司書のようなものだと考えてください。
2. Coteach（コティーチ）: 「教育特化型」のアシスタントです。これは、長年採点を重ねてきたベテランの数学教師のようなもので、学校数学特有の癖をよく知っています。

パート 1: 「タイムトラベル」テスト（時間的安定性）

研究者は、両方のアシスタントに 1 日目には数学の問題を仕分けさせました。その後、7 週間待ってから、全く同じ問題をもう一度仕分けさせました。

現実世界では、ソフトウェアの更新が絶えず行われています。これは、お気に入りのビデオゲームがパッチ更新を受けるようなものです。ゲームが良くなることもあれば、好きなキャラクターが突然動き方を変えたり弱くなったりすることもあります。

• 汎用アシスタント（Gemini）に何が起こりましたか？
  全体のスコアは全く同じ（58% 正解）でした。しかし、よく見ると、特定の問題について考えを変えていました。以前見逃していた 3 つの問題を正解できるようになりましたが、以前は正解していた 3 つの問題を間違えるようになりました。

  • 比喩: 平均的には同じ判決を下す裁判官が、どの特定の犯罪に死刑を、どの犯罪に終身刑を科すかを交換してしまうようなものです。「平均」は同じに見えますが、あなたのケースに対する具体的な結果は予測不可能に変化しています。これを「プロンプトドリフト」と呼びます。

• 教師アシスタント（Coteach）に何が起こりましたか？
  こちらは悪化しました。正解率が 75% から 50% まで大幅に低下しました。

  • 比喩: ベテランの教師が、突然基本的なテストの採点方法を忘れ始めるようなものです。単に答えを入れ替えただけではなく、正しく仕事をする能力の一部を失ってしまいました。

大きな教訓: AI ツールが「新バージョン」になったり、裏側で更新されたりするからといって、必ずしもあなたの特定の作業が上手くなるわけではありません。時には同じままで行動が変わることもあれば、実際には悪化することもあります。

パート 2: 「ヒントシート」テスト（フューショット・プロンプティング）

7 週間の待機後、研究者は新しい手を使ってみました。アシスタントに問題を仕分けさせるだけでなく、「ヒントシート」を与えました。このシートには、「簡単」な問題の完璧な例が 2 つと、「難しい」問題の完璧な例が 2 つ、それぞれの正しいラベルと共に示されていました。

これはフューショット・プロンプティングと呼ばれます。これは、新しい従業員に「良いレポートのサンプルと悪いレポートのサンプルをここにあります。さて、この新しい山を見て、これらと同じように仕分けしてください」と言うようなものです。

• 結果:
  • Gemini（図書館司書）: 良くなりました！スコアは 58% から 67% に向上しました。
  • Coteach（教師）: 劇的に良くなりました！50% まで低下したスコアから 75% まで回復し、元の「専門家」レベルに戻りました。

大きな教訓: いくつかの明確な例（ヒントシート）を AI に与えることは、ソフトウェア会社が新しいバージョンをリリースするのを待つよりも、パフォーマンスを向上させるのに役立ちました。実際、「ヒントシート」は教師アシスタントの間違いを完全に修正しました。

「難しい部分」の問題

一つだけ欠点がありました。AI ツールは「簡単」な反復的な問題を仕分けるのが得意でした。しかし、「難しく思考を要する」問題（「数学を行う」と呼ばれるもの）では本当に苦労しました。

ヒントシートがあっても、AI は最も難しい問題を誤分類し続けました。

• 比喩: 九九の暗記は得意だが、新しい考え方を発明する必要がある文章題を解くように求められたときに混乱してしまう生徒のようなものです。AI は「計算する」や「過程を示す」といった表面的な言葉を見る傾向があり、必要な深い思考を理解しようとしません。難しい精神的作業を行う代わりに、近道を見つけようとします。

論文の主張のまとめ

1. AI は不安定である: 短期間（7 週間）であっても、AI ツールは質問への回答方法を変え、時には悪化し、時には予測不可能に行動することがあります。
2. 更新は魔法ではない: AI の新しいバージョンは、特定の学校課題におけるパフォーマンスが自動的に向上することを意味しません。
3. 例は役立つ: AI にいくつかの明確な例（フューショット・プロンプティング）を与えることは、間違いを修正し精度を向上させる強力な方法であり、ソフトウェアの更新を待つことよりも効果的な場合が多いです。
4. 特化型ツールは助けを必要とする: 教育特化型ツール（Coteach）は変化に対してより敏感でした（より早く悪化しましたが）、汎用ツールよりも「ヒントシート」に対してより良く反応しました。
5. 難しい思考はまだ難しい: AI は、例を与えられたとしても、最も複雑な数学的課題を特定することに依然として苦労しており、それらをより単純なものと混同することがよくあります。

この論文は結論として、教師や研究者が AI を使用する場合は、ツールが「新しい」ことだけを頼りにすべきではないと述べています。AI がまだ正しく機能しているか積極的に確認し、その思考を導くために明確な例を与える準備をする必要があります。