TeachMateGPT: A Multi-Agent Knowledge-Grounded Framework for Pedagogical Assessment Generation from Science Curriculum Materials

あなたは、理科のクラスのためにクイズを作ろうとしている教師だと想像してください。あなたの手元には、すべての答えが詰まった分厚く公式な教科書がありますが、完璧な問題を見つけるためにすべてのページをめくる時間はありません。そこで、あなたは超スマートなコンピューター・ロボット（人工知能）に助けを求めます。「酸性雨についてのクイズを作って」と頼むと、ロボットはタイピングを始めます。しかし、ここには落とし穴があります。これらのロボットは時として、いくつかの事実を暗記しただけで、賢そうに見せるために作り話をしてしまう、熱心すぎる生徒のような振る舞いをすることがあります。彼らは架空の科学的ルールを捏造したり、全く別の章から事実を引っ張ってきたりすることがあります。これは「ハルシネーション（幻覚）」と呼ばれます。これを防ぐために、科学者たちは**RAG（検索拡張生成）**というトリックを使います。RAGを、ロボットに図書カードを渡し、「答えを見つけた正確なページを教科書の中で指し示せる場合にのみ、クイズを書いてよい」という厳格なルールを与えることだと考えてください。

しかし、図書カードを持っていても、ロボットは依然として混乱することがあります。もし教科書の構成が複雑だったり、ロボットが周囲の文脈を無視して孤立した短い一文だけを掴み取ったりすると、やはり質の低い問題を作成してしまう可能性があります。研究者にとっての大きな課題は、単に「どのページでもいいから掴む」のではなく、レッスンの「構造」を理解し、十分な情報がない時にはそれを自覚し、教師に見せる前に自分の仕事をチェックできるようなロボットを、どのように構築するかです。これは、ある新しい研究が、特定の国の教科書を使用しているバングラデシュの理科教師のために解決しようとしている問題です。

---

TeachMateGPTとの出会い：セーフティネットを備えたロボット司書

この論文は、TeachMateGPTと呼ばれる新しいシステムを紹介しています。これは単一のロボットではなく、教師のリクエストを完璧で教科書に忠実なクイズへと変えるために、ハイテク工場で協力して働く専門化された作業員のチームのようなものだと考えてください。このシステムは、バングラデシュの国家教育委員会（NCTB）による中学2年生（Class 8）の理科の教科書に特化して設計されています。この教材は学生にとって極めて重要ですが、AIが完璧にナビゲートするには難しいリソースでもあります。

この工場の仕組みは、ステップごとに以下の通りです：

1. スマート・インデックス（COPE）
まず、システムは教科書を整理する必要があります。教科書が巨大で散らかった屋根裏部屋だと想像してください。通常のロボットなら、中身がバラバラの箱を適当に掴むかもしれません。しかし、TeachMateGPTはCOPE（カリキュラム指向の教育学的埋め込み）と呼ばれる特別なツールを使用します。テキストをランダムな塊に切り刻む代わりに、COPEは本の「家系図」を理解します。それは、「章」の中に「レッスン」があり、「レッスン」の中に「セクション」があり、「セクション」の中に「定義」があることを知っています。システムは、すべての情報の断片がその親や隣人とリンクされているマップを構築します。もしロボットが特定の動物について知る必要がある場合、単に「動物」という言葉を探すのではなく、その動物が生命の家系図のどこに位置するのかという、パラグラフ全体の文脈を見つけ出します。これにより、ロボットは単なる言葉ではなく、文脈を理解することができるのです。

2. 門番（ルーティング・エージェント）
リクエストが処理される前に、「門番」エージェントのチームが教師のリクエストをチェックします。

• インテント（意図）エージェントは、「これは本当の科学の質問か、それとも教師が単に『こんにちは』と言っただけか？」と問いかけます。
• アンビギュイティ（曖昧さ）エージェントは、「質問は明確か？ もし教師が『動物についてのクイズを作って』と言ったら、エージェントは停止して、『どの章ですか？ どの種類の動物ですか？』と聞き返す」といった役割を担います。
• セーフティ（安全）エージェントは、有害であったり、主題から外れたりするリクエストが通過しないように監視します。
  もしリクエストが漠然としすぎていたり、安全上の問題があったりする場合、システムは丁寧に停止し、詳細を求めます。推測して答えることは拒否します。

3. 探偵チーム（ハイブリッド検索）
リクエストが明確になったら、システムは証拠を探しに行きます。システムは同時に2種類の検索を行います：

• セマンティック（意味論的）探偵： 言葉の「意味」を探します（例：テキストに「高い酸性を持つ雨」と書かれていても、「酸性雨」を見つけ出す）。
• レキシカル（語彙的）探偵： 意味だけでは見逃される可能性のある、正確な科学用語を探します。
  もしシステムが証拠を見つけた場合、「フェイル・クローズド（失敗したら閉じる）」というルールを使用します。これは、「十分な証拠がなければ、ゼロ点とする」と言う厳しい教師のようなものです。もしシステムが、質問を裏付けるのに十分な教科書のページを見つけられなかった場合、何かを捏造するのではなく、単にその質問の生成を拒否します。

4. ライター（専門家エージェント）
証拠が集められたら、異なる「ライター」たちが引き継ぎます。

• MCQ（多肢選択式）スペシャリストは、多肢選択式問題（「A、B、C、またはD？」のような形式）を書きます。
• クリエイティブ・クエスチョン（記述式）スペシャリストは、ボード試験（学生がシナリオを読み、4つの部分に回答する形式）で一般的な、より長いストーリーベースの質問を書きます。
  これらのライターは、探偵が見つけた証拠のみを使用することを強制されます。彼らは、事実を捏造するために自分自身の「記憶」を使うことはできません。

5. インスペクター（検査官）（SAVER）
クイズが教師に渡される前に、SAVER（ソース属性検証およびエビデンス・ランキング）と呼ばれる最終検査官が仕事をチェックします。インスペクターは、すべての質問に対して以下の3つの問いを投げかけます：

1. 忠実性（Faithfulness）： その事実は実際に教科書の中で見つかったものか？
2. 関連性（Relevance）： それは教師が求めたものと一致しているか？
3. ハルシネーション・リスク（Hallucination Risk）： 何か作り話をしていないか？
   スコアが低すぎる場合、システムはその質問を教師のレビュー用にフラグ立てします。自動的に削除するのではなく、「これは確認してください。100%確信が持てません」と伝えるのです。

何が判明したのか？

研究者たちは、14章すべてをカバーする198問の理科の問題（多肢選択式143問、記述式55問）を生成することで、このシステムをテストしました。その後、3人の実際の理科教師に結果を採点させました。

結果は非常に印象的なものでした。テキストを単に取得して書くだけの標準的な「素の」AIシステムと比較して：

• 忠実性（事実がソースに対してどれほど真実か）は、0.68から0.96へと跳ね上がりました。これは、新しいシステムが情報の出所に関してほぼ完璧に正直であることを意味します。
• 回答の関連性（回答が質問にどれだけ適合しているか）は、0.60から0.89になりました。
• 教師の有用性（教師が質問をどれほど有用と感じたか）は、5段階評価で2.00から4.80へと急上昇しました。

また、研究では「スマート・インデックス（COPE）」を取り除くと品質が著しく低下すること、「インスペクター（SAVER）」を取り除くとシステムが再び事実を捏造し始めることが示されました。これは、本の構造を理解することと、仕事をダブルチェックすることがどちらも不可欠であることを証明しています。

限界と未来

著者らは、このシステムがまだできないことについても注意深く述べています。

• テキストのみであること： システムは教科書の文字を読みますが、画像には苦戦します。もし問題が回路や細胞の図解を見ることを必要とする場合、システムは画像を見ることができません。テキストによる説明に頼ることになりますが、それは視覚的な問題の要点を逃してしまう可能性があります。
• 人間の目が必要であること： このシステムは、代替品ではなく、あくまで「助手」として設計されています。システムは教師にチェックを促すためのフラグを立てますが、最終決定を下すことはありません。教師は、生徒に与える前に必ず作業をレビューしなければなりません。
• 特定の書籍に限定されていること： このシステムは、バングラデシュの中学2年生の理科の教科書に特化して構築されました。大幅な変更なしには、他の学年、他の科目、あるいは他の国のカリキュラムでは完璧には機能しない可能性があります。

要約すると、TeachMateGPTは、AIに教科書のより優れた地図を与え、推測を止める厳格なルールを設け、組み込みの検査官を持たせることで、正確性を損なうことなく教師の時間を節約するツールを作れることを示唆しています。これは、AIをリスクのあるオートパイロットではなく、信頼できるコ・パイロット（副操縦士）へと進化させるための一歩なのです。