Fine-Tuning Large Language Models for Codebook-Guided Coding of Students' Mathematics Metaphor Responses

あなたは、指紋の代わりに人々の感情の語り口から手がかりを探す、あるミステリーを解決しようとしている探偵だと想像してください。教育の世界では、研究者たちは生徒に自分の言葉で考えを書き留めるよう求めることがあります。例えば、「もし数学が食べ物だとしたら、それは何でしょうか？」といった具合です。こうした自由記述の回答は、子供たちが学校に対してどのように感じているかを理解するための宝の山ですが、一つずつ読み解くのは悪夢のような作業です。人間の専門家が何千もの物語を読み、それらを「幸せ」「フラストレーション」「混乱」といったカテゴリーに分類するには、膨大な時間がかかります。ここで人工知能（AI）が登場します。具体的には、大規模言語モデル（LLM）は、人間の言葉を読み、理解することができる超スマートなロボットのようなものです。研究者がずっと問い続けてきた大きな疑問は、「このロボットに、熟練した人間の探偵のように振る舞う方法を教え込めるだろうか？」ということです。そして、もしそれができるなら、ビッグテック企業にプライベートなデータを送るのではなく、生徒の秘密を守るために、自分たちのコンピュータ上でこれらを動かすことができるだろうか？という点です。

この研究は、まさにその問いに深く切り込んでいます。研究者たちは、数学のメタファー（比喩）に関する2,265件の実際の生徒の回答を集め、2つの小規模なオープンソースAIモデルに対し、人間の専門家と同じようにコーディング（分類）ができるよう教え込みました。彼らは「ファインチューニング」と呼ばれる特別なトレーニング手法を用いました。これは、ロボットに人間の専門家の「解答集」を使って短期集中講義を行うようなものです。結果は驚くべきものでした。このトレーニングを経た結果、より小さく安価なAIモデルは、通常企業が販売している巨大で高価な「ブラックボックス型」のAIモデルをしばしば上回るほど、この仕事において非常に優秀になったのです。この研究は、適切なトレーニングを行えば、生徒が数学に対してどのように感じているかを理解するために、データをどこにも送信することなく、教室の中に強力でプライベートかつ正確なAIツールを持つことができるということを示唆しています。

探偵のジレンマ：行間を読むこと

生徒のメタファーを、秘密のコードだと考えてみてください。生徒が「数学は忠実な友人のような犬なので、安心感がある」と言ったとき、彼らは単にペットについて話しているのではなく、数学に対して安全で幸せだと感じていることを伝えているのです。しかし、もし彼らが「数学は、私を離してくれない蚊のようなものだ」と言ったなら、それは数学が厄介で逃れられないものであると言っているのです。これらは単純な言葉に包まれた複雑な感情です。

何十年もの間、研究者たちはこれらのメッセージを解読するために人間の専門家に頼ってきました。それは、図書館にある本をすべて手作業で翻訳しようとする翻訳チームのようなものです。それは時間がかかり、コストがかかり、規模を拡大するのが困難です。生徒が100人なら人間でもできますが、10万人になると、人間は疲れ果て、プロセスは停止してしまいます。

ここで大規模言語モデル（LLM）が登場します。LLMは、インターネット上のほぼすべての文章を読んだことがあるロボットだと考えることができます。それは、次に続く言葉を予測し、文脈を理解することに非常に長けています。しかし、特定の授業を受けていない賢い生徒と同じように、汎用的なロボットは、あなたがまさにどのようにこれらのメタファーを分類してほしいのかを、正確には理解していない可能性があります。あなたが「ニュートラル（中立）」を求めているのに、ロボットは「幸せ」と推測したり、あるいは「やりがいがある」と「脅威である」の微妙な違いを見逃したりするかもしれません。

さらに、プライバシーの問題があります。ほとんどの超強力なロボット（ビッグテック企業の製品など）は、彼らのサーバー上に存在します。それらを使うには、生徒のプライベートな文章を彼らに送らなければなりません。学校にとって、これは日記のような秘密の詰まったものを、見知らぬ人に手渡すようなものです。研究者たちは、自分のコンピュータ上で動作し、特定の仕事のために訓練され、かつ秘密を守ることができるロボットを構築できるかどうかを知りたかったのです。

実験：ロボットにルールを教える

研究者たちは一つのレースを設定しました。一方のサイドには、「ビッグテック」のチャンピオンたちがいます。これらは、そのままの状態（prompt-only）で使用された、2つの強力なプロプライエタリ・モデル（GPT-4o miniとGPT-5 mini）です。彼らは一連のルール（コードブック）を与えられ、生徒のメタファーを分類するように求められました。彼らは特別なトレーニングを受けておらず、指示から判断しなければなりませんでした。

もう一方のサイドには、2つの「オープンウェイト」モデル（DeepSeek-R1 1.5BとMistral 7B）がいます。これらは、誰でもダウンロードして独自のサーバーで実行できる、より小さく安価なモデルです。研究者はこれらのモデルを取り、LoRAベースの教師ありファインチューニングという手法を用いて、「短期集中講義」を与えました。

あなたが犬に「取ってこい」と教えている場面を想像してください。「プロンプトのみ」の手法は、犬に対して何度も「ボールを取ってこい！」と言うようなものです。一方、「ファインチューニング」の手法は、犬を訓練キャンプに連れて行き、人間が完璧に行った例を千回も見せながら、どのようにボールを掴み、持ち帰り、手に落とすのかを正確に教え込むようなものです。研究者は、オープンウェイトのモデルに、すでに人間の専門家によって正しく分類された2,265件の生徒のメタファーを入力しました。モデルは、人間の専門家の判断を模倣することを学びました。

タスクには2つのパートがありました。

1. バレンス・インテンシティ（感情価・強度）コーディング： 感情の強さはどの程度か？ 非常にネガティブ（1）、中立（3）、それとも非常にポジティブ（5）か？
2. セマティック（主題）コーディング： それは何の物語か？ 数学は「道具」か、「脅威」か、「旅」か、あるいは「退屈な雑務」か？

結果：アンダードッグの勝利

レースの結果は明確で、エキサイティングなものでした。トレーニングの前、小規模なオープンウェイト・モデルは、この仕事においてひどい状態でした。彼らはデタラメな推測をしていました。しかし、この「短期集中講義」（ファインチューニング）の後、彼らは変貌を遂げました。

パフォーマンスの飛躍：
ファインチューニングされたモデルは、単に少し良くなっただけでなく、劇的に向上しました。

• 「食べ物」のメタファーにおいて、DeepSeekモデルの精度は 0.369 から 0.787 へと跳ね上がりました。
• 「食べ物」のメタファーにおけるMistralモデルの精度は、0.207 から 0.778 へと向上しました。
• 「動物」のメタファーにおいて、Mistralモデルは 0.267 から 0.766 へと改善しました。

AIの世界において、これらの数字は極めて大きいです。これは、訓練されたロボットが、2人の人間の専門家が互いに一致する頻度と同じくらい、人間の専門家と一致するようになったことを意味します。

巨人を打ち負かす：
ここでのひねりは、訓練された小型モデルが、多くのカテゴリーにおいて、高価な「プロンプトのみ」の巨大なモデルを実際に上回ったことです。

• ファインチューニングされたMistral 7Bモデルは、食べ物と動物の両方のメタファーにおいて、ほぼすべての指標でGPT-4o miniおよびGPT-5 miniを上回りました。
• 巨大なモデルが勝利したのは、非常に稀で特定のテーマにおいてのみでしたが、それでもその差はわずかなものでした。

「安定性」テスト：
AIの大きな問題の一つは、同じ質問を2回したときに、異なる答えを出す可能性があることです。これは科学においては好ましくありません。研究者は、モデルを3回実行することでこれをテストしました。

• 未訓練のDeepSeekモデルは、安定性スコアがわずか 0.592 と、非常に不安定でした。
• しかし、トレーニング後、その安定性は 0.992 へと急上昇しました。
• ファインチューニングされたMistralモデルは完璧で、1.000 を記録しました。
• 商用の巨大なモデルでさえ、訓練されたオープンモデルほどの安定性はありませんでした（GPT-5 miniの主題安定性は 0.644 でした）。

このことは、モデルを具体的な事例でトレーニングすることが、モデルを賢くするだけでなく、より一貫性と信頼性を持たせることも示唆しています。

未来への展望

この研究は、生徒の感情を分析するために、巨大で高価でプライバシーのリスクがあるAIシステムに依存する必要はないことを示唆しています。小さなオープンモデルを取り上げ、人間の例を用いて訓練することで、以下の特徴を持つツールを作ることができます。

1. 正確： 人間の専門家と一致する。
2. プライベート： 学校独自のコンピュータ上で動作でき、生徒のデータを安全に保てる。
3. スケーラブル： 何千もの回答を数秒で処理できる。

しかし、研究者たちは、これがあらゆることに対する魔法の杖ではないことにも注意を促しています。モデルは依然として、非常に稀なテーマ（数学に関する特定の社会的見解など）に対して苦戦しており、これは、トピックが非常に珍しい場合、ロボットにはさらに多くの例が必要であることを示唆しています。また、この研究は、食べ物や動物について話す6年生から8年生のみを対象としているため、高校生が代数学について話したり、大学生が微積分について話したりする場合に同様の結果が得られるかどうかは、まだ分かっていません。

しかし、主要なメッセージは希望に満ちたものです。私たちは、生徒の言葉に隠された感情を理解するために役立つ、スマートで安全な「探偵ロボット」を自前で作ることができるのです。教育測定の未来は、クラウドの中ではなく、生徒を最もよく知る専門家によって訓練された、まさに学校のサーバー内にあるのかもしれません。