Tracing intermittent knowledge states based on knowledge-context-aware augmentation of Q-matrices

あなたは、数学のような複雑な科目を学んでいる生徒の進捗を追跡しようとしていると想像してください。「知識追跡（knowledge tracing）」の世界では、科学者たちは探偵のように振る舞い、生徒が特定の瞬間に何を理解しており、何を理解していないのかを正確に突き止めようとします。彼らは、生徒が時間を追ってどのように問題に回答しているかを見て判断します。伝統的に、多くのコンピュータモデルは、生徒の知識はまるで不安定な綱渡りの歩行者のように、問題を解くたびに常に揺れ動き、激しく変動するものだと想定してきました。もし生徒が問題を正解すれば「知識レベル」は跳ね上がり、間違えれば一気に崩落するというものです。

しかし、現実の世界はそこまで混沌としてはいません。学習を「家を建てること」に例えてみましょう。あなたは数週間かけてレンガを積み上げ（学習）、週末に少し休みを取る（少し忘れる）かもしれませんが、月曜日に戻ってきたとき、先週築いた基礎は大部分がまだそこに残っています。休みを取ったからといって、基礎が消えてしまうわけではありません。既存のほとんどのコンピュータモデルは、この「断続的（intermittent）」な性質を見落としています。つまり、テスト中には知識は安定しているものの、異なるテスト期間の間には大きく変化し得るという考え方です。この論文「Q行列の知識コンテキスト認識拡張に基づく断続的な知識状態の追跡」は、このリズムを理解する、よりスマートな探偵を構築することを目指しています。これは「INKT」と呼ばれる新しいモデルを紹介しており、単に生徒を観察するだけでなく、知識そのものの地図を理解し、生徒がどのように学び、どのように忘れていくのかを理解しようとするものです。

地図と欠けているピース

この論文の解決策を理解するために、まず研究者が使用したツールを見ておく必要があります。想像してみてください。あらゆる通りが「知識概念」（代数や幾何を指す）を表し、あらゆる建物が「テスト問題」を表す巨大な都市の地図を。この都市では、ある通りが別の通りへと直接つながっています。例えば、高速道路に乗るには、まずオンランプを通らなければなりません。この地図は「Q行列（Q-matrix）」と呼ばれます。これは、どの概念がどの問題を解くために必要かをコンピュータに伝えるリストです。

問題は、人間の専門家によって提供される地図は、しばどもとの不完全であることです。それらは明らかなつながりしか示しません。例えば、ある地図は「この微積分の問題を解くには、微分を知る必要がある」と述べるかもしれません。しかし、微分を知るためには「極限」を知る必要があり、極限を知るためには「関数」を知る必要がある、という点については触れていません。コンピュータはこの不完全な地図に基づき、生徒は微分だけを知っていればよいと考えてしまいます。もし生徒が微分の問題を間違えたとき、コンピュータは微分のスキルのせいだと判断してしまいますが、実際には生徒が「極限」の扱い方を忘れてしまったという事実を見逃してしまうのです。

本論文の著者たちは、この地図を修正するためには、都市の「トポロジー（位相）」、つまり接続の形状を見る必要があると考えました。彼らはQ行列を「拡張（アップグレード）」する方法を提案しました。単に直接的なリンクを見るのではなく、彼らのアルゴリズムは知識グラフを通じた完全な経路を辿ります。もし概念Aが概念Bにつながり、概念Bが概念Cにつながるなら、コンピュータはCのタスクを行うことはAとBも含むことを学習します。彼らは「トポロジカルソート」と呼ばれる数学的手法を用いて、これらの概念を、簡単なものから難しいものへと本を棚に並べるように論理的な順序で整理しました。こうすることで、隠れたつながりを埋め、疎で不完全な地図を、すべての概念が密かにどのように関連しているかを示す豊かで詳細なガイドへと変えることができたのです。

「断続的」な探偵

より優れた地図を手に入れた後、研究者たちは新しい探偵モデルである「INKT」を構築しました。ここでの核心となるアイデアは、知識状態が「断続的」であるということです。これは、短いテスト（30分間のクイズなど）の間、生徒の知識は比較的安定していることを意味します。テストの最中に突然すべてを忘れたり、新しい章を習得したりすることはありません。しかし、テストの間（例えば1週間の間）には、生徒はいくつかのことを忘れたり（忘却率）、新しいことを学んだり（学習率）します。

古いモデルの多くは、生徒の知識が激しく揺れ動く可能性のある、全く新しいイベントとして各問題を扱っていました。一方、INKTは時間の窓（タイムウィンドウ）を尊重します。もし今日テストを受けるなら、それは昨日よりも少し進化したバージョンであり、その間にどれだけ学び、あるいは忘れたかによって調整されるものだと想定します。INKTは「項目反応理論（IRT）」という数学的枠組みを使用しています。これは、単に正解したかどうかだけでなく、問題がどれほど難しかったか、また、その問題がいかに「賢い生徒」と「推測している生徒」を判別する能力を持っているかを考慮するという、高度な手法です。

また、このモデルは心理学の概念である「忘却曲線」も考慮に入れています。忘却曲線は、情報を活用しなければ時間の経過とともに情報を失うということを示唆しています。INKTは、生徒ごと、および概念ごとに特定の「忘却率」と、どれほど早く習得するかという「学習率」を計算します。そして、単に直前の回答に基づいて推測するのではなく、これらの率を用いて、次のテストにおける生徒の知識状態がどうあるべきかを予測します。

実験結果が示したこと

新しい探偵がどれほど優秀かを確かめるため、研究者たちはいくつかのデータセットを用いてテストを行いました。彼らは中国の深センにある実在の高校から、69人の生徒、7回のテスト、88の知識概念を含む「MTest」というカスタムデータセットを作成しました。また、3つの公開データセット（Math1、Math2、FrcSub）も使用し、さらに大規模なグループでの扱いを確認するために、形式概念分析（Formal Concept Analysis）を用いて生成された大規模なシミュレーションデータセット「FMTest」も使用しました。

結果は非常に有望なものでした。INKTを他のモデル（単純なものから、断続的な学習を考慮していない複雑なものまで）と比較したところ、INKTは一貫して優れたパフォーマンスを示しました。

• MTest データセットにおいて、INKTは最良のテストシナリオで約0.77の精度（ACC）を達成しましたが、次に優れたモデルは約0.57に留まりました。
• 大規模なシミュレーションデータセット FMTest において、INKTは0.94の精度に達し、他のモデルが0.81付近を漂っていたのと比較して、大幅にアウトパフォームしました。
• また、モデルは非常に安定していました。生徒の数やテストの構成を変更しても、INKTが破綻することはありませんでした。正確な予測を維持し続けました。

研究者たちは、どのパーツがどのような役割を果たしているかを確認するために、エンジンの部品を分解するような「アブレーション研究（切除研究）」も行いました。その結果、「忘却率」または「学習率」をモデルから取り除くと、パフォーマンスが著しく低下することがわかりました。これは、生徒が時間の経過とともにどのように学び、忘れるかを追跡することが不可避であることを証明しています。また、拡張されたQ行列（隠れたつながりを持つアップグレードされた地図）を使用することが極めて重要であることも判明しました。古い不完全な地図を使用したとき、モデルの予測精度は低下しました。

結論

本論文は、よりスマートな知識の地図（拡張されたQ行列）と、学習と忘却のリズムを尊重するモデル（断続的な状態追跡）を組み合わせることで、生徒が実際に何を理解しているのかについて、より明確な全体像を得ることができると結論付けています。著者らは、このアプローチは、知識が絶えず激しく変動すると仮定するモデルよりも合理的であると述べています。

しかし、著者らはこれが完璧に解決された問題であると主張しているわけではありません。彼らは、知識のつながりを示す「地図」が依然として人間の専門家によって構築されており、主観的になり得ることを認めています。また、彼らのモデルは、生徒の現在の知識は直前の状態のみに依存すると仮定しており、より複雑な「注意（アテンション）」メカニズムが働いている可能性を無視していることも指摘しています。今後の課題としては、これらの知識マップをデータから自動生成することや、より高度なアテンションメカニズムを使用してモデルをさらに正確にすることなどが挙げられています。

要約すると、この論文は、生徒を「落ち着きのない綱渡りの歩行者」として扱うのをやめ、「レンガを積み上げ、休みを取り、戻ってきたときには基礎が大部分残っている建築家」として扱うための、遊び心がありつつも厳格な方法を提示しています。知識の隠れたつながりと、記憶の自然な満ち引きを理解することで、INKTモデルは、学習の道のりに対してより誠実で正確な視点を提供しているのです。