AiDER: Auditing and Document Evaluation via Rule Compilation and Small Language Models - An Education Case Study

あなたは、ロボットに学生の宿題を採点する方法を教えようとしていると想像してください。人工知能の世界には、これを行うための主に2つの方法があります。1つ目の方法は、巨大で超スマートな「脳」（大規模言語モデルと呼ばれます）に課題を読ませ、その直感に基づいて成績を推測させる方法です。これは速いですが、「ブラックボックス」です。もし間違ったとしても、なぜそうなったのかを知る術はなく、その作業内容を検証することもできません。2つ目の方法は、厳格なルールブックを使用する方法です。「もし学生が『重力』に言及したら、5点を与える」といった正確な指示を書き込みます。これは透明性が高く、チェックも容易ですが、人間が書く乱雑な言葉に対して、あらゆるルールを書き上げるのは困難です。

この論文は、これら2つの世界のちょうど交差点に位置しています。問いはこうです。「スマートなAIの柔軟性と、厳格なルールブックの誠実さを組み合わせることはできるだろうか？」研究者たちは、「監査可能なAI（auditable AI）」という分野に取り組んでいます。これは、AIの決定を単なる「魔法」として受け入れるのではなく、説明可能で検証可能にすることを目指す分野です。彼らは特に、「小型言語モデル（SLM）」、つまり、大規模なクラウドサーバーを必要とせず、単一のコンピュータ上で動作する、より小さく安価なAIの脳に注目しています。大きな疑問は、「より小さくシンプルなAIが、人間の曖昧な指示を、コンピュータが完璧に実行できる厳格なルールブックへと変換できるほど賢くなれるのか？」という点です。

著者らは、AiDER（Auditing and Document Evaluation via Rule Compilation and Small Language Models：ルールコンパイルと小型言語モデルによる監査および文書評価）と呼ばれる新しいシステムを紹介しています。AiDERを、賢い「翻訳者」と厳格な「審判」が協力し合う仕組みだと考えてください。AIに成績を推測させるのではなく、AiDERはAIに2つの異なる役割を強制します。まず、AIは翻訳者として機能します。それは、自然言語による要件（例：「学生はどのように採点されるかを知っておく必要がある」）を受け取り、それをコンピュータが実行可能な厳格なコードのルールへとコンパイルしようと試みます。次に、別の決定論的なコンピュータプログラムが審判として機能します。それは、ルールが求めている特定の証拠を文書の中から探し出し、ルールが満たされているかどうかをチェックします。AIは実際に成績を決定することはありません。AIはただ、ルールを設定し、手がかりを見つけるだけなのです。

これをテストするために、研究者らは4種類の異なる小型AIモデル（パラメータ数は20億から40億の範囲）と、シラバスや採点ルーブリックを含む200種類の実際の教育文書を使用しました。彼らは、AIにルールを書かせるために3つの異なる方法を試しました。

1. 人間が書いたルール： 人間が厳格なコードを書いた「ゴールドスタンダード（黄金律）」です。
2. 直接コンパイル： AIが一度にコードを書こうとする方法です。
3. 検証ループによる修復： もしAIが壊れたルールを書いた場合、システムは「エラー！」と伝え、AIが修正のために最大5回まで再試行できるようにします。

結果は、「素晴らしいニュース」と「慎重な楽観論」が混ざり合ったものでした。研究では、AIが有効なルールを書き上げることに成功した場合、最も小さなモデルであっても、決定を下すための正しい証拠を見つける能力が驚くほど高いことが分かりました。しかし、AIが初回で完璧なルールを書くことはしばしば困難でした。ここで「修復ループ」が輝きを放ちました。AIに自分の間違いを修正させることで、システムはルールが正しく機能する頻度を大幅に向上させました。

興味深いことに、この論文は、厳格なルール（「足場」）さえ設置されてしまえば、AIは証拠を見つけるために追加の助けをあまり必要としないことを示唆しています。実際、AIからの指示を増やしすぎると、特に小型モデルにおいて状況が悪化することもありました。研究の結論は、プロセスの最も重要な部分は、ルールを正しく作成することであるということです。ルールが明確であれば、たとえ小さくシンプルなAIであっても、証拠を見つけ出すという重労働をこなすことができます。

最終的に、この論文は、教育資料のチェックのようなタスクに対して、AIに文書を「判定」させるべきではないと示唆しています。代わりに、人間の要件を厳格で検証可能なルールへと翻訳するためにAIを使用し、その上でコンピュータに事実を検証させるべきです。このアプローチにより、プロセス全体が透明になります。もし決定が間違っていたとしても、謎めいた「ブラックボックス」の判定を責めるのではなく、ルールが不適切に書かれていたのか、あるいはAIが証拠を見落としたのか、その原因を遡って特定できるからです。この研究は、特定のコースと限られた文書セットに限定されていますが、教育におけるAIをより信頼性が高く、公平で、理解しやすいものにするための有望な設計図を提示しています。