REAP: Relation-Aware Elicitation and Parsing for Closed-Book Knowledge Base Construction from LLMs
ファインチューニングを行わない24BパラメータのMistralモデル上に構築されたREAPシステムは、構造化された思考の連鎖（chain-of-thought）、関係固有のクエリ、およびパラメトリックな知識を抽出し有効なJSON配列へと解析するための推論ベースの空集合ゲートを採用することで、AKBC Shared Task 2026において0.62のmacro-F1スコアを達成している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたの友人が、世界のほぼすべての本を読み、フランスの首都から特定の銀河にある星の数に至るまで、驚異的な量の事実を暗記しているとします。この友人は「大規模言語モデル（LLM）」です。通常、あなたが「ノーベル賞を受賞したのは誰？」といった単純な質問をすれば、彼らは素早く答えを返してくれます。しかし、もしあなたが「その賞を受賞したすべての人をリストアップして」と言ったり、小さな島国と陸上で国境を接している国を正確に教えてほしいと頼んだりしたらどうでしょう？突然、タスクは非常に困難になります。友人はいくつかの名前を忘れたり、架空の受賞者を捏造したり、あるいはその島に隣人がいるのかどうかについて混乱したりするかもしれません。
これが「知識ベース構築（Knowledge Base Construction）」の課題です。科学者たちは、これらの巨大で事実を詰め込んだ脳を、コンピュータが信頼して利用できる整理されたデータベースへと変えようとしています。難しい点は、この友人（AI）には調べ物をするための図書館がなく、自分の頭の中にあるもの（「パラメータ」）だけに頼らなければならないことです。もし答えが「なし」である場合、友人は推測するのではなく、「空である」と言う方法を知っていなければなりません。もし答えが長いリストであるなら、項目を落としたりすることなく、すべての項目を正確に提示する必要があります。この論文は、これらのAIの友人に、幻覚（ハルシネーション）を見せたり混乱させたりすることなく、完璧で整理されたリストを得るための「正しい問いかけ方」をどのように行うかという問題に取り組んでいます。
REAPシステム：AIの記憶への探偵ガイド
REAP（Relation-Aware Elicitation and Parsing：関係認識型抽出およびパース）をご紹介します。REAPを、単なる質問者ではなく、非常に賢いが時々おっちょこちょいな目撃者（AIモデル）と共に働く、巧妙な探偵チームだと考えてください。目的は何でしょうか？それは、目撃者の記憶から、作り話（捏造）をさせずに、完璧で整理された事実のリストを構築することです。
研究者たちは、単にAIに「Xと国境を接する国をすべて挙げてください」と尋ねると、AIが圧倒されたり、いくつか忘れてしまったり、あるいは存在しない国境を誤って捏造してしまう可能性があることを発見しました。それは、学生に教科書の一章分を一度の呼吸で暗唱するように求めるようなものです。学生はつまずいてしまうかもしれません。代わりに、REAPはこの作業を、二段階のインタビュープロセスのように、2つの明確なステージに分解します。
ステージ1：探偵による尋問（推論）
第1ステージでは、REAPは単に答えを求めるのではありません。AIに対して、話す前に「考える」ように求めます。質問の種類に応じて、探偵は特別な戦略を用います。
- 国境について： 「誰がここを囲んでいるか？」と聞く代わりに、AIに対して地理の専門家として振る舞い、小さな隣国を見逃さないように、東西南北の4方向をスキャンするように指示します。
- 賞について： もしAIが賞の受賞者をリストアップする必要がある場合、AIは単に推測しません。時間を10年単位に区切り、「1970年代には誰が受賞したか？1980年代には誰が受賞したか？」と尋ねます。これにより、AIが丸ごと一つの時代を飛ばしてしまうことを防ぎます。
- 「空集合」のゲート： これは極めて重要なセーフティネットです。時には、答えが「なし」である場合があります（例：まだ存命の人物や、株式市場に上場していない非公開企業など）。REAPは、プロパティ（属性）が存在しないことをAIに認識させ、偽の名前を捏造するのではなく、自信を持って「リストは空です」と言うように教えます。
ステージ2：書記による整理（パース）
AIが思考を終え、乱雑な事実のリストを生成した後、ステージ2が始まります。これは、メモを整理する書記の役割を果たします。このシステムは、厳格なルールを使用して回答を抽出し、それらを完璧な形式のJSONリスト（標準的なコンピュータ形式）へと整形します。もしAIが混乱してリストではなく文章を書いてしまった場合、書記はそれを修正しようと試みます。もし修正できない場合は、システムはより単純なプロンプトを用いて、質問を再度試行します。
研究結果
研究者たちは、約240億個の「脳細胞（パラメータ）」を持つMistral-Small-24B-Instruct-2501という特定のAIモデルを使用して、このシステムをテストしました。彼らは厳しいルールの下で作業を行いました。すなわち、インターネットで情報を検索しないこと、AIの脳を書き換えない（ファインチューニングを行わない）こと、そしてパラメータ数が320億以下のモデルを使用することです。
結果は非常に有望でした。難易度の高い質問を用いたテストセットにおいて、REAPシステムはマクロF1スコア0.62を達成しました。これを比較すると、主催者のベースラインシステム（スコア0.30）よりも大幅に優れており、同じ手法を用いたLlamaやGemmaのような他の人気のあるAIモデルよりも優れた結果となりました。
このシステムは、特定の種類の質問で最も輝きを放ちました。
- 国の国境： スコアは0.95であり、隣接する国をリストアップすることにおいてほぼ完璧でした。
- 証券取引所： 企業がどこで取引されているかを見つけるスコアは0.73でした。
- 面積： 地理的な面積を計算するスコアは0.77でした。
しかし、システムはあらゆる場所で完璧だったわけではありません。会場の収容人数（venue capacity）については苦戦し（スコア0.23）、名前が似ている有名なスタジアムと小さな地元のスタジアムを混同することがよくありました。研究者たちは、これはAIの内部メモリが、非常に具体的な数値や、出現頻度が低い（ロングテールな）事実に対して、必ずしも精密ではないためであると示唆しています。
これが意味すること（および意味しないこと）
この論文は、AIからより良い回答を得るための鍵は、単に脳を大きくすることではなく、適切な方法で適切な質問をすることにあると示唆しています。AIに「ステップ・バイ・ステップで考える」（Chain-of-Thought推論を使用する）ことを強制し、事実の種類ごとに特定の戦略を与えることで、より正確な情報を引き出すことができるのです。
ただし、著者らはこれが魔法の杖ではないことにも注意を払っています。システムは依然として、AIが記憶している内容に完全に依存しています。もしAIが非常に珍しいエンティティ（小さな島やマイナーな賞など）に関する事実を知らない場合、システムがそれを捏造することはできません。また、AIは特定のコンピュータチップ（TPU）上で動作しているため、結果にはわずかなランダム性が伴いますが、全体的な構図を変えるほどではありません。
要するほどに、REAPは、少しの構造化と多大な忍耐があれば、私たちのAIの友人の混沌とした記憶を、整然とした利用可能なリストへと変え、より信頼できる事実を引き出すことができるということを示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。