💬 NLP

HistoRAG: Embedding Historical Methodology in Retrieval-Augmented Generation Through Critical Technical Practice

本論文は、標準的なRAGにおける事実への偏りを解消し、解釈的な学術実践をより適切に支援するために、時代的なウィンドウ設定、検索と生成の分離、および透明性の高いLLM-as-judgeによる評価といった歴史学の原則を統合することで、歴史研究に向けて検索拡張生成を適応させるフレームワークであるHistoRAGを導入するものである。

原著者： Noah J. Kim-Baumann, Torsten Hiltmann

公開日 2026-06-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Noah J. Kim-Baumann, Torsten Hiltmann

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、1950年から1979年までのドイツにおけるコンピュータに対する人々の感情を理解しようとしている歴史家だと想像してください。あなたの手元には、10万本以上の新聞記事を含む膨大なライブラリがあります。

もし、標準的なAIツール（「RAG」と呼ばれます）を使ってこれを行うとしたら、それは非常に速いけれど、少し不器用な司書のように振る舞います。あなたが「人々はコンピュータについてどう考えていましたか？」と尋ねると、司書は棚へ走り、「コンピュータ」という言葉が含まれる本をかき集め、あなたに手渡します。

問題は、この司書には歴史研究を台無しにするいくつかの悪い癖があることです：

彼らは現代の俗語しか話せません。 もしあなたが1970年代の言葉を使って「コンピュータ」について尋ねると、彼らは1950年代の本を無視してしまいます。なぜなら、当時は人々がそれを「電子頭脳（electronic brains）」と呼んでいたからです。司書は最も重要な初期の歴史を見落としてしまいます。
彼らは声の大きい本を掴みます。 1970年に特定のトピックが多く議論されていた場合、司書は1970年代の本を大量に掴み、1950年代の、より静かではあるものの等しく重要な議論を無視してしまいます。
彼らは「なぜ」あなたがそれを聞いているのかを理解していません。 彼らは単に、あなたの質問に見た目が似ている本を掴むだけです。たとえ、その本が人間の恐怖や希望に関するあなたの具体的な研究課題に答えていなくてもです。

この論文は、**HistoRAG（Historical RAG）**を紹介しています。これは、単なる「より速い司書」ではなく、歴史学のルールを尊重する新しい研究助手との働き方だと考えてください。

HistoRAGがどのように機能するかを、3つのシンプルなトリックを使って説明します。

1. 「二段構えのダンス」（検索と生成の分離）

通常のAIシステムでは、質問をすると即座に回答を返します。それはまるで「魔法の8ボール」のようです。
HistoRAGでは、プロセスが2つの明確なステップに分かれています。

ステップ1：探索（Heuristik）。 AIは膨大な数の潜在的なソースを集めに行きます。しかし、そこで一旦止まります。AIはそれらをテーブルの上に置き、「ここに候補があります。歴史家であるあなたが、どれを読む価値があるかを判断してください」と言います。
ステップ2：分析（Interpretation）。 あなたが最適なソースを選んだ後に初めて、AIは要約を作成したりパターンを見つけたりする手助けをします。

比喩： あなたが探偵だと想像してください。通常のAIは、容疑者を見つけるとすぐに終結意見を書き始める探偵です。HistoRAGは、容疑者のリストを見つけ出し、あなたに渡し、「誰を尋問するかはあなたが決めてください。適切な人物を選んだら、その時に初めて報告書の作成をお手伝いします」と言う探偵です。これにより、人間の歴史家が物語の主導権を握り続けることができます。

2. 「タイムトラベラーのグリッド」（時間的ウィンドウイング）

標準的なAIツールは現在に対して偏向しています。もしあなたが「コンピュータ」について尋ねると、言語が一致しやすいため、AIは主に最近の記事を掴みます。それは、古いレシピを探そうとしているのに、現代の調理用語だけで検索しているようなもので、古いものを見落としてしまいます。

HistoRAGは、AIに公平であることを強制します。この30年間を小さな時間ブロック（例えば5年ごとの塊）に分割します。そして、「1970年に『コンピュータ』に関する記事がどれほど多く存在しようとも、1950年、1955年、1960年などから同等の数の記事を必ず取得しなければならない」と命じます。

比喩： あなたがフルーツサラダを作っていると想像してください。通常のAIは、あちこちに転がっているため、大量のイチゴを掴み、去年のブルーベリーを無視します。HistoRAGは厳格なシェフであり、「たとえイチゴが今最も人気があったとしても、あらゆる季節から正確に1カップずつの果物が必要です」と言います。これにより、最も人気のある時代だけでなく、歴史の全体を味わうことができるのです。

3. 「人間のような審判」（LLM-as-Judge）

たとえAIが正しい時代を選んだとしても、依然として間違った「種類」の記事を掴む可能性があります。例えば、あなたが求めているのが不安を感じている市民の手紙であるのに、AIは無味乾燥な技術マニュアルを掴んでくるかもしれません。

HistoRAGは、二重のチェック機能を追加します。AIが記事を収集した後、その記事を「審判（別のAI）」に通します。この審判は、人間の歴史家のように振る舞います。審判は記事を読み、「これは本当に『恐怖』や『希望』について語っているか？」と問いかけます。審判は記事にスコアを付け、その理由を記述します。

比喩： あなたがオーディション番組を見ていると想像してください。最初のAIは、歌える人を集める「キャスティング・ディレクター」です。「審判」は、彼らの歌を聴いて、「よし、君は歌えるが、私たちが探しているのは『エモーショナルなバラード』ではない」と判断する「音楽評論家」です。審判は単に音符を数えるのではなく、歌の「感情」を理解します。

結果：「中間テキスト」（Zwischentexte）

最後に、この論文はAIが実際に何を「書く」のかについて述べています。通常のシステムでは、AIは最終的な答えを出そうとします。HistoRAGでは、AIは**Zwischentexte（中間テキスト）**と呼ばれるものを生成します。

比喩： これらは完成した小説ではなく、下書きやスケッチだと考えてください。AIはこう言います。「これが1964年当時の人々の感情に関する一つの解釈の可能性です。ここに見える一つのパターンです。しかし、私はあくまで道具に過ぎません。あなたが私の仕事を検証し、情報源を確認し、私のスケッチが正確かどうかを判断しなければなりません。」

なぜこれが重要なのか

この論文は、歴史学やその他の解釈的な分野においては、単に「最も速い」答えを求めるべきではないと主張しています。私たちは、以下のようなシステムを必要としています：

言葉が変わったからといって、過去を忘れないシステム。
最も人気のある時代が、静かな時代をかき消さないシステム。
推論を可視化し、人間が「その結論には同意できない」と言えるシステム。

HistoRAGは、AIを「全知全能の神託」としてではなく、**「謙虚な研究助手」**として構築するための設計図です。これにより、過去にどのような意味を持たせるかを決定するのは、常に人間の歴史家であることを保証するのです。

技術要約：HistoRAG

問題提起
検索拡張生成（RAG）は、大規模言語モデル（LLM）の出力を外部のエビデンスに基づかせるための標準的なアーキテクチャとなっている。しかし、既存のRAGパラダイムは、事実に基づく質問回答（QA）に最適化されており、「関連性」は文書の固定された属性であり、「類似性」が「有用性」と等価であるという前提に基づいている。歴史学のような解釈学的学問にとって、これらの仮定は学術的実践と矛盾する。標準的なRAGシステムは、ソースの発見と解釈を混同し、類似性指標に依存することで（語彙の変化や主題密度の影響による）時間的なバイアスを生じさせ、ソースの選択を不透明で自動化されたプロセスとして扱う。これは、研究者がソースの選択や解釈の枠組みを精査、異議申し立て、および正当化することを可能にする「認識論的なエージェンシー（主体性）」を脅かすものである。

手法：HistoRAGフレームワーク
著者らは、批判的技術実践（Agre, 1998）および「継続性の仮定（Kontinuitätsannahme）」（Welskopp, 2008）の概念に基づいた3つの具体的な介入を通じて、歴史学的手法をRAGアーキテクチャに組み込んだフレームワークであるHistoRAGを導入している。これらの介入は、102,189本の『Der Spiegel』誌の記事（1950年–1979年）に適用されたシステムであるSPIEGELraggedにおいて実装されている。

検索と生成の分離（Heuristik vs. Analyse）：
本フレームワークは、ソースの発見（Heuristik：発見学）と解釈（Analyse：分析）を形式的に切り離す。標準的なRAGでは、クエリが回答へのシームレスなパイプラインをトリガーする。一方、HistoRAGにおける検索フェーズでは、問いかけ型のクエリではなく、記述的なトピック・クエリに基づき、キュレーションされたチャンクのコーパスを生成する。人間である研究者は、LLMによる分析が始まる前に、これらのソースを明示的にレビューし、承認または拒否しなければならない。これにより、ソースを見つけることと、それらに対して問いを立てることの区別が回復され、どの資料を解釈フェーズに投入するかについて、歴史家がコントロールを維持できることが保証される。
時間的ウィンドウイング（Temporal Windowing）：
類似性ベースの検索に内在する「語彙整合バイアス」および「主題密度バイアス」に対抗するため、HistoRAGは研究期間全体にわたるバランスの取れたソース表現を強制する。グローバルに最も類似度の高いトップ $N$ 個のチャンクを抽出するのではなく、システムはコーパスを時間的ウィンドウ（例：5年刻み）に分割し、各ウィンドウから等しい割当量（クォータ）を抽出する。これにより、主題密度が低い時期や独特の歴史的語彙を持つ時期（例：1950年代の用語であるElektronenhirn vs. 1970年代の用語であるComputer）が、現代的なクエリの構成によって系統的に過小評価されることを防ぐ。
LLM-as-Judgeによる評価：
検索と時間的バランシングの後、システムは研究者が定義した明示的な基準（ルーブリック）に従って、各チャンクを評価するためにLLMを用いる。ベクトル類似度スコアに依存する標準的なRAGとは異なり、このレイヤーは関連性に対する数値スコアと記述的な正当化（理由）を生成する。これにより、選択プロセスはブラックボックス的なアルゴリズム・フィルターから、関連性の根拠が異議申し立て可能な、透明性の高い議論プロセスへと変貌する。評価は、バッチ・ランキング・バイアスを避けるため、比較ではなく独立して行われる。

主な貢献

認識論のアーキテクチャへの翻訳： 本論文は、特定の歴史学的なコミットメント（例：バランスの取れた時間的サンプリングの必要性、発見と解釈の区別）がいかにして具体的なソフトウェア設計の決定へと翻訳され得るかを実証している。
「中間テキスト（Zwischentexte）」の概念： 著者らは、LLMの出力の枠組みとして「中間テキスト（Zwischentexte）」を提案している。生成されたテキストを最終的な知見や回答として扱うのではなく、それらを「解釈の提案」あるいは、歴史家による検証を必要とする足場（スキャフォールディング）として位置づける。これにより、LLMの役割を「神託（オラクル）」から、文書化された研究プロセス内における「仮説生成とパターン認識のためのツール」へと再定義している。
マルチレイヤー検索アーキテクチャ： システムは、キーワード検索（コーパス訓練済みの語彙拡張を伴う）、セマンティック（意味論的）検索、およびLLMベースの解釈的フィルタリングを、競合する代替案としてではなく、補完的なレイヤーとして統合している。

結果と評価
SPIEGELraggedを用いた実装を通じて、著者らは標準的なRAGの欠陥と、彼らの介入の有効性を経験的に検証した。

時間的バイアス： 標準的な類似性検索は深刻な時間的偏りを示す。1970年代の用語を用いたクエリは、1950年代のチャンクをゼロしか取得できなかった一方で、1950年代の用語は1950年代の検索結果の48%を取得した（コーパスのベースラインの2倍）。時間的ウィンドウイングは、より低い総計の類似度スコアを受け入れつつも、形成期のカバーを確実にするために、バランスの取れた表現を強制することに成功した。
関連性指標の乖離： ベクトル類似度スコアとLLMが評価した関連性の間には、弱い相関（Spearman $\rho = 0.275$ ）しか認められなかった。クエリと非常に類似した単語（例：「Computer」）を使用するソースは、解釈的な関連性においてLLMから低く評価されることが多い一方で、異なる語彙（例：「Rationalisierung」）を用いながらも核心的な研究課題（自動化への懸念）に触れているソースは、高い関連性スコアを得ていた。
分離されたソース・プール： キーワードベースの検索とセマンティック検索は、主に互いに排他的な記事群を浮上させる。Der Spiegelのテストケースでは、これら2つの手法の間で重複した記事はわずか12.9%であった。セマンティック・レイヤーは、キーワード・フィルターが見逃した口語的なテキスト（読者からの手紙）を正常に浮上させたが、これはノイズをもたらすため、LLM-as-judgeレイヤーによる効果的なフィルタリングが必要となった。
モデルの堅牢性： 絶対的なスコアの較正は、異なるLLM（例：Mistral vs. Claude）間で大きく変動したが、ソースの相対的なランキングは非常に一貫していた（ $r > 0.96$ ）。これは、絶対的な閾値はモデルに依存するものの、関連性の相対的な順序は移植可能であることを示唆している。

意義と主張
本論文は、HistoRAGが、ドメイン固有の認識論的コミットメントがいかにしてAIシステムにおいて運用可能となるかを示すモデルであると主張している。解釈学的学問にとっての目標は、単に事実的なクエリに対して「最良の」一節を検索することではなく、解釈のために透明で、異議申し立てが可能で、かつ時間的にバランスの取れたコーパスを構築することであると論じている。

著者らは、自らの研究を最終的な解決策としてではなく、歴史研究におけるAIに関する対話への「入り口」として控えめに位置づけている。彼らは、このアーキテクチャが**認識論的なエージェンシー（主体性）**を保持するように設計されており、ソースの選択と論証に対する責任の所在が歴史家にあり続けることを強調している。システムは歴史家に取って代わるものではなく、解釈学的研究に必要な批判的距離を維持しながら、大規模なコーパスと向き合う能力を拡張するものである。論文は、ツールが問いを決定するのではなく、問い（そして歴史家）がツールを決定すべきであると結論づけている。