ESOFinder: an LLM-powered tool to help users navigate ESO documentation
本論文は、ESOの複雑なドキュメント・エコシステム内でのナビゲーションにおいて、ESOユーザーに信頼性が高く文脈に応じた回答を提供するために、3,500以上のリンクと100以上のマニュアルを統合した、大規模言語モデル（LLM）と検索拡張生成（RAG）を搭載したプライバシー重視の社内用チャットボットであるESOFinderを紹介するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
欧州南天天文台（ESO）を、巨大で古めかしい図書館だと想像してみてください。これは単なる図書館ではありません。620万語を超える指示書、マニュアル、ガイドブックが詰まった場所です。これは、キング・ジェームズ版聖書の約8倍の長さに相当します。これらの本には、星を見るためのプロポーザル（提案書）の書き方から、望遠鏡が写真を撮った後のデータをどのように処理するかまで、あらゆる内容が記されています。
問題は、この図書館の中から特定の答えを見つけ出すことが、目隠しをした状態で3,500冊もの異なる本の山の中から、たった一つの特定の文章を探し出すくらい困難であるということです。天文学者やスタッフは、科学的な研究を行う代わりに、検索にあまりにも多くの時間を費やしています。
これを解決するために、ESOのチームは、人工知能（AI）を搭載したスマートなデジタル司書「ESOFinder」を構築しました。その仕組みを、簡単に説明します。
1. 脳と記憶（LLM + RAG）
一般的なAIチャットボット（一般的な質問に使うようなもの）を、「かつて多くの本を読んだものの、その後は何年も学校に通っていない天才的な学生」だと考えてみてください。彼らは答えを推測することはできますが、しばしば作り話をしたり（ハルシネーション）、新しいルールを知らないために古いアドバイスを与えたりすることがあります。
ESOFinderは異なります。これはRAG（検索拡張生成）という技術を使用しています。
- 記憶： 何か答える前に、ESOFinderはESOの全ドキュメントを読み込み、記憶します。これら膨大なPDFやウェブサイトを扱いやすい小さな「チャンク（塊）」に分割し、超整理されたインデックスカード・システムのように整理します。
- 脳： 質問を受けると、ESOFinderはただ推測するわけではありません。まず、記憶の中にある関連する「インデックスカード」を探し出します。そして、それらの特定のページをAIの脳に渡し、「ここにある内容のみに基づいて、質問に答えなさい」と命じるのです。
2. 探偵の仕事（ハイブリッド検索）
質問を受けると、ESOFinderは2つの異なるツールを同時に使う探偵のように振る舞います。
- 「意味」の探偵： このツールは、質問の背後にある「概念」を理解します。例えば「望遠鏡の向き方」について尋ねられた場合、たとえその言葉自体を使っていなくても、「望遠堂のポインティング（指向）」について聞いているのだと理解します。
- 「キーワード」の探偵： このツールは、完全一致を探します。例えば「VISIR」という特定の装置名や技術コードについて尋ねられた場合、このツールは正確な用語を見つけ出し、「意味」の探偵が見落とす可能性のある専門用語を確実に捉えます。
これら2つの探偵の結果を組み合わせ、最も優れたものをランク付けし、無関係なノイズを排除します。
3. 自己修正ループ（「ダブルチェック」）
AIにおける最大の懸念の一つは、自信満々に間違ったことを言ってしまう可能性があることです。ESOFinderには、組み込まれた「セーフティネット」があります。
- AIが回答を生成した後、2つ目のAI「採点者」がその回答をチェックします。
- チェック1： 「提示されたドキュメントの中に、実際に答えは見つかりましたか？」
- チェック2： 「その回答は、本当にユーザーの問題を解決していますか？」
- もし回答がどちらかのチェックに失敗した場合、システムは諦めるのではなく、質問を書き直し、再度検索を行い、より良い回答を生成しようと試みます。正解に到達するか、「私たちの本の中に答えが見つかりません」と認めるまで、このプロセスを繰り返します。
4. プライバシーとコントロール
このツールは、ESO独自のローカルサーバー上で動作するオープンソースのAIモデルに基づいているため、すべてのデータをプライベートに保ちます。天文学者は、AIが外部の世界に情報を共有してしまう心配をすることなく、機密性の高いプロジェクトの詳細について質問することができます。
結果はどうでしたか？
チームは、実際の天文学者やスタッフと共に、3つのラウンドでこのツールのテストを行いました。
- ラウンド1： ツールは少し混乱しており、長くて冗長な回答を出しすぎでした。評価は5つ星中3.0でした。
- ラウンド2： 検索と「脳」を改善しました。少し良くなりましたが（3.1星）、依然として複雑な質問には苦戦していました。
- ラウンド3（現在のバージョン）： 検索戦略を修正し、より多くのドキュメントを追加した結果、ツールは非常に鋭くなりました。最近のテストでは、平均評価は5つ星中3.84に跳ね上がり、中央値（真ん中のスコア）は5つ星に達しました。現在、ほとんどのユーザーは、回答を「完璧」または「正確」であると述べています。
次なるステップは？
チームは、このツールがまだ完璧ではないことも認めています。巨大な表や、テキストではなく画像が含まれるドキュメントに対しては、時として苦戦することがあります。また、今後はより具体的なデータ（ALMA望遠鏡からのデータなど）を追加し、ライブラリ自体のエラーを見つけるためにこのツールを活用する計画もあります。
最終的に、ESOFinderは、複雑な望遠鏡操作の世界をナビゲートしようとするすべての人にとっての「フロントデスク（受付窓口）」となることを目指しており、混乱したドキュメントの迷路を、シンプルな会話へと変えていくのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。