Longevity Bench: Are SotA LLMs ready for aging research?

本論文は、老化生物学の基本原理の理解や生体データに基づく表現型の推論能力を評価するためのベンチマーク「LongevityBench」を提案し、最先端の基礎モデルの限界を明らかにするとともに、老化研究におけるその活用方法を論じています。

要約

老化研究の「実力テスト」：AI は本当に長寿の謎を解けるのか？

2026 年 1 月 30 日付けのこの論文は、**「LongevityBench（ロンジチュードベンチ）」**という、人工知能（AI）の老化研究への適性を測る新しい「試験問題集」を発表したものです。

簡単に言うと、**「最新の AI は、人間の老化という複雑な現象を本当に理解しているのか、それともただの『言葉の真似』をしているだけなのか？」**を検証したレポートです。

以下に、専門用語を排し、身近な例え話を使って解説します。

---

1. 背景：AI は「おしゃべり上手」だが、「医者」になれるか？

今の AI（大規模言語モデル）は、本を読んだり論文を書いたりするのがとても上手です。しかし、研究者たちは疑問に思っています。

「AI は『老化』について素晴らしい文章を書けるけれど、それは単に本で読んだことを思い出しているだけ？それとも、生体データ（血液検査や遺伝子など）を見て、本当に『この人はあと何年生きられるか』を推測できる理解力があるのか？」

これを確かめるために、この研究チームは**「LongevityBench」**というテストを作成しました。これは、AI に対して「老化の専門家」としての試験を課すようなものです。

2. テストの内容：7 つの異なる「科目」

このテストは、老化を研究する際に使われる 7 つの異なるデータ分野（科目）で AI を評価します。

• 科目①：臨床データ（健康診断）
  • 例え： 人間の健康診断の結果（血圧、コレステロール、年齢など）を見て、「10 年後も生きていますか？」と当てるテスト。
• 科目②：遺伝子（DNA）
  • 例え： 「この遺伝子を操作すると、ネズミの寿命は伸びる？短くなる？」と予測するテスト。
• 科目③：がんの生存率
  • 例え： 2 人のがん患者の遺伝子データを見て、「どちらが長く生き残れるか」を当てるテスト。
• 科目④〜⑦：オミクスデータ（分子レベルのデータ）
  • 例え： 血液の中の「DNA のメチル化（老化のシール）」や「タンパク質の量」を見て、その人の「生物学的な年齢」を当てるテスト。

3. 試験結果：AI の「得意・不得意」が浮き彫りに

15 種類の最新 AI をテストした結果、面白い（そして少し恐ろしい）ことがわかりました。

✅ 得意なこと：「正解の暗記」に近い処理

• 健康診断データでは、多くの AI が「10 年後も生存しているか？」という Yes/No の質問に、8 割以上の正解率で答えることができました。
• これは、AI が「血圧が高いと死にやすい」といった表面的なルールをうまく見つけ出せていることを示しています。

❌ 苦手なこと：「本質的な理解」の欠如

• ペア比較（A と B どちらが長生き？）：同じ健康診断データでも、「A と B どちらが長生きするか？」という比較問題になると、AI の正解率はガクンと下がり、ほぼ「運（50%）」に近い結果になりました。
  • 例え： 「A 君と B 君、どっちが長生きする？」と聞かれると、AI は「えーと、A 君は血圧が高くて、B 君は BMI が高いけど…」と、個々の数字をバラバラに考えてしまい、全体像を把握できなくなっているようです。
• 数値の予測（正確な寿命）：「あと何ヶ月生きられますか？」と具体的な数字を求めると、AI は**「短く見積もりすぎる」**傾向がありました。
  • 例え： 実際には 20 年生きる人でも、AI は「5 年〜10 年くらいかな？」と、悲観的な予測をしてしまいます。これは、AI が「病気」という単語を見ると、自動的に「死」と結びつけてしまう学習の癖があるためです。
• タンパク質データ：遺伝子データはそこそこ解けたのに、タンパク質データになると、AI は全く当てられませんでした。
  • 例え： AI は「遺伝子（設計図）」と「タンパク質（完成品）」の関係が、必ずしも 1 対 1 ではないことを理解できていません。設計図が同じでも、出来上がりの品質は違うのに、それを混同してしまっています。

4. 重要な発見：「質問の言い方」で結果が変わる

このテストで最も驚いたのは、**「同じデータでも、質問の言い方を変えると AI の正解率が激変する」**ということです。

• 例え：
  • 「この人は 60 代ですか？」（多肢選択）→ AI は正解する。
  • 「A さんと B さん、どちらが年上ですか？」（比較）→ AI は間違える。
  • 「この人の正確な年齢を言ってください」→ AI は適当な数字を言う。

これは、AI が「老化の仕組み」を頭の中で一貫したモデルとして理解しているのではなく、**「質問の形式に合わせて、統計的なパターンを当てはめているだけ」であることを示唆しています。まるで、「暗記した教科書の答えを、問題文の形に合わせて変換している学生」**のようです。

5. 結論：AI は「助手」にはなるが、「医師」にはなれない

この論文の結論は以下の通りです。

1. AI はまだ完全ではない： 現在の AI は、老化研究の「専門家」として信頼して任せるには、まだ理解が浅いです。特に、複雑な生体データを統合して判断する力は不足しています。
2. 使い方の工夫が必要： 研究者は、AI に「答えを当てる」のではなく、「アイデアを出すための助手」として使うべきです。AI の回答は、必ず人間がチェックする必要があります。
3. 今後の課題： このテスト（LongevityBench）は、AI 開発者が「もっと生物学的な理解を深めるように AI を鍛え直す」ための目標（ゴールポスト）として使われます。

まとめ

この論文は、**「AI は老化研究の『魔法の杖』ではなく、まだ修行中の『見習い助手』」**だと伝えています。

AI は素晴らしいツールですが、人間の命や寿命に関わる重要な判断を AI だけに任せるのは危険です。研究者たちは、このテストを使って AI の弱点を把握し、より賢く、信頼できる AI を作ろうとしています。

**「AI が老化を本当に理解する日」**が来るまで、私たちは AI の答えを鵜呑みにせず、常に「本当かな？」と疑いながら付き合っていく必要があります。

技術概要

LongevityBench: 最先端 LLM は老化研究の準備ができているか？

技術的サマリー（日本語）

本論文は、Insilico Medicine などの研究チームによって提出されたプレプリント「LongevityBench」に関するものです。2026 年 1 月 30 日付のこの論文は、大規模言語モデル（LLM）が老化生物学の分野において、単なる事実の記憶や表面的な相関関係を超えて、生物学的な実在を「理解」し、低レベルの生体データから高レベルの表現型（フェノタイプ）を導き出せるかどうかを評価するための包括的なベンチマークを提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義と背景

• 背景: 老化は生物学的に最も情報量の多い現象の一つであり、多様な組織、階層、種にまたがります。AI はすでに老化時計（エイジングクロック）の構築やバイオマーカーの発見に応用されてきましたが、汎用 LLM が研究プロセスに統合される中で、その信頼性に対する懸念が高まっています。
• 課題: 現在の LLM が、生体データ（オミクスデータ、臨床データなど）の文脈を正しく解釈し、老化のメカニズムに基づいた論理的推論を行えるかどうかを体系的に評価する基準が存在しませんでした。
• 核心: LLM が「生物学的な真実（Ground Truth）」を内部表現として持っているのか、それとも単に統計的なパターンマッチングや記憶に依存しているのかを判別する必要があります。

2. 手法 (Methodology)

LongevityBench は、老化生物学の多様な側面を網羅するタスクのコレクションです。

• データソースと構成:
  • 7 つの主要なデータソース（NHANES-IV, Open Genes, Synergy Age, TCGA, GEO, GTEx, Olink プラズマプロテオミクス）から構成されます。
  • 総計 30,193 個のプロンプト（約 5000 万トークン）を生成しました。
  • データタイプ：転写オミクス、DNA メチル化、プロテオミクス、ゲノム、臨床血液検査、バイオメトリクス、自然言語注釈など。
• タスクの種類:
  1. 生存予測: 臨床記録や血液検査から個人の生存期間（Time-to-Death）を予測（二値分類、多クラス分類、ペアワイズ比較、回帰）。
  2. 老化軌道: 遺伝子発現が加齢とともに増加するか減少するかを判定。
  3. 多変異体寿命: 単一変異と二重変異の寿命への影響を比較・予測。
  4. がん生存: TCGA の RNA-seq データから進行無生存期間（PFS）を予測。
  5. エピジェネティック・オミクス老化: DNA メチル化プロファイルやタンパク質発現から年齢を予測。
• 評価対象モデル:
  • OpenAI (GPT-4.1, GPT-5, o3 など), Anthropic (Claude Sonnet 4.5), Google (Gemini 2.5/3 Pro/Flash), xAI (Grok-3/4), DeepSeek (R1) などの 15 種類の最先端 LLM を評価しました。
• 評価指標:
  • 分類タスク：正解率（Accuracy）
  • 回帰タスク：平均絶対誤差（MAE）
  • 生成タスク：Jaccard 指数（遺伝子セットの重なり）
• プロンプト設計:
  • 同じデータを用いても、質問形式（二値、多クラス、ペアワイズ、回帰、生成）やコンテキストの深さ（最小限 vs 拡張注釈）を変えて評価し、モデルの頑健性と形式依存性を検証しました。

3. 主要な結果 (Results)

15 種類のモデルを 17 種類のタスクで評価した結果、以下のような知見が得られました。

• 全体性能:
  • Google の Gemini 3 Pro が平均ランク 5.00 でトップとなりました。次いで OpenAI の GPT-5 と o3（平均ランク 5.06）が続きます。
  • しかし、単一のモデルがすべてのタスクで最高性能を発揮することはなく、タスクやデータモダリティによって性能に大きなばらつきがありました。
• タスク別の特徴:
  • 臨床データ（NHANES）: 10 年生存の二値分類では多くのモデルが高精度（0.85 以上）を達成しましたが、ペアワイズ比較（どちらが長く生きるか）や回帰（正確な生存月数の予測）では性能が低下しました。特に回帰タスクでは、モデルが生存期間を 50〜100 ヶ月に圧縮して過小評価する傾向（Systematic Underestimation）が確認されました。
  • オミクスデータ（転写・メチル化）:
    • 転写オミクスにおけるペアワイズ比較（どちらのサンプルが古い年齢か）では、すべてのモデルがランダムレベル（0.5 前後）の性能しか示せず、老化シグナルの抽出に失敗しました。
    • 一方、多クラス分類（何歳代か）では性能が向上し、モデル内に老化パターンがエンコードされている可能性を示唆しましたが、形式依存性が強いことが分かりました。
  • プロテオミクス: 生成タスクにおいて、転写オミクス（Jaccard 指数 0.17 程度）に比べ、プロテオミクス（Jaccard 指数 0.03 未満）での性能が劇的に低く、モデルがタンパク質データに慣れていないことが示されました。
  • がん生存: Anthropic の Claude Sonnet 4.5 ががん生存予測タスクで最高精度（0.697）を記録しました。
• 形式依存性（Format Dependence）:
  • 同じデータでも、質問の形式（ペアワイズ vs 多クラス）やコンテキストの量（GO 注釈の有無）によってモデルの順位が劇的に変化しました。これは、モデルが生物学的な「理解」に基づいて一貫した推論を行っているのではなく、表面的なパターンに依存している可能性を示唆しています。
  • 例：Gemini 3 Pro はペアワイズ比較で優秀でしたが、多クラス分類では順位が下がりました。

4. 主要な貢献 (Key Contributions)

1. LongevityBench の提案: 老化研究における LLM の能力を評価するための、多様なデータモダリティとタスク形式を網羅した最初の体系的なベンチマーク。
2. LLM の限界の特定: 最先端モデルであっても、生体データの文脈理解、特にオミクスデータからの表現型予測や、質問形式の変化に対する頑健性において、まだ研究パートナーとして信頼しきれる段階ではないことを実証。
3. 開発指針の提示: モデルが「生物学的な実在」を理解するためのトレーニング目標として、このベンチマークを「MMAI Gym for Science」のフィードバックループに組み込むことを提案。
4. リーダーボードの公開: 継続的な評価とモデルの進捗追跡のためのリーダーボード（insilicobench.insilico.com）の提供。

5. 意義と結論

• 科学的意義: 本研究は、AI が単なるテキスト生成ツールを超えて、複雑な生物学的システム（老化）を真に理解し、科学的発見に貢献できるかどうかを測る重要な基準を提供しました。
• 実用性: 研究者は、特定のタスク（例：臨床記録からの生存予測 vs プロテオミクスからの年齢推定）に応じて適切なモデルを選択する必要があることを示唆しています。また、LLM の出力は仮説生成ツールとして活用しつつも、実験的検証なしに最終的な結論として扱うべきではないという警告を発しています。
• 将来展望: 現在のモデルは不完全ですが、LongevityBench に基づいた継続的な評価と微調整（SFT, RFT）を通じて、生物学的真実を内包する次世代の「研究用 AI」の開発が可能になると結論付けています。

総じて、LongevityBench は、AI が老化研究の分野で信頼できるパートナーとなるために、どのような能力のギャップを埋める必要があるかを明確に示す重要なマイルストーンです。