Can LLMs Produce Original Astronomy Research in a Semester? A Graduate Class Experiment

2025 年秋学期の大学院天文学課程で行われた実験では、LLM が研究効率向上に寄与する可能性を示しつつも、虚偽の引用や複雑なコード生成の困難、創造性の低下への懸念といった課題が浮き彫りになり、今後は LLM の限界を踏まえた教育方針の転換が図られることが示されました。

要約

宇宙の謎を AI に解かせる実験：大学院生の「1 学期間」の挑戦

この論文は、2025 年の秋学期にアリゾナ大学の大学院生たちが行った**「AI（大規模言語モデル）」を使って、本当に新しい天文学の研究成果を出せるか？**という実験の結果をまとめたものです。

まるで、**「見知らぬ土地で、地図も持たずに宝探しをする」**ような状況に、AI という「万能な案内人」を同伴させた実験でした。

🌌 実験の舞台設定

7 人の大学院生（ほとんどが天文学の専門家ではない分野出身）が、1 学期（約 3〜4 ヶ月）の間に、「誰も解いていない銀河の謎」を見つけ出し、論文の草案を書くという課題に挑みました。

彼らは、最新の AI チャットボット（ChatGPT や Claude など）を「助手」として使い、以下のことを試みました。

• 膨大な論文を瞬時に読み、アイデアを見つける。
• 複雑な計算コードを書いたり、修正したりする。
• 天文学のデータを集めてグラフを描く。

🚀 成功した点：「魔法のような」スピード

学生たちは、AI の能力に驚かされる場面がありました。

• 図書館の案内人: 通常、何週間もかかる「関連する論文を探す作業」を、AI は数分で終わらせました。まるで**「図書館の全蔵書を瞬時に読み上げ、必要な本だけを棚から取り出してくれる」**ような感覚でした。
• コードのデバッガー: 学生が書いたコードにバグ（間違い）があるとき、AI がグラフを見て「ここがおかしいよ」と指摘してくれることもあり、**「絵を見て不自然な動きに気づく鋭い目」**を持っていることが分かりました。

⚠️ 失敗した点：AI の「嘘」と「勘違い」

しかし、AI は完璧な助手ではありませんでした。むしろ、**「自信満々に嘘をつく」**という恐ろしい側面も見せました。

1. 架空の参考文献（ハルシネーション）:
   AI は約 20% の確率で、存在しない論文や間違ったリンクを提示しました。

   例え話: 「あの有名な料理屋のレシピを教えて」と聞くと、AI は「はい、このリンクから」と言いますが、クリックすると全く別の料理屋のメニューや、存在しないお店のページに飛ばされるようなものです。学生たちは、すべてのリンクを自分で確認し直す必要がありました。

2. データの取り出し不能:
   AI は「データがある場所」を教えることはできても、実際にその場所からデータをダウンロードしてきてくれるわけではありません。

   例え話: 「冷蔵庫の奥にある野菜を取ってきて」と頼んでも、AI は「冷蔵庫はあそこにあります」と場所だけ教えてくれるだけで、実際に手を伸ばして取ってくることはできません。

3. 頑固な間違い:
   学生が「それは違うよ」と指摘しても、AI は**「いや、私のほうが正しい」と言い張る**ことがありました。

   例え話: 道案内で「ここは行き止まりですよ」と言っても、AI は「いいえ、この先は素晴らしい景色があります」と自信を持って嘘をつき続け、同じループを繰り返すようなものです。

4. 複雑な計算の苦手さ:
   銀河のシミュレーションなど、物理法則に厳密に従う複雑なコードを書かせると、AI は**「物理的にありえない結果」**を出してしまいました。

💡 学生たちの結論：AI は「道具」だが「師匠」にはなれない

学期末、学生たちは全員、論文の草案を完成させました。しかし、彼らの感想は様々でした。

• 時間の節約になった人: 「初心者だったので、AI が道案内してくれたおかげで、最初の一歩を踏み出せた」という声。
• 時間を無駄にした人: 「AI の間違いを直すのに、自分でやるより時間がかかった」という声。

最も重要な学びはこれです：

「AI は『アイデアの種』を見つけるのに役立ちますが、その種を育てて『花を咲かせる』のは、あくまで人間の仕事です。」

学生たちは、AI に「次のステップを勝手に提案させる」ことを嫌がりました。なぜなら、「自分で考え、迷い、失敗して学ぶ」というプロセスこそが、科学者としての成長に不可欠だからです。AI がすべてを解決してしまうと、「人間らしさ」や「創造性」が失われてしまうという懸念も出ました。

🔮 未来への提言

この実験から、今後の科学者や AI 開発者へのアドバイスがまとめられました。

1. AI は「魔法の杖」ではなく「計算機」: 参考文献やデータは、必ず自分で元のソース（論文やデータベース）を確認すること。
2. AI 開発者への要望: 「嘘をつかない仕組み」や「自信度を示す機能」を強化してほしい。また、専門的なデータに直接アクセスできる機能も必要です。
3. 教育の重要性: 学生には、AI の「得意なこと」と「苦手なこと」を事前に教えておくべきです。

結論として：
AI は天文学の研究を**「加速させるエンジン」にはなりますが、「運転手（研究者）」**を代替することはできません。AI を使いこなすためには、人間がより深く考え、より厳しくチェックする能力が、これまで以上に求められるようになるでしょう。

---

一言で言うと：
「AI という優秀だが、時々嘘をつく助手を連れて旅に出た結果、目的地への近道は見つかったが、道中の落とし穴には自分で気をつける必要があったという、現代の科学者の体験談です。」

技術概要

論文要約：LLM を用いた天文学研究の創出可能性に関する大学院生の実験

タイトル: Can LLMs Produce Original Astronomy Research in a Semester? A Graduate Class Experiment
著者: Ann Zabludoff ら（アリゾナ大学 天文学部・ステワード天文台）
対象: 2025 年秋学期、アリゾナ大学の大学院生（天文学・天体物理学専攻）

1. 研究の背景と問題意識 (Problem)

近年の大規模言語モデル（LLM）は、科学文献の要約やコード生成において高い能力を示していますが、科学的な研究プロセス全体を自律的に実行できるかどうかは未検証でした。特に以下の課題が指摘されています。

• ハルシネーション: 存在しない論文の引用、誤ったリンク、偽のデータの生成。
• 科学的「センス」の欠如: 長年の研究経験によって培われる「どの問題が重要かつ解決可能か」という直感的な判断力の欠如。
• 技術的限界: 複雑な機能を持つコードの生成、オンラインパッケージや API へのアクセス、天文アーカイブからのデータ取得の困難さ。

本研究は、これら LLM の限界と可能性を、**「未知の分野における未解決問題に対する、学術誌投稿レベルのオリジナル研究を 1 学期で完了できるか」**という観点から、大学院生による実践的な実験を通じて検証することを目的としました。

2. 研究方法 (Methodology)

• 対象: 2025 年秋学期の大学院課程「銀河の構造と力学（ASTR 540）」に在籍する 7 名の大学院生（1 年次）。
• タスク: 銀河に関する未解決問題を選び、LLM の支援を受けながら、学期末までに査読付き論文投稿に耐えうる草案（ドラフト）を作成すること。
• 使用ツール: ChatGPT-5/5.2, Claude Sonnet/Opus 4, Gemini Pro/Flash などの最新モデル。
• LLM の活用範囲: 文献調査、研究課題の特定、実験設計、コード生成・デバッグ、データ可視化、論文執筆。
• 検証プロセス:
  • 文献引用のすべてを Google や NASA ADS で手動確認。
  • 生成されたコードの出力を期待値と比較し、手動で修正。
  • 複数の LLM を相互に検証させる（クロスチェック）。
  • 生成された要約が元の論文と一致するか、該当箇所を特定して確認。

3. 主要な成果と結果 (Key Contributions & Results)

3.1 成功した点 (Successes)

• 初期段階の効率化: 文献の要約、関連論文の特定、研究課題の具体化において、LLM は数日〜数週間かかる作業を瞬時に行い、研究の方向性を決定する上で大きな助けとなった。
• コード生成の補助: 小規模なスクリプト作成、プロット生成、単純なバグ修正において有効であった。
• 予期せぬ発見: 1 名の学生は、LLM が科学プロット（3 連星のエネルギー・角運動量進化図）を入力として受け取り、物理的に不自然な変化を検知してコードの誤りを指摘した事例があった。

3.2 失敗と限界 (Failures)

• 引用とリンクの誤り: 約 20% の確率で、存在しない論文、誤ったリンク、または内容と一致しない要約を生成した。URL は正しくても、タイトルや著者が異なるケースが多発した。
• 複雑なコードとシミュレーションの限界: 天体物理シミュレーションや複雑なデータ分析コードの生成では、物理的に不自然な結果（非物理的なポテンシャルなど）を出力し、手動での大規模な修正が必要となった。
• 外部 API/アーカイブへのアクセス不能: VizieR や STARBURST99 などの専門的な天文アーカイブやパッケージに直接アクセスし、データを取得・クエリする能力が欠如していた。
• 過剰な仮定と頑固さ: 学生が誤りを指摘しても、LLM は誤った情報を正当化し続けたり、文脈を無視して過剰に単純化された仮定を押し付けたりする傾向があった（例：誤ったデータベースを自信を持って提示し、存在しないアーカイブへのアクセスコードを生成する）。

3.3 学生の反応と時間効率

• 時間節約: 学生の約半数は「時間を節約した」と回答したが、残りは「誤りを修正する手間」により時間がかかった、あるいは「直接文献を読む方が効率的だった」と回答した。
• 創造性への懸念: 多くの学生は、LLM が次のステップを予測して提案することにより、研究者としての自律性や「考える喜び（創造性・反省）」が損なわれることを懸念していた。
• 今後の利用意向: 学生は将来も LLM を利用する意向を示したが、**「文献検索の初期段階」「既存コードの微調整」「プロット作成」に限定し、「論文執筆」「未解決問題の特定」「データ取得」**には慎重になる、あるいは利用しないという結論に至った。

4. 結論と意義 (Significance)

4.1 技術的示唆

現在の LLM は、「知識の要約」や「単純なコード生成」には有用だが、**「新規研究の設計」「複雑なシミュレーションの実装」「正確なデータ取得」**においては、人間の専門家の厳密な検証と介入が不可欠であることが実証された。特に、専門用語やニッチなパッケージ、最新の実験的データに対する理解は不十分である。

4.2 教育的・実践的提言

• 教育カリキュラムへの組み込み: 将来的には、LLM の限界、ベストプラクティス、ハルシネーションの検出方法について、授業の初期段階で指導する必要がある。
• 開発者への要望:
  • 信頼できるデータベース（ADS 等）からのみ引用を生成させ、架空の文献を禁止する。
  • 回答の確信度や不確実性を明示する機能の導入。
  • 専門的な API やアーカイブにアクセスできるエージェント機能の強化。
  • 研究者の自律性を損なう「次のステップの予測」機能の制御。

4.3 総括

この実験は、LLM が天文学研究の生産性を劇的に向上させる可能性を秘めている一方で、「完全な自律性」はまだ遠いことを示した。LLM は強力な「アシスタント」であり得るが、科学的な判断、創造性、そして最終的な責任は依然として人間（研究者）に帰属する。今後は、LLM と人間の協調（Human-in-the-loop）をどう最適化するか、そしてその倫理的・教育的影響をどう扱うかが重要な課題となる。

---

補足: このホワイトペーパー自体は LLM を使用せずに執筆されたことが明記されており、LLM による生成物の信頼性検証というテーマに対する著者らの姿勢を象徴している。