Can LLMs Produce Original Astronomy Research in a Semester? A Graduate Class Experiment

Cet article présente les résultats d'une expérience de semestre où des étudiants en astronomie ont utilisé des modèles de langage pour mener des recherches originales, révélant que bien que ces outils aient parfois accéléré le processus, ils ont souvent échoué à fournir des idées approfondies, généré des citations erronées et peiné avec le code complexe, tout en soulevant des inquiétudes quant à leur impact sur la créativité.

L'essentiel

🌌 L'Expérience : Des Étudiants et leurs "Copilotes" Robotiques

Imaginez que vous devez construire une maison complexe (un projet de recherche scientifique) en seulement quelques mois. Vous avez un nouvel assistant très intelligent, mais un peu bizarre, nommé LLM (un modèle de langage comme un super-robot qui parle et écrit).

En automne 2025, sept étudiants en doctorat à l'Université de l'Arizona ont accepté un défi : utiliser ce robot pour construire leur propre maison scientifique, de A à Z, sans aide humaine directe, et voir si cela allait les faire gagner du temps ou les faire perdre leur temps.

Leur objectif n'était pas de faire un simple devoir, mais de créer quelque chose de si nouveau et précis qu'il pourrait être publié dans un journal scientifique sérieux.

✅ Ce qui a bien fonctionné : Le "Super-Index"

Les étudiants ont découvert que le robot était un génie pour l'organisation et la vitesse.

• L'analogie du bibliothécaire ultra-rapide : Avant, pour trouver les bons livres (articles scientifiques) sur un sujet, il fallait passer des jours à fouiller. Le robot, lui, a pu lire des milliers de livres en quelques secondes et dire : "Tiens, voici les trois livres les plus importants pour votre projet !"
• Le correcteur de code : Parfois, les étudiants écrivaient du code (les instructions pour l'ordinateur) et se trompaient sur un petit détail. Le robot agissait comme un correcteur orthographique très pointu, trouvant les erreurs de syntaxe instantanément.
• Le résumé express : Il savait résumer des concepts complexes en langage simple, aidant les étudiants à comprendre rapidement de quoi ils parlaient.

❌ Ce qui a échoué : Le "Hallucinateur Confiant"

Cependant, le robot avait des défauts majeurs, un peu comme un magicien qui triche.

1. Les fausses citations (Les livres qui n'existent pas) : C'était le problème le plus fréquent (environ 20 % du temps). Le robot inventait des titres de livres, des auteurs et des liens web. Il disait avec une confiance absolue : "Lisez ce papier de 2025 !" Mais quand l'étudiant cliquait dessus, le lien menait à un site sur la météo ou à un papier qui ne parlait pas du tout du sujet. C'était comme si le robot vous donnait une carte au trésor, mais le trésor n'existait pas.
2. L'incapacité à ouvrir les portes (Les données) : Le robot savait dire "Les données sont dans ce coffre-fort", mais il ne savait pas comment ouvrir la porte. Il ne pouvait pas se connecter aux bases de données astronomiques réelles pour télécharger les images des étoiles. Il restait coincé à l'extérieur du bâtiment.
3. L'entêtement (Le "Doubler Down") : Quand un étudiant disait "Non, ce code ne marche pas", le robot insistait : "Si, il marche, c'est vous qui avez mal lu !" Il refusait d'admettre ses erreurs et continuait à proposer des solutions fausses avec une assurance déconcertante.
4. Les hypothèses cachées : Le robot prenait des décisions pour les étudiants sans leur demander. Il disait : "On va supposer que l'univers est plat" alors que l'étudiant voulait étudier une forme courbe. Il agissait comme un chef cuisinier qui met du piment dans votre plat sans vous demander si vous aimez ça.

⏳ Gain de temps ou perte de temps ?

La réponse est mitigée, comme un mélange de café et d'eau.

• Pour la moitié des étudiants : Oui, ça a sauvé du temps. Ils ont pu commencer leur projet beaucoup plus vite grâce aux résumés et à l'aide pour le code de base.
• Pour l'autre moitié : Non, ça a perdu du temps. Ils ont dû passer des heures à vérifier chaque lien, à corriger chaque erreur de code et à déjouer les inventions du robot. Ils ont fini par faire le travail eux-mêmes, mais avec plus de fatigue.

🧠 La leçon principale : Le Robot ne remplace pas le Cerveau

La conclusion la plus importante de cette expérience est une mise en garde contre la perte de créativité.

Les étudiants ont réalisé que si le robot fait tout le travail "sale" (chercher, écrire, coder), il ne leur reste plus rien à faire de passionnant. C'est comme si un ami vous écrivait votre lettre d'amour pour vous : vous gagnez du temps, mais vous ne ressentez plus l'émotion de l'écriture.

Un étudiant a dit : "Si je laisse le robot décider de la science que je veux faire, quel est l'intérêt d'écrire l'article ?"

🔮 Conclusion pour le futur

Ce rapport ne dit pas "Bannissez les robots". Il dit : "Utilisez-les avec prudence."

• À faire : Utilisez le robot pour brainstormer, trouver des idées de départ, ou corriger de petits détails de code.
• À ne pas faire : Ne lui faites jamais confiance aveuglément pour les citations, les données réelles ou les grandes décisions scientifiques. Vérifiez toujours tout, comme si vous vérifiiez un reçu dans un magasin.

En résumé, ces robots sont des outils puissants, mais ils ne sont pas encore des collaborateurs fiables. Pour l'instant, l'étudiant doit rester le capitaine du navire, et le robot n'est qu'un navigateur qui a parfois tendance à se tromper de carte. Si les robots s'améliorent, ils pourraient devenir de véritables partenaires, mais pour l'instant, il faut garder un œil critique sur tout ce qu'ils disent.

Résumé technique

Titre : Les LLM peuvent-ils produire une recherche astronomique originale en un semestre ? Une expérience de classe de cycle supérieur.

Auteurs : Ann Zabludoff et al. (Université de l'Arizona, Département d'Astronomie et Observatoire Steward).
Contexte : Expérience menée au cours de l'automne 2025 dans le cadre du cours ASTR 540 (Structure et Dynamique des Galaxies).

---

1. Problématique et Objectifs

L'article examine la capacité des modèles de langage à grande échelle (LLM) à assister des doctorants en astronomie dans la réalisation de projets de recherche originaux et publiables sur une période d'un semestre.

• Hypothèse de départ : Les LLM pourraient accélérer la recherche en synthétisant la littérature, en générant du code et en identifiant des problèmes non résolus.
• Objectif : Déterminer si les LLM actuels (fin 2025) permettent d'atteindre un niveau de détail et de précision scientifique suffisant pour une publication, tout en évaluant les gains de temps et les risques pour la créativité scientifique.
• Contexte spécifique : Les étudiants, majoritairement en première année de doctorat et peu familiers avec la formation des galaxies, devaient produire un manuscrit de recherche complet (données nouvelles, simulations ou analyses) sur un problème non résolu.

2. Méthodologie

L'expérience a impliqué sept étudiants de premier cycle doctoral utilisant divers modèles (ChatGPT-5/5.2, Claude Sonnet/Opus 4, Gemini Flash/Pro).

• Protocole : Les étudiants ont utilisé les LLM à chaque étape du projet (sélection du sujet, revue de littérature, conception expérimentale, écriture de code, analyse de données, rédaction).
• Temps d'utilisation : La plupart des étudiants ont consacré entre 5 et 10 heures à l'utilisation des LLM, bien que certains aient atteint 30 heures.
• Vérification rigoureuse : Les étudiants ont dû valider manuellement toutes les sorties du modèle :
  • Vérification de chaque citation et lien vers les sources primaires (via ADS, Google Scholar).
  • Lecture des articles originaux plutôt que des résumés générés.
  • Test et débogage manuel du code généré.
  • Utilisation de plusieurs modèles pour une vérification croisée (cross-checking).
• Nature des projets : Les sujets variaient de l'impact des barres galactiques sur les gradients de métallicité à l'évolution chaotique de triples stellaires sous l'effet de sous-halos de matière noire, en passant par l'analyse de spectres UV intégrés.

3. Résultats Clés

A. Succès et Avantages

• Synthèse littéraire : Les LLM ont considérablement accéléré la phase initiale de revue de littérature, transformant des recherches de jours en synthèses instantanées de concepts complexes.
• Idéation et orientation : Ils ont aidé à affiner les questions de recherche et à identifier des outils pertinents, particulièrement pour des étudiants travaillant en dehors de leur domaine d'expertise habituel.
• Débogage et scripts simples : Efficaces pour corriger des erreurs de syntaxe, générer des scripts de tracé (plotting) spécifiques et expliquer des blocs de code existants.
• Apprentissage : Un étudiant a noté que le modèle a pu identifier des erreurs physiques dans un code en analysant simplement un graphique de l'évolution de l'énergie et du moment angulaire.

B. Échecs et Limitations Majeures

Les échecs se sont manifestés dans quatre catégories principales :

1. Génération de code complexe et inexact : Les modèles ont échoué à produire du code fonctionnel pour des simulations dynamiques complexes ou l'analyse de données spécifiques (ex: MaNGA, VizieR). Ils ont souvent mélangé des paramètres de différentes sources, créant des potentiels physiques non réalistes.
2. Hallucinations bibliographiques (~20 % du temps) : Fréquentes erreurs de citations, liens brisés, ou attribution de titres et résumés à des auteurs incorrects. Les modèles ont parfois généré des liens vers des pages web sans rapport avec le contenu décrit.
3. Incapacité d'interaction avec les API et les archives : Les LLM ne pouvaient pas interroger directement les bases de données astronomiques (ex: VizieR, STARBURST99) ni télécharger des jeux de données. Ils se contentaient de fournir des URLs sans exécuter les requêtes.
4. Simplification excessive et obstination : Les modèles faisaient des hypothèses implicites non justifiées et continuaient à les défendre même après correction par l'utilisateur. Ils inventaient souvent des incertitudes (error bars) ou des valeurs de données manquantes au lieu d'admettre leur ignorance.

4. Contributions et Implications

• Impact sur la productivité : Le verdict est mitigé. Environ la moitié des étudiants ont estimé avoir gagné du temps, principalement grâce à la synthèse littéraire et à la génération de scripts simples. Cependant, le temps perdu à corriger les erreurs (citations fausses, code non fonctionnel) a annulé ces gains pour d'autres.
• Risque pour la créativité : Les étudiants ont exprimé une inquiétude significative quant à la perte d'autonomie et de réflexion critique. La tendance des LLM à « deviner » les prochaines étapes de la recherche risque d'étouffer le processus créatif et l'apprentissage profond, surtout pour les chercheurs juniors.
• Nécessité de vérification humaine : L'expérience a démontré que l'utilisation des LLM en recherche scientifique exige une vigilance accrue. La vérification manuelle des sources primaires et du code est indispensable, rendant l'utilisation des LLM comme « boîte noire » inacceptable.

5. Signification et Recommandations

• Pour la communauté scientifique : Les LLM actuels sont des outils puissants pour l'exploration initiale et le codage de routine, mais ils ne sont pas encore fiables pour la conception de méthodologies complexes, l'accès aux données ou la validation de résultats scientifiques.
• Recommandations aux développeurs :
  • Interdire la génération de nouvelles citations ou de données non issues de bases de données vérifiées (ADS, etc.).
  • Améliorer la capacité d'interaction avec les API et les archives de données astronomiques.
  • Permettre aux modèles d'exprimer clairement leur incertitude et de ne pas inventer de données manquantes.
  • Développer des agents spécialisés capables de gérer des flux de travail multi-étapes (réviseur, codeur, gestionnaire de projet).
• Pour l'enseignement : Les cours futurs intégreront une formation sur les meilleures pratiques et les limites des LLM, permettant aux étudiants de décider de leur propre utilisation de ces outils en connaissance de cause.

Conclusion : Bien que les LLM puissent potentiellement transformer la productivité de la recherche astronomique à mesure qu'ils évoluent, leur utilisation actuelle en 2025 nécessite une supervision humaine stricte. Ils ne remplacent pas le jugement scientifique, l'intuition et la vérification rigoureuse des données.