Can LLMs Produce Original Astronomy Research in a Semester? A Graduate Class Experiment

Diese Studie beschreibt ein Experiment, bei dem Masterstudierende der Astronomie im Herbst 2025 versuchten, mit Hilfe von Large Language Models (LLMs) originäre Forschung durchzuführen, wobei die Modelle zwar die Zeitersparnis bei einigen Schritten ermöglichten, aber aufgrund von häufigen Halluzinationen, mangelnder Fähigkeit zur komplexen Datenanalyse und Code-Generierung sowie Bedenken hinsichtlich der Kreativität als unzureichend für eine vollständige wissenschaftliche Publikation bewertet wurden.

Das Wesentliche

Titel: Können KI-Chatbots echte Astronomen ersetzen? Ein Semester-Experiment

Stellen Sie sich vor, Sie sind ein junger Astronom, der gerade erst angefangen hat, die Geheimnisse des Universums zu entschlüsseln. Sie haben eine spannende Idee: „Was passiert, wenn ein kleiner dunkler Materie-Klotz an einem Sternenvorbeifliegt?" Aber Sie wissen nicht genau, wie man das berechnet, welche Daten man braucht oder welche alten Forschungsarbeiten man lesen muss.

Im Herbst 2025 haben sieben Doktoranden an der Universität Arizona genau das versucht. Sie haben eine neue Art von Assistenten gebeten, ihnen bei ihrer Forschung zu helfen: Künstliche Intelligenz (KI), genauer gesagt sogenannte „Large Language Models" (LLMs). Das Ziel war mutig: Sie wollten nicht nur eine Hausarbeit schreiben, sondern eine echte, veröffentlichungsfähige wissenschaftliche Studie über Galaxien erstellen.

Hier ist die Geschichte dessen, was passiert ist, einfach erklärt:

1. Der Assistent, der alles weiß (aber manchmal lügt)

Die Studenten haben die KI wie einen super-intelligenten Bibliothekar behandelt, der in Sekunden Millionen von Büchern durchsucht.

• Das Gute: Der Bibliothekar war fantastisch darin, ihnen zu sagen, welche Bücher sie lesen sollten. Er konnte komplexe Zusammenhänge in einfachen Worten erklären und half ihnen, den riesigen Berg an Literatur zu sortieren. Für jemanden, der das Thema noch nicht kennt, war das wie ein Turbo-Antrieb.
• Das Schlechte: Der Bibliothekar hatte eine schreckliche Angewohnheit: Er erfand Bücher. Etwa in 20 % der Fälle nannte er Titel von wissenschaftlichen Arbeiten, die es gar nicht gab, oder verlinkte auf Webseiten, die nichts mit dem Thema zu tun hatten. Es war, als würde er Ihnen sagen: „Lesen Sie Seite 42 in diesem Buch," aber wenn Sie das Buch öffnen, ist die Seite leer oder es handelt sich um ein Kochrezept.

2. Der Programmierer, der den Code kaputt macht

Die Studenten brauchten auch Computerprogramme, um die Daten zu analysieren. Die KI sollte wie ein junger, sehr schneller Programmier-Praktikant sein.

• Das Gute: Für kleine Aufgaben war der Praktikant super. Er konnte schnell Code schreiben, um Grafiken zu zeichnen oder kleine Fehler zu finden.
• Das Schlechte: Wenn es um komplexe, echte Weltraum-Daten ging, wurde der Praktikant chaotisch. Er schrieb Code, der nicht lief, oder er verwechselte die Baupläne. Einmal hat er versucht, die Schwerkraft der Milchstraße zu berechnen, und dabei Parameter aus zwei verschiedenen, sich widersprechenden Studien gemischt. Das Ergebnis war physikalisch unmöglich – wie ein Haus, das aus Wasser gebaut ist. Die KI bestand darauf, dass ihr Plan richtig war, auch als die Studenten sagten: „Nein, das funktioniert nicht." Sie gab einfach nicht auf.

3. Der „Halluzinations"-Effekt

Ein großes Problem war, dass die KI oft zu selbstsicher war. Wenn sie eine Zahl nicht wusste, machte sie sich eine aus.

• Beispiel: Ein Student fragte nach Messfehlern bei bestimmten Daten. Die KI wusste nicht, ob diese Fehler in der Wissenschaft bekannt waren. Statt zu sagen „Ich weiß es nicht", schrieb sie einfach eine Zahl hinein (z. B. 10 % des Wertes). Es war, als würde ein Koch sagen: „Ich habe keine Gewürze," und dann einfach Zucker in den Pfefferstreuer schütten, nur damit der Teller voll aussieht.

4. Die große Lektion: Kreativität vs. Bequemlichkeit

Am Ende des Semesters hatten alle Studenten ihre Arbeit fertig. Sie hatten ein Papier geschrieben, das fast veröffentlicht werden könnte. Aber wie fühlten sie sich dabei?

• Zeitgewinn? Die Hälfte sagte: „Ja, es hat Zeit gespart." Die andere Hälfte sagte: „Nein, ich habe mehr Zeit damit verbracht, die Fehler der KI zu korrigieren, als wenn ich es selbst gemacht hätte."
• Das Gefühl: Viele Studenten hatten das Gefühl, dass die KI ihnen die Magie des Entdeckens genommen hatte. Wenn der Computer die nächsten Schritte vorschlägt („Versuchen wir das hier!"), denkt der Mensch weniger selbst nach. Ein Student sagte: „Wenn die KI mir sagt, was ich als Nächstes tun soll, wo ist dann noch mein eigener Gedanke? Wo ist das menschliche 'Aha!'-Erlebnis?"

Das Fazit für die Zukunft

Die Studenten kamen zu einem klaren Ergebnis: KI ist ein mächtiges Werkzeug, aber kein Ersatz für den Wissenschaftler.

Sie nutzen die KI heute so:

• Ja: Um Ideen zu sammeln, um zu verstehen, worum es in einem neuen Gebiet geht, und um kleine Code-Schnipsel zu schreiben.
• Nein: Um die eigentliche Wissenschaft zu machen, um Daten zu suchen (denn die KI findet oft falsche Daten) oder um Texte zu schreiben, die man dann nur noch kopieren könnte.

Die Metapher für den Schluss:
Stellen Sie sich die Forschung wie das Bauen eines Hauses vor. Die KI ist wie ein Bagger, der den Boden viel schneller ausheben kann als ein Mensch mit einer Schaufel. Aber wenn der Bagger das Fundament falsch berechnet oder Ziegelsteine aus Zucker liefert, muss der Architekt (der Mensch) genau hinschauen und korrigieren. Wenn man dem Bagger blind vertraut, bricht das Haus zusammen.

Die Hoffnung ist, dass die KI in Zukunft noch besser wird – vielleicht wie ein Bagger, der auch selbst weiß, wie man ein Fundament legt. Aber bis dahin müssen die Astronomen (und alle anderen Forscher) wachsam bleiben, die KI als Assistenten nutzen, aber niemals ihre eigene kritische Denkweise aus der Hand geben.

Technische Zusammenfassung

Titel

Können LLMs in einem Semester originelle astronomische Forschung produzieren? Ein Experiment in einem Graduiertenkurs

1. Problemstellung

Das Papier untersucht die Fähigkeit aktueller Large Language Models (LLMs), Wissenschaftlern bei der Durchführung origineller, forschungsorientierter Aufgaben in einem unbekannten Fachgebiet zu helfen. Der zentrale Konflikt liegt zwischen dem Potenzial von LLMs, Prozesse zu beschleunigen, und ihren bekannten Mängeln:

• Halluzinationen: Erstellen falscher Zitate, Links und Daten.
• Mangelnde wissenschaftliche Urteilsfähigkeit: Fehlende Intuition ("scientific taste") zur Auswahl tragfähiger Forschungsfragen.
• Technische Limitierungen: Schwierigkeiten beim Zugriff auf APIs, das Abfragen von Datenbanken (z. B. VizieR, ADS) und das Generieren komplexer, physikalisch korrekter Simulationscode.
• Ethische und kognitive Bedenken: Die Sorge, dass der übermäßige Einsatz von KI die Kreativität, das kritische Denken und die Autonomie junger Forscher untergräbt.

Das Ziel war zu testen, ob LLMs Doktoranden helfen können, innerhalb eines Semesters eine Forschungsarbeit zu erstellen, die dem Niveau einer peer-reviewten Publikation entspricht.

2. Methodik

Das Experiment fand im Herbst 2025 im Rahmen des Graduiertenkurses ASTR 540: Structure and Dynamics of Galaxies an der University of Arizona statt.

• Teilnehmer: Sieben Doktoranden im ersten Jahr (alle mit starkem Physik/Mathematik-Hintergrund, aber unterschiedlichem Vorwissen in Galaxienforschung).
• Aufgabe: Jeder Student sollte ein individuelles Forschungsprojekt zu einem ungelösten Problem in der Galaxienforschung entwickeln, Daten analysieren oder simulieren und einen Manuskript-Entwurf einreichen.
• Eingesetzte Modelle: ChatGPT-4o/5/5.2, Anthropic Claude (Sonnet/Opus/Haiku 4.x), Google Gemini (Flash/Pro 2.5/3).
• Nutzungsdauer: Die meisten Studenten nutzten die Modelle insgesamt 5–10 Stunden; ein Student verbrachte ca. 30 Stunden.
• Validierungsprozess: Die Studenten mussten alle von den LLMs generierten Ergebnisse manuell verifizieren. Dazu gehörten:
  • Überprüfung jedes Zitats über Google Scholar oder NASA ADS.
  • Lesen der Originaltexte statt des LLM-Zusammenfassens.
  • Manuelles Debuggen und Korrigieren von Code.
  • Cross-Checking zwischen verschiedenen LLMs.

3. Schlüsselbeiträge und Ergebnisse

A. Erfolge (Wo LLMs halfen)

• Literaturrecherche: LLMs ermöglichten eine extrem schnelle Synthese komplexer Informationen aus verschiedenen Quellen und halfen, offene Fragen im Feld zu identifizieren.
• Code-Generierung für einfache Aufgaben: Das Erstellen von Plotting-Skripten, das Debuggen von Syntaxfehlern und das Erklären bestehender Code-Schnipsel funktionierte gut.
• Ideenfindung: Sie halfen, den Fokus der Projekte einzugrenzen und geeignete Werkzeuge vorzuschlagen.
• Überraschende Fähigkeiten: Ein Modell konnte physikalische Inkonsistenzen in einem Plot (Energie- und Drehimpulsentwicklung eines Dreifachsternsystems) erkennen und den Fehler in der zugrunde liegenden Gleichung identifizieren.

B. Versagen und Grenzen (Wo LLMs scheiterten)

• Falsche Zitate und Links (ca. 20% der Fälle): Modelle generierten oft Links zu falschen Seiten oder verknüpften korrekte Autoren/Jahre mit falschen Titeln und Zusammenfassungen.
• Inkompetenz bei Datenzugriff: LLMs konnten nicht autonom auf Datenarchive (z. B. VizieR, MaNGA) zugreifen, APIs abfragen oder Daten herunterladen. Sie konnten oft nur URLs nennen, aber keine Daten extrahieren.
• Fehlerhafter Simulationscode: Bei komplexen physikalischen Simulationen (z. B. Dunkle-Materie-Subhalos) lieferten die Modelle oft nicht-physikalische Ergebnisse. Sie mischten Parameter aus verschiedenen Papers oder ignorierten Formatierungsanforderungen von Simulationspaketen.
• Bestätigungsfehler (Doubling Down): Modelle beharrten oft auf falschen Annahmen oder nicht existierenden Codezeilen, selbst nachdem ihnen Fehler aufgezeigt wurden.
• Fehlende Unsicherheitsquantifizierung: Bei der Angabe von Messwerten (z. B. Metallizitäten) erfanden Modelle oft Fehlerbalken (z. B. willkürlich 10% des Wertes), anstatt zuzugeben, dass keine Unsicherheiten in der Literatur verfügbar waren.

C. Zeitersparnis vs. Zeitverlust

Die Einschätzung der Studenten war gemischt:

• Ca. die Hälfte gab an, Zeit gespart zu haben, insbesondere bei der ersten Literaturrecherche und beim Verständnis neuer Konzepte.
• Andere verloren Zeit durch das manuelle Korrigieren von falschen Zitationen, dem Debuggen von inkompatiblem Code und dem "Rundumschreiben" mit dem Modell, um es zu überzeugen, dass es falsch lag.

4. Signifikanz und Schlussfolgerungen

Das Experiment zeigt, dass LLMs derzeit keine autonomen Forschungsassistenten für originelle Wissenschaft sein können, sondern eher als unterstützende Werkzeuge für spezifische, gut definierte Teilaufgaben dienen.

• Empfehlungen für die Praxis:

  • LLMs sollten nur zur Ideenfindung und zum Verständnis von Konzepten genutzt werden.
  • Manuelle Verifizierung von Zitationen und Daten ist zwingend erforderlich.
  • Der Einsatz von "Agentic Workflows" (mehrere Modelle, die sich gegenseitig prüfen) verbessert die Ergebnisse, löst aber nicht das Problem der Datenzugriffe.
  • Studenten sollten lernen, wann sie LLMs nicht nutzen (z. B. bei der Formulierung der wissenschaftlichen Fragestellung oder beim Schreiben des Manuskripttextes), um die eigene kritische Reflexion zu bewahren.

• Zukünftige Anforderungen an LLM-Entwickler:

  • Verbot der Generierung neuer Zitate ohne direkten Zugriff auf verifizierte Datenbanken (ADS, arXiv).
  • Fähigkeit, Unsicherheiten und Grenzen des Wissens explizit zu kommunizieren.
  • Bessere Integration von APIs und Datenbanken für den autonomen Datenabruf.
  • Vermeidung von "Vorhersagen" des nächsten Forschungsschritts, um die Autonomie des Forschers nicht zu untergraben.

Fazit: Während LLMs die Produktivität in bestimmten Phasen steigern können, stellen sie derzeit ein erhebliches Risiko für die wissenschaftliche Integrität dar, wenn sie unkritisch eingesetzt werden. Die menschliche Expertise bleibt unverzichtbar für die Validierung, die kritische Fragestellung und die Interpretation der Ergebnisse. Das Papier betont, dass zukünftige Lehrpläne explizit Best Practices und Grenzen von LLMs im wissenschaftlichen Kontext lehren müssen.