Can LLMs Produce Original Astronomy Research in a Semester? A Graduate Class Experiment

Dit paper beschrijft een experiment waarbij graduate-studenten in de astronomie in het najaar van 2025 Large Language Models (LLM's) gebruikten voor origineel onderzoek, waarbij bleek dat hoewel ze tijd konden besparen, de modellen vaak faalden in het leveren van diepgaande inzichten, het genereren van complexe code en het vermijden van valse citaten, wat leidde tot gemengde meningen over hun waarde en zorgen over het beïnvloeden van creativiteit.

De kern

Kunnen slimme computers (LLMs) zelfsterkster sterrenkunde-onderzoek doen? Een proef in de klas

Stel je voor dat je een groep getalenteerde studenten hebt die een jaar lang een moeilijke puzzel moeten oplossen: het vinden van een nieuw, nog onontdekt geheim in het heelal. Normaal gesproken duurt dit jaren van hard werken, lezen en rekenen. Maar in de herfst van 2025 besloten de leraren aan de Universiteit van Arizona om een experiment te doen. Ze gaven de studenten een nieuwe, krachtige hulpmiddel: LLMs (grote taalmodellen, zoals de slimme chatbots die we nu kennen).

Het doel? Kijken of deze slimme computers de studenten konden helpen om in één semester een compleet wetenschappelijk artikel te schrijven dat goed genoeg is om te publiceren.

Hier is wat er gebeurde, verteld als een verhaal met een paar handige vergelijkingen.

De Proef: Een Chef-kok en een Slimme Assistent

De studenten waren als chef-koks die een nieuw, complex gerecht (het sterrenkundig onderzoek) moesten bedenken en bereiden. De LLMs waren hun ultra-snelle, maar soms wat flauwe assistenten.

De studenten mochten de assistent vragen om:

• Te zoeken in de enorme bibliotheek van het heelal (literatuur).
• Recepten te schrijven (code schrijven voor berekeningen).
• Ingrediënten te halen (data uit databases).

Wat ging er goed? (De "Wauw"-momenten)

De assistenten waren verrassend goed in het samenstellen van informatie.

• De Bibliotheek-scan: In plaats van dagenlang in de bibliotheek te zoeken, kon de assistent in een seconde duizenden boeken doorzoeken en een samenvatting geven. Het was alsof iemand je in één minuut vertelde wat er in een hele reeks encyclopedieën staat.
• De Code-baas: Voor kleine, saaie taken (zoals het maken van een mooie grafiek of het oplossen van een klein typefoutje in een computerprogramma) waren ze geweldig. Het bespaarde tijd op het "koken" van de basis.

Wat ging er mis? (De "Oeps"-momenten)

Maar de assistent had ook grote zwaktes. Het was alsof je een assistent hebt die heel zelfverzekerd liegt.

1. De Valse Kaartjes (Citaties): Ongeveer 1 op de 5 keer gaf de assistent een verwijzing naar een boek dat niet bestond, of een boek dat wel bestond, maar met een totaal andere inhoud. Het was alsof de assistent je een adres gaf van een restaurant, maar toen je daar kwam, bleek het een leeg pand te zijn.
2. De Gebrekkige Gereedschapskist (Code): Als de studenten complexe berekeningen moesten doen (zoals het simuleren van de zwaartekracht van een zwart gat), maakte de assistent vaak fouten. Het schreef code die leek te werken, maar die in werkelijkheid onzin produceerde. De studenten moesten het werk van de assistent vaak helemaal opnieuw doen.
3. De "Nee, ik weet het zeker"-Houding: Als een student zei: "Dit klopt niet," bleef de assistent vaak volhouden dat het wel goed was. Het was alsof je tegen een GPS zegt: "Je stuurt me de verkeerde kant op," en de GPS antwoordt: "Nee, ik weet het zeker, ga maar door," terwijl je in een meer rijdt.
4. Geen Toegang tot de Supermarkt: De assistent kon wel zeggen waar de data zat (een link geven), maar kon de data zelf niet ophalen of downloaden. Het was alsof de assistent je de naam van een supermarkt gaf, maar je zelf de boodschappen moest doen.

De Leerervaring: Tijdswinst of Tijdsverspilling?

De studenten waren verdeeld:

• De optimisten: Voor sommigen was het een tijdbesparing. Ze konden sneller beginnen met denken over de echte wetenschap, omdat de assistent het saaie zoekwerk deed.
• De sceptici: Voor anderen was het een tijdsverspilling. Ze moesten elke zin van de assistent controleren, elke link verifiëren en elke code-regel op fouten zoeken. Uiteindelijk leerden ze meer door zelf te lezen dan door naar de assistent te luisteren.

De Grote Vraag: Verandert dit de toekomst?

De studenten waren bang dat als we te veel vertrouwen op deze slimme assistenten, we onze eigen creativiteit en kritische denkkracht verliezen.

• Het is alsof je een fiets hebt met een motor. Soms is het fijn, maar als je de motor te veel gebruikt, vergeet je hoe je zelf te fietsen.
• Een student zei: "Als de computer het wetenschappelijke denken voor me doet, wat is dan nog het punt van mijn eigen onderzoek?"

Conclusie: Een Hulpmiddel, geen Vervanger

De les van dit experiment is duidelijk: LLMs zijn geweldige hulpmiddelen, maar ze zijn nog geen wetenschappers.

Ze kunnen je helpen om sneller te starten, maar ze kunnen niet de "smaak" van wetenschap hebben (weten wat een interessant probleem is). Ze kunnen liegen over feiten en ze kunnen complexe taken niet zelfstandig uitvoeren.

De toekomst:
De leraren zeggen dat we in de toekomst studenten moeten leren hoe ze deze "slimme assistenten" veilig moeten gebruiken. Je moet weten wanneer je ze kunt vertrouwen en wanneer je ze moet controleren. Net zoals je een GPS gebruikt, maar altijd zelf ook op de kaart kijkt.

Kortom: De computers zijn snel en slim, maar de menselijke geest is nog steeds de enige die echt kan dromen, twijfelen en ontdekken.

Technische samenvatting

Titel: Kunnen LLMs Origineel Astronomisch Onderzoek Produceren in één Semester? Een Experiment met een Graduate Class

Auteurs: Ann Zabludoff et al. (Universiteit van Arizona)
Context: Fall 2025 semester, Graduate Course ASTR 540 (Structure and Dynamics of Galaxies).

---

1. Het Probleem

Grote Taalmodellen (LLMs) worden steeds vaker gebruikt in wetenschappelijk onderzoek, maar hun betrouwbaarheid voor het uitvoeren van origineel, nieuw onderzoek in een onbekend domein is onzeker. Bestaande LLMs staan bekend om het genereren van "hallucinaties" (verzonnen citaten, data en code), het missen van wetenschappelijke "smaak" (de intuïtie om de meest interessante en hanteerbare problemen te kiezen), en het gebrek aan vermogen om complexe, niche-vragen binnen een realistisch tijdsbestek te beantwoorden.

De kernvraag van dit experiment was: Kunnen LLMs PhD-studenten helpen om binnen één semester een volledig nieuw, publicatieklaar onderzoeksproject op het gebied van galactische astronomie te voltooien, zonder dat de kwaliteit of nauwkeurigheid van het resultaat in het gedrang komt?

2. Methodologie

• Deelnemers: Zeven eerstejaars PhD-studenten in astronomie en astrofysica aan de Universiteit van Arizona. De meeste (5/7) hadden geen eerdere ervaring met onderzoek op het specifieke gebied van galactevorming en -dynamica.
• Opdracht: Studenten moesten individueel een nieuw, publicatiewaardig onderzoeksproject definiëren, uitvoeren en een concept-manuscript schrijven over een onopgelost probleem in de galactische astronomie.
• LLM-gebruik: Studenten kregen toestemming om LLMs (o.a. ChatGPT-4o/5/5.2, Claude Sonnet/Opus, Gemini Pro/Flash) te gebruiken voor alle fasen van het onderzoek:
  • Literatuursynthese en het identificeren van open vragen.
  • Ontwerp van experimenten en analysepaden.
  • Genereren en debuggen van code (Python, simulaties).
  • Toegang tot datasets en API's.
  • Schrijven van het manuscript.
• Tijdsinvestering: De meeste studenten besteedden 5–10 uur aan LLM-interactie; één student gebruikte drie modellen en besteedde ongeveer 30 uur.
• Validatie: Studenten moesten elke output handmatig verifiëren via primaire bronnen (ADS, arXiv), code testen en cross-checks uitvoeren tussen verschillende modellen.

3. Belangrijkste Bijdragen en Resultaten

A. Succesvolle Toepassingen

• Literatuursynthese: LLMs bleken zeer effectief om complexe informatie uit diverse bronnen snel te synthetiseren. Dit versnelde de initiële literatuurstudie aanzienlijk (van dagen/weken naar minuten/uur).
• Ideeënvorming: Modellen hielpen bij het verfijnen van brede onderzoeksvragen naar specifieke, hanteerbare projectdoelen.
• Code voor kleine taken: Voor het genereren van plots, het oplossen van simpele syntax-fouten en het uitleggen van bestaande code waren de modellen waardevol.
• Visuele inspectie: In één geval slaagde een LLM erin, op basis van een upload van een grafiek (energie en impulsmoment), fysisch onrealistische veranderingen in een simulatiecode te identificeren.

B. Kritieke Falen en Beperkingen

Ondanks de snelheid, waren de resultaten vaak onbetrouwbaar voor de kern van het wetenschappelijke werk:

• Hallucinaties en Citaten: Ongeveer 20% van de tijd leverden LLMs valse citaten, verkeerde links of samenvattingen die niet overeenkwamen met de werkelijke papers. Soms werden de juiste auteurs en jaartallen gegeven, maar een volledig andere titel en inhoud.
• Code en Simulaties: LLMs faalden bij het genereren van complexe, functionele code voor data-analyse en fysisch nauwkeurige simulaties.
  • Voorbeeld: Bij het simuleren van een flyby van een donkere-materie subhalo genereerden modellen niet-fysische resultaten door parameters uit verschillende papers te mixen of incompatibele formaten te gebruiken.
  • Studenten moesten vaak de volledige codebase handmatig repareren.
• Toegang tot Data en API's: Modellen konden geen datasets direct ophalen uit archieven (zoals VizieR) of API's (zoals STARBURST99) correct aanroepen. Ze konden wel een URL geven, maar faalden bij het daadwerkelijk query-en en downloaden van de data.
• Oververtrouwen en "Doubling Down": LLMs maakten vaak impliciete, te simplistische aannames en bleven hierbij staan, zelfs nadat studenten fouten hadden aangegeven. Ze weigerden vaak toe te geven dat bepaalde data (zoals foutmarges) niet beschikbaar waren, en verzonnen waarden in plaats daarvan.
• Gebrek aan Diepgang: Voor niche-vragen binnen een paar maanden bleek de diepgang van de modellen ontoereikend voor echt nieuw inzicht.

C. Studentenervaringen en Reflectie

• Tijdbesparing: Ongeveer de helft van de studenten gaf aan tijd te hebben bespaard, vooral in de beginfase (literatuur en ideeën). Anderen vonden dat de tijd die verloren ging aan het verifiëren en repareren van fouten het voordeel tenietdeed.
• Creativiteit en Autonomie: Veel studenten maakten zich zorgen dat het gebruik van LLMs de creatieve reflectie en het kritische denken zou ondermijnen. Er was bezorgdheid dat studenten te afhankelijk zouden worden van "voorgeschreven" volgende stappen, wat de "menselijkheid" van het onderzoek zou wegnemen.
• Toekomstig Gebruik: Studenten waren bereid LLMs in de toekomst te gebruiken, maar dan beperkt: voor het vinden van literatuur, het debuggen van bestaande code, en het genereren van plots. Ze zouden geen LLMs vertrouwen voor het genereren van nieuwe hypotheses in onbekende velden of het schrijven van de tekst van een paper.

4. Significantie en Conclusies

Dit experiment biedt een realistisch beeld van de huidige staat van LLMs in de wetenschap (per Fall 2025):

1. Hulpmiddel, geen Oplosser: LLMs zijn krachtige hulpmiddelen voor snelheid in de initiële fasen (literatuur, code-skeletten), maar zijn nog niet betrouwbaar genoeg voor de kern van het onderzoek (data-acquisitie, complexe simulaties, validatie van resultaten).
2. Verificatie is Cruciaal: De noodzaak van handmatige verificatie van elke bron, elke link en elke code-snippet is absoluut. Zonder deze strenge controle is wetenschappelijk werk met LLMs onbetrouwbaar.
3. Pedagogische Implicaties: Voor toekomstige cursussen wordt aanbevolen om studenten eerst te trainen in de beperkingen en beste praktijken van LLMs. Studenten moeten leren hoe ze modellen effectief kunnen "prompten" en wanneer ze ze moeten negeren.
4. Aanbevelingen aan Ontwikkelaars:
   • LLMs moeten worden gedwongen om alleen citaten te genereren die direct uit betrouwbare databases (zoals ADS) komen, zonder hallucinatie.
   • Modellen moeten hun onzekerheid expliciet communiceren.
   • Er is behoefte aan "agent-vriendelijke" systemen die complexe workflows kunnen beheren en toegang hebben tot niche-API's en datasets.
   • De "voorspellende" functie (het suggereren van volgende stappen) moet worden beperkt om de autonomie van de onderzoeker te behouden.

Conclusie: Hoewel LLMs de productiviteit kunnen verhogen, zijn ze in 2025 nog niet in staat om volledig autonoom origineel, publicatieklaar astronomisch onderzoek te produceren. Ze fungeren als een krachtige "co-piloot" voor taken die repetitief of breed zijn, maar de menselijke onderzoeker blijft essentieel voor kritisch denken, validatie, en het nemen van wetenschappelijke beslissingen.