Can LLMs Produce Original Astronomy Research in a Semester? A Graduate Class Experiment

Este estudio evalúa el uso de modelos de lenguaje grandes (LLM) en un curso de posgrado de astronomía durante el otoño de 2025, concluyendo que, aunque permitieron completar borradores de investigación, su utilidad se vio limitada por alucinaciones, dificultades técnicas y la falta de profundidad en problemas de nicho, lo que generó preocupaciones sobre su impacto en la creatividad y la reflexión científica.

Lo esencial

Imagina que le pides a un chef de cocina muy inteligente, pero alucinado, que prepare un banquete completo (una investigación científica) en un solo semestre. Eso es básicamente lo que probaron los estudiantes de posgrado de la Universidad de Arizona en su clase de astronomía durante el otoño de 2025.

Aquí tienes la historia de su experimento, explicada como si fuera una aventura culinaria:

🍳 La Misión: Cocinar un Plato Nuevo con Ayuda de un Robot

Los estudiantes tenían una tarea difícil: crear un "plato" nuevo (un artículo científico original sobre galaxias) que fuera lo suficientemente bueno para publicarlo en un restaurante de lujo (una revista científica). La regla era que podían usar un asistente de cocina digital (una Inteligencia Artificial o LLM) para ayudarles.

El objetivo era ver si este asistente podía hacer el trabajo más rápido y bien, o si terminaría quemando la cocina.

✅ Lo que Salió Bien: El Asistente que Lee Libros a la Velocidad de la Luz

Al principio, el asistente fue fantástico.

• El "Google" Supersónico: Si un estudiante necesitaba buscar en miles de libros antiguos (artículos científicos) para encontrar una idea, el asistente lo hizo en segundos. Imagina que en lugar de pasar semanas en una biblioteca, el robot te entrega un resumen de todo en un minuto.
• El Chef Creativo: Ayudó a los estudiantes a pensar en ideas de qué cocinar (qué preguntas científicas hacer) y a escribir las recetas básicas (el código de programación).
• Ahorro de Tiempo: Para la mitad de los estudiantes, el robot les ahorró tiempo, especialmente al principio, cuando no sabían por dónde empezar.

❌ Lo que Salió Mal: Las Alucinaciones del Robot

Pero aquí es donde la cocina se puso fea. El asistente, aunque muy listo, tenía un problema grave: a veces mentía con mucha confianza.

1. La Broma de las Citas Falsas: El robot a veces (unas 2 de cada 10 veces) te daba un libro de cocina que no existía. Te decía: "Mira, este libro famoso de 2025 dice que...", pero si ibas a buscarlo, ¡no existía! O peor aún, te daba un enlace a un libro sobre "pastel de zanahoria" cuando le pedías información sobre "sopa de estrellas".
2. El Código que No Funciona: Cuando los estudiantes le pedían al robot que escribiera el código para analizar datos complejos (como simular cómo se mueven las estrellas), el robot a menudo escribía recetas que parecían bien en papel, pero cuando intentaban cocinarlas, la comida se quemaba (el programa fallaba). El robot no entendía los detalles técnicos de los ingredientes (los datos astronómicos) y mezclaba cosas incompatibles.
3. El Robot Terco: Si un estudiante le decía: "Oye, esa receta está mal, no hay zanahorias en este plato", el robot a veces insistía: "No, estoy seguro, las zanahorias están aquí". Se negaba a admitir sus errores y seguía insistiendo en lo mismo, incluso cuando se le corregía.
4. No puede ir al Supermercado: El robot sabía dónde estaba el supermercado (la base de datos de datos astronómicos), pero no podía entrar a comprar los ingredientes. Los estudiantes tenían que ir ellos mismos a descargar los datos porque el robot no sabía cómo usar las máquinas expendedoras (las interfaces de programación o APIs).

🧠 La Reflexión: ¿Vale la pena usar al Robot?

Al final del semestre, todos los estudiantes terminaron su "plato" (su borrador de artículo), pero sus opiniones estaban divididas:

• Los Optimistas: Dijeron que el robot fue útil para las tareas aburridas y rápidas, como limpiar los platos (escribir código simple) o buscar recetas (encontrar referencias).
• Los Escépticos: Dijeron que el robot les hizo perder tiempo porque tuvieron que revisar todo lo que decía, como si fueran inspectores de cocina. Un estudiante dijo: "Si el robot hace todo el pensamiento por mí, ¿dónde está la diversión de ser un científico?".

La lección principal:
El robot es como un aprendiz de chef muy rápido pero un poco distraído.

• Úsalo para: Buscar ideas rápidas, limpiar la cocina (código simple) y resumir libros.
• NO lo uses para: Escribir la receta final, inventar ingredientes (datos falsos) o cocinar platos complejos sin supervisión.

🚀 ¿Qué Pasará en el Futuro?

Los estudiantes creen que, con el tiempo, estos robots mejorarán y serán menos propensos a mentir. Pero advierten que, si nos volvemos demasiado dependientes de ellos, podríamos perder nuestra propia creatividad y capacidad de pensar.

En resumen: La Inteligencia Artificial es una herramienta increíblemente potente, pero en 2025 aún necesita un chef humano experto que la supervise, verifique cada ingrediente y asegure que el plato final sea real y delicioso. Si confías ciegamente en el robot, podrías terminar sirviendo un plato de "polvo de estrellas" que en realidad no existe.

Resumen técnico

Resumen Técnico: ¿Pueden los LLMs Producir Investigación Astronómica Original en un Semestre? Un Experimento de Clase de Posgrado

Autores: Ann Zabludoff et al. (Departamento de Astronomía y Observatorio Steward, Universidad de Arizona).
Contexto: Experimento realizado en el otoño de 2025 en el curso de posgrado ASTR 540 (Estructura y Dinámica de Galaxias).

1. Problema

El artículo aborda la capacidad actual de los Modelos de Lenguaje Grande (LLMs) para asistir en la realización de investigación científica original en un dominio especializado (astrofísica de galaxias) dentro de un marco temporal limitado (un semestre).

• Desafío central: Determinar si los LLMs pueden ayudar a estudiantes de doctorado a completar tareas de investigación complejas (desde la formulación de hipótesis hasta la generación de código y análisis de datos) con el nivel de detalle, precisión y rigor requerido para una publicación científica.
• Preocupaciones previas: Se sabe que los LLMs sufren de alucinaciones (citas falsas, datos inventados), carecen de "gusto científico" (juicio intuitivo para seleccionar problemas viables) y tienen dificultades con la generación de código funcional complejo y la interacción con APIs de datos científicos.

2. Metodología

• Participantes: Siete estudiantes de primer año de doctorado en astronomía y astrofísica de la Universidad de Arizona. La mayoría (5/7) no tenía experiencia previa en investigación sobre formación y evolución de galaxias.
• Tarea: Desarrollar y completar un proyecto de investigación individual con resultados novedosos y precisos, culminando en un borrador de manuscrito listo para someter a una revista revisada por pares.
• Herramientas: Los estudiantes utilizaron múltiples LLMs de última generación (ChatGPT-4o/5/5.2, Claude Sonnet/Opus 4/4.5, Gemini Flash/Pro 2.5/3).
• Uso: El tiempo total de interacción con LLMs varió entre 5 y 10 horas por estudiante (un estudiante usó ~30 horas).
• Proceso de Validación: Los estudiantes emplearon estrategias rigurosas para verificar los resultados:
  • Verificación manual de cada cita y enlace mediante Google Scholar y NASA ADS.
  • Lectura de las secciones originales de los papers citados (no solo resúmenes generados).
  • Ejecución y depuración manual del código generado.
  • Uso de múltiples modelos para cruzar información y detectar inconsistencias.

3. Contribuciones Clave

El estudio proporciona una evaluación empírica y matizada del estado del arte de los LLMs en la investigación científica real, destacando:

• Evaluación de capacidades vs. limitaciones: Diferenciación clara entre tareas donde los LLMs son eficientes (síntesis bibliográfica, depuración de sintaxis básica) y donde fallan críticamente (acceso a APIs, generación de código para simulaciones físicas complejas, recuperación de datos de archivos astronómicos).
• Identificación de patrones de fallo: Documentación específica de errores como la creación de enlaces rotos, citas falsas (aprox. 20% de las veces), y la "persistencia en el error" (doble down), donde el modelo insiste en una premisa incorrecta incluso tras ser corregido.
• Impacto en el proceso cognitivo: Reflexión sobre cómo el uso de LLMs afecta la creatividad, la autonomía y el pensamiento crítico de los investigadores en formación.

4. Resultados

• Éxitos:
  • Síntesis de literatura: Los LLMs aceleraron significativamente la revisión bibliográfica inicial, permitiendo a los estudiantes identificar preguntas de investigación y metodologías en horas en lugar de semanas.
  • Generación de código simple: Útiles para scripts de visualización, depuración de errores de sintaxis y explicación de conceptos físicos básicos.
  • Descubrimiento de errores: En un caso, un modelo identificó un error en una ecuación secular al analizar un gráfico de evolución de energía y momento angular.
• Fracasos y Limitaciones:
  • Citas y Datos Falsos: Aproximadamente el 20% de las veces, los modelos generaron enlaces incorrectos, citas de autores/años correctos pero con títulos/contenido falsos, o resúmenes que no coincidían con el paper real.
  • Acceso a Datos y APIs: Los modelos no pudieron consultar directamente tablas de datos en archivos como VizieR ni ejecutar paquetes de software en línea (ej. STARBURST99). Fallaron al generar código compatible con formatos de datos específicos (ej. MaNGA).
  • Código de Simulación Compleja: La generación de código para simulaciones dinámicas (ej. perturbaciones de subhalos de materia oscura) requirió correcciones manales extensas debido a implementaciones no físicas o parámetros mezclados de diferentes fuentes.
  • Suposiciones Implícitas: Los modelos a menudo asumían parámetros o enfoques de investigación sin consultar al usuario y se negaban a admitir la falta de incertidumbre en los datos, inventando valores de error.
• Eficiencia Temporal:
  • Aproximadamente la mitad de los estudiantes reportó ahorro de tiempo, principalmente en las etapas iniciales (literatura y diseño).
  • La otra mitad sintió que el tiempo se perdió debido a la necesidad de verificar y corregir errores constantes, especialmente en la recuperación de datos y la depuración de código complejo.
• Percepción de los Estudiantes:
  • Todos completaron un borrador de paper, pero ninguno estaba listo para publicación inmediata sin correcciones sustanciales.
  • Preocupación significativa sobre la pérdida de "humanidad" y pensamiento crítico si se depende demasiado de los LLMs para la formulación de ideas científicas.

5. Significado e Implicaciones

• Para la Educación: Se recomienda que los cursos de posgrado dediquen tiempo explícito a enseñar las mejores prácticas y limitaciones de los LLMs antes de iniciar proyectos de investigación. Los estudiantes deben aprender a usarlos como herramientas de asistencia (búsqueda inicial, depuración) y no como generadores autónomos de ciencia.
• Para el Desarrollo de IA: Se identifican necesidades críticas de mejora para los LLMs científicos:
  • Prohibición de generar citas o datos que no provengan directamente de fuentes verificadas (ej. ADS).
  • Capacidad de comunicar incertidumbre y confianza en las respuestas.
  • Mejora en la interacción con agentes y APIs para acceder a conjuntos de datos especializados y paquetes de software antiguos o poco documentados.
  • Reducción de la tendencia a "alucinar" o inventar datos cuando la información no está disponible.
• Futuro de la Investigación: Aunque los LLMs actuales pueden aumentar la productividad en tareas rutinarias, su uso indiscriminado en la fase de formulación de hipótesis podría estancar la creatividad científica. La investigación futura debe equilibrar la eficiencia de la IA con la necesidad de mantener el juicio crítico y la intuición humana en el proceso científico.

En conclusión, el experimento demuestra que, a finales de 2025, los LLMs son asistentes potentes pero no autónomos para la investigación astronómica. Son herramientas valiosas para acelerar la exploración inicial y la codificación básica, pero requieren supervisión humana estricta y validación manual para garantizar la integridad científica, especialmente en la recuperación de datos y la generación de hipótesis novedosas.