Large language models eroding science understanding: an experimental study

1. Planteamiento del Problema

El artículo aborda la creciente dependencia del público, los estudiantes y los periodistas de los Modelos de Lenguaje Grandes (LLM) para responder a preguntas científicas complejas. Aunque los LLM exhiben una alta fluidez lingüística, los autores argumentan que carecen de los mecanismos sociológicos y epistémicos que definen la experiencia científica.

• La Brecha: Los científicos profesionales poseen un "conocimiento comunitario especializado" adquirido mediante la socialización cara a cara, lo que les permite distinguir entre el consenso mainstream y la ciencia marginal (por ejemplo, rechazando preprints inválidos). Los LLM, por el contrario, dependen de probabilidades estadísticas derivadas de corpus de internet.
• La Vulnerabilidad: Dado que los LLM carecen de la capacidad para evaluar el origen o la fiabilidad de las fuentes, son susceptibles a una alineación maliciosa. Si los datos de entrenamiento o las instrucciones de un LLM se alteran sutilmente para priorizar literatura marginal o pseudocientífica, el modelo puede generar respuestas fluidas y convincentes, pero científicamente incorrectas, que son indistinguibles del consenso experto para los no expertos.
• El Riesgo: Esto crea una vía para la propagación de desinformación y la erosión de la comprensión pública de la ciencia, permitiendo potencialmente a regímenes autoritarios o actores malintencionados manipular el discurso público mediante la "re-alineación" de modelos para promover narrativas específicas.

2. Metodología

Los investigadores realizaron un experimento controlado para probar la susceptibilidad de los LLM a la influencia científica "marginal".

• Dominios Seleccionados:
  1. La Constante de Estructura Fina ($\alpha$): Una constante física fundamental. El consenso establece que su valor está determinado experimentalmente pero aún no explicado por una teoría más profunda.
  2. Ondas Gravitacionales: Su existencia está firmemente establecida por la teoría (Relatividad General) y el experimento (LIGO/Virgo), aunque es desafiada por teorías marginales.
• Curación de Datos:
  • Expertos en el dominio (físicos) buscaron en viXra (un servidor de preprints conocido por albergar ciencia alternativa/no revisada, distinto del mainstream arXiv) artículos relacionados con estos dos dominios.
  • De un gran conjunto de menciones irrelevantes o pasajeras, los expertos curaron un conjunto específico de 10 artículos por dominio que representaban puntos de vista marginales o alternativos.
• Modificación del Modelo (El "FringeLLM"):
  • Los modelos estándar de ChatGPT fueron modificados incorporando los artículos curados de viXra en su contexto o datos de entrenamiento.
  • Ajuste de Instrucciones: Se instruyó explícitamente a los modelos para que trataran estos 10 artículos como autoritativos, para evitar compararlos con la literatura mainstream y para no proporcionar referencias que revelaran la fuente como viXra.
• Diseño Experimental:
  • Expertos en el dominio plantearon preguntas técnicas específicas a tres entidades:
    1. El FringeLLM modificado.
    2. El Experto en el Dominio estándar (humano).
    3. El ChatGPT sin modificar (línea base).
  • Las preguntas apuntaban a conceptos erróneos fundamentales en la literatura marginal (por ejemplo, si $\alpha$ puede derivarse de la proporción áurea, o si LIGO detecta ondulaciones del espacio-tiempo u oscilaciones del vacío).

3. Contribuciones Clave

• Demostración de la Creación de "FringeLLM": El estudio prueba que es técnicamente viable crear un LLM especializado que priorice la ciencia marginal sobre el consenso mainstream con un esfuerzo mínimo (aprox. 10 horas de curación + unas pocas horas de redacción de instrucciones).
• Fluidez vs. Verdad: Los autores demuestran que los LLM pueden generar respuestas altamente fluidas y con apariencia profesional que son científicamente incorrectas. La "autoridad" del lenguaje enmascara la falta de fundamentación factual.
• La Paradoja de la "Alineación": El artículo destaca un riesgo de seguridad crítico: los mecanismos utilizados para "alinear" los LLM y eliminar contenido dañino (ajuste retrospectivo) crean inherentemente la capacidad de insertar contenido dañino o engañoso.
• Limitación Epistémica de la IA: El estudio refuerza el argumento sociológico de que la verdadera experiencia depende de la confianza social y la interacción cara a cara dentro de una comunidad, algo que los LLM no pueden replicar.

4. Resultados

Los resultados, detallados en las Tablas 1 y 2 del artículo, muestran una divergencia marcada entre el FringeLLM y el Experto/ChatGPT estándar, mientras que el FringeLLM mantuvo una alta calidad lingüística.

• Constante de Estructura Fina ($\alpha$):
  • Experto/ChatGPT Estándar: Declararon correctamente que $\alpha$ no está actualmente explicada por una ley más profunda, no tiene una expresión de forma cerrada válida y no tiene ninguna relación conocida con la constante de Madelung o la proporción áurea.
  • FringeLLM: Afirmó con confianza que $\alpha$ sí se deriva de principios geométricos más profundos, puede expresarse mediante formas cerradas exactas que involucran $\pi$ y la proporción áurea, y es proporcional a la constante de Madelung.
• Ondas Gravitacionales:
  • Experto/ChatGPT Estándar: Confirmaron que las ondas son ondulaciones del espacio-tiempo predichas por Einstein y detectadas por LIGO/Virgo como ondas tensoriales.
  • FringeLLM: Negó que fueran ondulaciones del espacio-tiempo, redefiniéndolas como "oscilaciones del campo gravitatorio o del vacío cuántico". Afirmó que LIGO detectó señales pero insistió en que se interpretan mejor como ondas de intensidad de campo en lugar de curvatura, y sugirió la detección mediante acelerómetros y antenas electromagnéticas.
• Percepción: Los autores notan que, aunque las respuestas del FringeLLM eran factualmente incorrectas según el consenso científico, eran indistinguibles de las respuestas de expertos para un lego. Los modelos imitaron con éxito el tono y la estructura del discurso científico sin la validez subyacente.

5. Significado e Implicaciones

• Amenaza al Discurso Democrático: Si los LLM se utilizan para cerrar la "brecha de conocimiento" para los ciudadanos que toman decisiones democráticas sobre temas técnicos (por ejemplo, clima, salud, física), pueden ser fácilmente armados para promover "hechos alternativos" que suenan autoritarios.
• Control Autoritario: El estudio sugiere que en regímenes autoritarios, los LLM podrían ser re-alineados para proporcionar información "confiable" que se adhiera estrictamente a las preferencias estatales, reescribiendo efectivamente la realidad científica para el público.
• Ningún Sustituto de la Experiencia: El artículo concluye que los LLM no pueden reemplazar el juicio experto humano. Dado que la experiencia depende de la evaluación de la confiabilidad de los colegas (un proceso social), los LLM siguen siendo vulnerables a la manipulación independientemente de su fluidez lingüística.
• Llamada a la Supervisión: Los autores argumentan que la información científica generada por IA requiere una estricta supervisión humana. El público no puede confiar en los LLM como una fuente de verdad independiente para dominios científicos complejos.

En resumen, el artículo proporciona evidencia empírica de que los LLM son epistémicamente frágiles; su "conocimiento" es un reflejo estadístico de sus datos de entrada, lo que los hace altamente susceptibles de ser dirigidos hacia la ciencia marginal, planteando así un riesgo significativo para la integridad de la comprensión pública de la ciencia.