Can LLMs extract scientific consensus? A case study in high-temperature superconductivity

Resumen Técnico: ¿Pueden los LLM extraer el consenso científico? Un estudio de caso en la superconductividad de alta temperatura

Planteamiento del problema
El conocimiento científico se encuentra cada vez más disperso en una literatura vasta y heterogénea donde las afirmaciones críticas suelen ser implícitas, dependen del contexto y están sujetas a debates internos. Si bien los Modelos de Lenguaje de Gran Tamaño (LLM) han demostrado competencia en la extracción de hechos bien definidos, su capacidad para reconstruir el "consenso científico latente" —particularmente en campos dominados por el conocimiento tácito, interpretaciones contrapuestas y la falta de una verdad fundamental clara— permanece sin verificar. La superconductividad de alta temperatura (HTS) sirve como un banco de pruebas ideal y desafiante para este problema. A pesar de décadas de investigación, el campo carece de un consenso amplio sobre el mecanismo subyacente, caracterizándose en cambio por interpretaciones dependientes del material (por ejemplo, cupratos frente a superconductores basados en hierro) e interpretaciones fragmentadas. El desafío central no es meramente la recuperación de hechos, sino la reconstrucción de la estructura de creencias colectivas de una comunidad científica, incluyendo cómo estas creencias evolucionan e interactúan con diferentes tipos de evidencia.

Metodología
Los autores desarrollaron un flujo de trabajo sistemático para transformar la literatura científica no estructurada en un grafo de conocimiento estructurado y legible por máquinas. El proceso procede de la siguiente manera:

1. Construcción del Corpus: A partir de una minería de literatura de 179,538 publicaciones (1950–2025) que contienen palabras clave de "superconductividad", los autores seleccionaron el 10% superior de los artículos anualmente basado en citas acumuladas a largo plazo, resultando en un subconjunto representativo de aproximadamente 17,937 estudios.
2. Identificación de Mecanismos: Para minimizar el sesgo humano, se empleó un enfoque de modelado de temas zero-shot mediante BERTopic (con incrustaciones BERT) para agrupar los resúmenes de los artículos. Expertos en la materia refinaron iterativamente estos grupos en nueve mecanismos de superconductividad (SC) distintos y bien definidos: acoplamiento electrón-fonón, acoplamiento de bipolarones, fluctuación antiferromagnética (AFM), fluctuación ferromagnética (FM), fluctuación de onda de densidad de carga (CDW), fluctuación nemática, fluctuación de plasmones, correlación de electrón puro y correlación de líquido de espín/frustración.
3. Extracción basada en LLM: Se utilizó un LLM (principalmente gpt-5-mini) para extraer declaraciones de "opinión" estructuradas de cada artículo. Utilizando 25 ejemplos de few-shot prompting curados por expertos, el modelo asignó puntuaciones de soporte cuantitativo (0–5) para cada uno de los nueve mecanismos por cada artículo. El modelo también tuvo la tarea de categorizar la evidencia de soporte en modalidades teóricas, computacionales y experimentales, e identificar la familia de materiales (por ejemplo, cupratos, basados en hierro).
   4.cción de un grafo de conocimiento dinámico donde los nodos representan artículos (que presentan vectores de puntuación de mecanismos, etiquetas de evidencia, clases de materiales y marcas de tiempo) y las aristas representan relaciones de citación dirigidas.
4. Análisis y Reponderación: Los autores analizaron el grafo para estudiar las correlaciones entre mecanismos, evidencia y familias de materiales. Para abordar el desequilibrio en la fuerza de la evidencia (por ejemplo, sondas comunes pero indirectas frente a métodos raros y de alta fidelidad) y el impacto social, se aplicó un esquema de reponderación. Este esquema incorporó recuentos de citas y un factor de decaimiento exponencial para la edad de las técnicas de evidencia para reflejar la relevancia temporal.
5. Validación de Robustez: Se realizaron extensos estudios de ablación para probar la estabilidad de los resultados del LLM frente al parafraseo de los prompts, la multiplicidad de la entrada, las variaciones de temperatura de decodificación y las sustituciones de la arquitectura del modelo.

Resultos Clave

• Estructura de Creencia Coherente: Las representaciones extraídas por el LLM recuperaron con éxito una estructura coherente y físicamente interpretable de la comunidad de HTS. El análisis reveló perfiles de mecanismos distintos y dependientes de la familia (por ejemplo, fuerte soporte de AFM en cupratos frente al dominio de electrón-fonón en MgB2) y correlaciones específicas de la evidencia (por ejemplo, la dispersión de neutrones vinculada a AFM, y ARPES a fluctuaciones nemáticas).
• Evolución Temporal: El estudio capturó la naturaleza no estacionaria del consenso científico. Los datos mostraron un cambio claro desde el dominio inicial del acoplamiento electrón-fonón hacia un paisaje fragmentado de mecanismos en competencia tras el descubrimiento de los cupratos y las familias de materiales subsiguientes. El análisis mediado por citas reveló cómo los nuevos mecanismos se ramifican de y compiten con hipótesis previas.
• Robustez: La estructura global extraída se mantuvo robusta ante diversas perturbaciones. Aunque la sustitución de la arquitectura del modelo introdujo la mayor varianza, el orden relativo y las tendencias cualitativas de las puntuaciones de los mecanismos se preservaron en gran medida a través de las variaciones de los prompts y las configuraciones de decodificación.
• Dinámica de Red: El análisis de citación demostró que el volumen de publicación por sí solo no captura la propagación de ideas. Cuando se ponderó por el flujo de citas y la credibilidad metodológica, el paisaje de mecanismos inferido cambió, sacando a la luz reinterpretaciones emergentes (por ejemplo, un aumento del soporte de CDW en cupratos) que resultaban tenues en los análisis no ponderados.

Significancia y Reivindicaciones
El artículo sostiene que los LLM pueden servir como herramientas escalables para descifrar el conocimiento científico en dominios caracterizados por interpretaciones contrapuestas y conocimiento en evolución. Los autores enfatizan que este marco no reemplaza el juicio experto ni resuelve los debates científicos; más bien, ofrece un enfoque sistemático y basado en datos para:

• Organizar la evidencia conflictiva y exponer los supuestos subyacentes.
• Reconstruir paisajes de conocimiento más ricos a partir de literatura fragmentada.
• Reducir la dependencia de cualquier perspectiva experta única mediante la agregación de estructuras de creencias a nivel de la comunidad.

El estudio concluye que, si bien el consenso extraído por LLM es propenso a los sesgos inherentes a la literatura y que la dinámica de las citas no equivale a la verdad científica, el marco captura con éxito una organización científica significativa. Sugiere que tales enfoques asistidos por IA pueden transformar volúmenes masivos de texto no estructurado en representaciones de conocimiento estructuradas y evolutivas para apoyar el razonamiento humano en diversas disciplinas, extendiéndose más allá de la HTS hacia otros campos en disputa como la enfermedad de Alzheimer o la investigación de la materia oscura.