Probing Materials Knowledge in LLMs: From Latent Embeddings to Reliable Predictions

Este estudio evalúa la fiabilidad y codificación del conocimiento de 25 modelos de lenguaje en ciencias de los materiales, revelando que la modalidad de salida determina su comportamiento (siendo las tareas simbólicas más consistentes que las numéricas), que la extracción de embeddings intermedios puede superar a la salida de texto en regresiones numéricas debido a un cuello de botella, y que las variaciones de rendimiento a lo largo del tiempo plantean desafíos significativos para la reproducibilidad científica.

Lo esencial

Imagina que los Modelos de Lenguaje Grandes (LLMs), como el famoso ChatGPT, son como genios universitarios que han leído casi todo lo escrito en internet, incluidos millones de artículos científicos sobre materiales. Ahora, los científicos de materiales quieren usar a estos genios para predecir cosas: desde "¿de qué color es este material?" hasta "¿cuánta electricidad dejará pasar?".

Este estudio es como una gran prueba de aptitud que le hicieron a 25 de estos genios (incluyendo a los más famosos y a algunos de código abierto) para ver qué tan buenos son realmente en la ciencia de materiales.

Aquí tienes los hallazgos principales, explicados con analogías sencillas:

1. La gran diferencia: "Contar historias" vs. "Hacer cuentas"

El descubrimiento más importante es que estos genios se comportan de forma totalmente diferente dependiendo de si les pides una respuesta de texto (simbólica) o un número (numérico).

• Las preguntas de texto (Simbólicas):

  • El problema: Antes de estudiar, si le preguntas al genio "¿Qué propiedades tiene el óxido de titanio?", a menudo responde con tonterías o inventa cosas. Es como un estudiante que no ha estudiado y adivina al azar.
  • La solución: Cuando los científicos les dan un "curso intensivo" (lo que se llama fine-tuning o ajuste fino), el genio aprende de verdad. Deja de adivinar y empieza a dar respuestas consistentes y correctas.
  • La analogía: Es como pasar de un turista perdido en un museo (que no sabe nada) a un guía experto que conoce cada cuadro de memoria.

• Las preguntas de números (Numéricas):

  • El problema: Aquí es donde se pone peligroso. Si le pides al genio "¿Cuál es el valor exacto de la conductividad?", incluso antes de estudiar, suele dar un número muy específico y decirlo con mucha seguridad. ¡Pero a menudo está totalmente equivocado!
  • La solución: El "curso intensivo" mejora la precisión de los números, pero el genio sigue siendo demasiado seguro de sí mismo.
  • La analogía: Imagina a un adivino que, aunque no sabe nada de meteorología, te dice con total certeza: "Mañana lloverán 43.2 milímetros". Si le das un curso de meteorología, quizás acierte con 40 milímetros, pero sigue hablando con la misma seguridad absoluta. Esto es peligroso porque te hace confiar en un número que podría estar mal.

2. El "Cuello de botella" en la cabeza del genio

Los científicos hicieron algo muy curioso: en lugar de preguntar al genio qué piensa, le "leyeron la mente" (miraron sus capas internas de procesamiento) antes de que hablara.

• El hallazgo: Para predecir propiedades como el "hueco de banda" (un tipo de energía), la información correcta ya estaba ahí, escondida en su cerebro, antes de que el genio intentara escribir la respuesta.
• El problema: El genio tiene un "cuello de botella" en su boca (la parte que genera texto). Tiene la respuesta correcta en su interior, pero al intentar convertirla en palabras y números, se le escapa o la distorsiona.
• La analogía: Es como tener un chef que sabe exactamente cómo hacer un pastel perfecto (la información está en su mente), pero cuando intenta explicarte la receta o servírtelo, se le cae el pastel o lo sirve en un plato roto. La solución podría ser no pedirle que hable, sino simplemente "leer" su mente directamente para obtener el número.

3. ¿Qué aprenden realmente? (Memoria vs. Comprensión)

Algunos pensaban que estos genios estaban aprendiendo las leyes de la física. El estudio dice que no es así.

• La realidad: Aprenden a conectar palabras basándose en lo que han leído antes. Si en los libros leen mucho "PZT" junto con "piezoeléctrico", aprenden a asociar esas dos palabras.
• La analogía: Es como un estudiante que memoriza que "el sol sale por el este" porque lo ha visto en 1000 libros, pero no entiende realmente por qué la Tierra gira. Si le preguntas sobre un planeta que nunca ha leído, no podrá deducir la respuesta, solo intentará adivinar basándose en patrones que ya conoce.

4. El peligro de los "Genios de la Nube" (Inestabilidad)

El estudio también vigiló a los modelos de pago (como GPT-4) durante 18 meses.

• El problema: A diferencia de los modelos que puedes descargar y guardar en tu computadora (que siempre son iguales), los modelos de la nube cambian sin avisar.
• La analogía: Es como si fueras a tu restaurante favorito y, cada vez que pides tu plato habitual, el chef cambiara la receta secretamente. Un día el pastel sabe dulce, al siguiente salado, y nadie te avisa.
• El riesgo: Para la ciencia, esto es un desastre. Si un científico publica un resultado hoy basado en un modelo de la nube, dentro de seis meses ese mismo modelo podría dar un resultado diferente, haciendo que el trabajo anterior sea irreproducible.

En resumen

Este estudio nos dice que:

1. No confíes ciegamente en los números que dan estos genios, incluso si suenan muy seguros.
2. Para preguntas de texto, entrenarlos un poco los hace excelentes.
3. Para preguntas de números, a veces es mejor "leerles la mente" (usar sus datos internos) que escuchar lo que dicen.
4. Si haces ciencia seria, es mejor usar modelos que puedas guardar y controlar, en lugar de depender de servicios en la nube que cambian sin avisar.

Es una guía práctica para no caer en la trampa de pensar que la Inteligencia Artificial ya "sabe" todo, y entender mejor dónde están sus límites reales.

Resumen técnico

Resumen Técnico: Probing Materials Knowledge in LLMs

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) están siendo adoptados rápidamente en la ciencia de materiales para tareas como la minería de literatura, la predicción de propiedades y la orquestación de flujos de trabajo experimentales. Sin embargo, existen preguntas fundamentales sin responder sobre su fiabilidad y cómo codifican el conocimiento científico:

• ¿Cómo se codifica la información en estos modelos y varía según la tarea?
• ¿Determina el éxito o fracaso del ajuste fino (fine-tuning)?
• ¿Poseen los modelos una comprensión genuina de las entidades materiales o simplemente aprenden patrones estadísticos?
• ¿Cómo afecta la modalidad de salida (simbólica vs. numérica) al comportamiento del modelo?
• ¿Son reproducibles los resultados a lo largo del tiempo, especialmente en modelos de API?

El estudio aborda estas interrogantes evaluando la fiabilidad de los LLMs en aplicaciones científicas, donde la precisión y la consistencia son críticas.

2. Metodología

Los autores realizaron una evaluación exhaustiva de 25 modelos de lenguaje grandes (tanto de pesos abiertos como propietarios) a través de cuatro tareas de ciencia de materiales, cubriendo más de 200 configuraciones (modelos base y ajustados).

Tareas Evaluadas:

1. Predicción de Brecha de Banda (Bandgap): Regresión numérica (RMSE).
2. Predicción de Constante Dieléctrica: Regresión numérica (RMSE).
3. Clasificación de Sistemas Cristalinos: Tarea simbólica (clasificación en 7 clases).
4. Completado de Grafos de Conocimiento (MatKG): Predicción de enlaces (simbólica, basada en triples de conocimiento).

Procedimientos Clave:

• Ajuste Fino (Fine-tuning): Se utilizó adaptación de bajo rango (LoRA) y QLoRA para modelos de pesos abiertos, y la API de OpenAI para modelos propietarios.
• Medición de Entropía de Respuesta: Se ejecutaron 10 inferencias independientes por muestra para calcular la entropía de Shannon, cuantificando la consistencia de la salida del modelo.
• Sondeo de Capas (Layer-wise Probing): Se extrajeron embeddings de capas intermedias de los transformadores para entrenar clasificadores supervisados (probes) y determinar si la información predictiva existe en las representaciones internas pero no se expresa en el texto generado.
• Estudio Longitudinal: Se monitoreó el rendimiento de modelos GPT durante 18 meses para evaluar la estabilidad temporal.

3. Contribuciones y Hallazgos Clave

A. La Modalidad de Salida Determina el Comportamiento
El hallazgo central es que la naturaleza de la tarea (simbólica vs. numérica) define fundamentalmente cómo fallan y mejoran los modelos:

• Tareas Simbólicas (Clasificación, Enlaces): Los modelos base muestran alta entropía (inconsistencia) y baja precisión. El ajuste fino reduce drásticamente la entropía y aumenta la precisión, cerrando una "brecha de conocimiento". El modelo aprende a converger en respuestas verificables.
• Tareas Numéricas (Regresión): Los modelos base exhiben "alucinación confiante": baja entropía (muy consistentes) pero baja precisión (valores incorrectos). El ajuste fino mejora la precisión (RMSE), pero no necesariamente resuelve la falsa confianza; el modelo sigue siendo consistente en sus errores si no se ajusta bien.

B. El "Cuello de Botella de la Cabeza del LLM" (LLM Head Bottleneck)
Mediante el sondeo de capas, se descubrió que:

• Para la brecha de banda, las representaciones internas (embeddings de capas intermedias) contienen tanta o más información predictiva que la salida de texto generada por el modelo. Esto sugiere que el modelo "sabe" el valor, pero la cabeza de generación de lenguaje (autoregresiva) falla al verbalizarlo con precisión numérica.
• Para la constante dieléctrica, este efecto es menos pronunciado y depende de la propiedad. Las capas internas no logran superar el rendimiento del texto generado en este caso, indicando que el conocimiento no está tan accesible en las representaciones latentes o que la tarea es inherentemente más difícil para el modelo.

C. Mecanismos de Aprendizaje en Grafos de Conocimiento
El rendimiento en la completación de grafos (MatKG) depende de la frecuencia de aparición de las entidades en los contextos de entrenamiento, no de la comprensión física de las relaciones.

• Los modelos aprenden representaciones distribucionales basadas en la co-ocurrencia de términos (semántica distribucional).
• Las entidades comunes (ej. PZT) se recuperan bien porque tienen muchas asociaciones contextuales, mientras que las entidades raras fallan. Esto confirma que el modelo realiza coincidencia de patrones estadísticos en lugar de razonamiento físico genuino.

D. Transferencia entre Tareas

• Existe una transferencia positiva bidireccional entre las tareas numéricas (brecha de banda y dieléctrica), sugiriendo representaciones compartidas de composición-propiedad.
• No hay transferencia significativa entre tareas simbólicas y numéricas; el ajuste fino en una modalidad no mejora la otra.
• No se observó "olvido catastrófico" significativo; el ajuste fino añade conocimiento específico sin degradar severamente capacidades generales.

E. Inestabilidad Temporal en Modelos de API
El estudio longitudinal de 18 meses reveló una variación de rendimiento del 9% al 43% en modelos GPT (especialmente GPT-4o) debido a actualizaciones silenciosas en los endpoints, cambios de cuantización o versiones no documentadas. Esto plantea un desafío grave para la reproducibilidad científica a largo plazo.

4. Resultados Cuantitativos Destacados

• Rendimiento Simbólico: El ajuste fino mejoró la precisión en clasificación de sistemas cristalinos de ~13-39% (base) a ~66% (ajustado).
• Rendimiento Numérico: Para la predicción de brecha de banda, el modelo Llama-3-70B ajustado alcanzó un RMSE de 0.70 eV, superando a muchos modelos base.
• Entropía: En tareas simbólicas, el ajuste fino redujo la entropía en un 25-99%. En tareas numéricas, la relación entre entropía y precisión es inconsistente; un modelo puede volverse más variable en su formato numérico mientras mejora su precisión.
• Sondeo de Capas: Para la brecha de banda, los probes en capas intermedias igualaron o superaron el rendimiento del texto generado, confirmando el cuello de botella en la verbalización.

5. Significado e Implicaciones

Este trabajo proporciona directrices críticas para el despliegue de LLMs en informática de materiales:

1. Validación de Modalidad: No se debe asumir que un LLM funciona igual para texto que para números. La "confianza" (baja entropía) en predicciones numéricas es una señal de alerta, no de fiabilidad.
2. Eficiencia Computacional: Para propiedades como la brecha de banda, extraer embeddings y usar regresión ligera podría ser más eficiente y preciso que la generación de texto completa.
3. Reproducibilidad: La comunidad científica debe evitar depender exclusivamente de modelos de API para estudios a largo plazo sin documentar versiones exactas. Se recomienda el uso de modelos de pesos abiertos con puntos de control (checkpoints) congelados para garantizar la reproducibilidad.
4. Naturaleza del Conocimiento: Los LLMs actuales en ciencia de materiales actúan principalmente como motores de recuperación de patrones estadísticos basados en la frecuencia de entrenamiento, careciendo de una comprensión física causal profunda.

En conclusión, el artículo demuestra que, aunque los LLMs son herramientas poderosas, su aplicación en ciencia de materiales requiere una comprensión matizada de sus limitaciones inherentes, especialmente en la predicción numérica y la estabilidad temporal.