💬 NLP

ScienceMeter: Tracking Scientific Knowledge Updates in Language Models

Este artículo presenta ScienceMeter, un marco para evaluar las actualizaciones del conocimiento científico en los Modelos de Lenguaje de Gran Tamaño a través de tres métricas —preservación, adquisición y proyección—, revelando que los métodos de actualización actuales luchan por mantener el conocimiento existente mientras aprenden eficazmente nuevos hechos y anticipan futuros avances científicos.

Autores originales: Yike Wang, Shangbin Feng, Yulia Tsvetkov, Hannaneh Hajishirzi

Publicado 2026-07-22✓ Author reviewed ⓘ

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yike Wang, Shangbin Feng, Yulia Tsvetkov, Hannaneh Hajishirzi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot bibliotecario súper inteligente que ha leído casi todos los libros jamás escritos hasta un cierto año. Este bibliotecario es increíble respondiendo preguntas sobre historia, ciencia y cultura pop de esa era. Pero aquí está el detalle: el mundo no deja de girar. Se publican nuevos artículos científicos cada día, revelando descubrimientos frescos que el bibliotecario aún no ha visto. Si le preguntas a este robot sobre un avance que ocurrió ayer, podría decirte algo incorrecto con total confianza, o simplemente podría decir: "No lo sé", porque su cerebro está congelado en el pasado. Este es el problema del "conocimiento estancado" para la Inteligencia Artificial. Los científicos están tratando de averiguar cómo alimentar a estos robots con nueva información sin que olviden lo que ya sabían o causen que alucinen hechos salvajes e incorrectos. Es como intentar enseñarle a un estudiante un nuevo capítulo de un libro de texto sin que olvide los capítulos anteriores o invente sus propios hechos falsos para llenar los huecos.

Entra ScienceMeter, un nuevo marco creado por investigadores de la Universidad de Washington para probar exactamente qué tan bien podemos actualizar estos cerebros de IA con conocimiento científico fresco. Piensa en los investigadores como "mecánicos del conocimiento" intentando ajustar un motor de alto rendimiento. No se limitaron a preguntar: "¿Aprendió el robot lo nuevo?". En su lugar, construyeron una prueba de estrés de tres partes para ver si el robot podía:

Recordar lo viejo (Preservación): ¿Olvidó los conceptos básicos que aprendió hace años?
Aprender lo nuevo (Adquisición): ¿Realmente comprendió los nuevos artículos que se le acaban de mostrar?
Adivinar lo futuro (Proyección): ¿Podría usar lo que acaba de aprender para hacer una suposición inteligente sobre un descubrimiento que aún no ha ocurrido?

Para realizar esta prueba, crearon un conjunto de datos masivo que cubre diez campos científicos diferentes, desde la informática hasta la medicina. Trataron el conocimiento científico como una línea de tiempo: artículos del "Pasado" (lo que el robot ya sabía), "Nuevos" artículos (lo que intentaron enseñarle) y artículos del "Futuro" (lo que esperaban que el robot pudiera predecir). Luego, probaron cinco métodos diferentes para actualizar el cerebro del robot, que iban desde simplemente leer los nuevos artículos durante una charla (inferencia) hasta reentrenar realmente el cerebro del robot con los nuevos datos (entrenamiento).

Los resultados fueron un golpe de realidad. Incluso los mejores métodos tuvieron dificultades para hacer las tres cosas a la vez. El método de actualización con mejor desempeño logró mantener seguro el 85.9% del conocimiento antiguo, aprendió exitosamente el 71.7% del nuevo conocimiento, pero solo pudo proyectar el 37.7% del conocimiento futuro. En otras palabras, el robot era bastante bueno recordando el pasado, decente aprendiendo el presente, pero seguía siendo muy inestable al predecir el futuro.

El estudio también encontró que el tamaño del robot importaba. Los modelos más grandes y potentes eran sorprendentemente buenos aprendiendo cosas nuevas solo con leerlas durante una conversación (inferencia), casi como un estudiante genio que puede aprender un nuevo tema con solo leer un libro de texto una vez. Sin embargo, los modelos más pequeños necesitaban ser "reentrenados" desde cero para aprender lo nuevo de manera efectiva; solo mostrarles la nueva información no era suficiente.

Quizás el hallazgo más interesante es que el tipo de ciencia importaba. En campos donde el conocimiento cambia lentamente, como la ciencia política, los robots lo hicieron de maravilla en recordar y predecir. Pero en campos de movimiento rápido como la ciencia de materiales, donde los nuevos descubrimientos ocurren constantemente, los robots se confundían mucho más rápido. Los investigadores sugieren que cuanto más volátil es un campo, más difícil es para una IA mantener su conocimiento actualizado sin mezclar las cosas.

En última instancia, el artículo concluye que, si bien estamos mejorando en la actualización de la IA, aún no hemos descifrado el código. No hay un botón mágico que permita a una IA aprender ciencia nueva, mantener todos sus hechos antiguos y predecir el futuro, todo al mismo tiempo. Los investigadores argumentan que desarrollar un método que pueda equilibrar verdaderamente estos tres objetivos es uno de los mayores desafíos que quedan para hacer de la IA un socio confiable para el descubrimiento científico real. Advierten que, si no podemos resolver esto, nuestras herramientas de IA podrían convertirse en expertos confiados en la ciencia de ayer mientras permanecen completamente ignorantes ante los avances del mañana.

Resumen Técnico: SCIENCEMETER

Planteamiento del Problema

Los modelos de lenguaje de gran tamaño (LLM) se utilizan cada vez más para apoyar la investigación científica, pero su naturaleza estática de preentrenamiento hace que su conocimiento científico quede rápidamente desactualizado debido al rápido ritmo del avance científico. Si bien existen estrategias de actualización genéricas (por ejemplo, preentrenamiento continuo, ajuste de instrucciones, RAG), sigue sin estar claro si estos métodos pueden apoyar eficazmente los complejos requisitos de la evolución del conocimiento científico. Específicamente, las actualizaciones efectivas deben hacer más que simplemente inyectar nueva información; deben preservar el conocimiento existente, incorporar nuevos hallazgos sin distorsión y permitir la generalización para razonar sobre afirmaciones científicas futuras o no descubiertas. Los marcos de evaluación actuales suelen centrarse en la retención de hechos genéricos o la simple inyección de conocimiento, fallando al capturar los matices del razonamiento científico, la confianza y la capacidad de proyectar avances futuros.

Metodología: El Marco SCIENCEMETER

Los autores presentan SCIENCEMETER, un marco integral diseñado para evaluar las actualizaciones del conocimiento científico a través de tres dimensiones temporales: Pasado (preservación), Presente (adquisición) y Futuro (proyección).

1. Construcción del Conjunto de Datos

El marco utiliza un conjunto de datos curado que abarca diez dominios científicos de rápida evolución (Ciencias de la Computación, Medicina, Biología, Ciencia de Materiales, Psicología, Negocios, Ciencias Políticas, Ciencias Ambientales, Ciencias Agrícolas y Alimentarias, y Educación).

Recopilación de Artículos: Para cada dominio, se recuperan 1,000 artículos mediante Semantic Scholar. Los artículos se categorizan cronológicamente en:
- Previo ( $P_{prior}$ ): Publicado antes del corte de entrenamiento del modelo.
- Nuevo ( $P_{new}$ ): Publicado después del corte, pero antes de un corte "reciente".
- Futuro ( $P_{future}$ ): Publicado después del corte "reciente", sirviendo como un proxy para el conocimiento que el modelo aún no ha visto.
Generación de Afirmaciones Sintéticas: Para cada artículo, el marco genera afirmaciones científicas atómicas (enunciados verificables sobre un único aspecto de una entidad o proceso). Utilizando GPT-4O, el sistema genera:
- Afirmaciones de SOPORTE (SUPPORT): Únicamente respaldadas por el artículo específico.
- Afirmaciones de REFUTACIÓN (REFUTE): Relevantes para el tema pero no respaldadas por el artículo.
- La evaluación de expertos por parte de estudiantes de doctorado confirmó que aproximadamente el 90.2% de las afirmaciones generadas se adhieren estrictamente a estas reglas.

2. Tareas de Evaluación

El conocimiento científico se evalúa a través de dos tareas, que analizan tanto la exactitud fáctica como la confianza del modelo:

Juicio de Afirmaciones: El modelo verifica si una afirmación es respaldada o refutada por un artículo dado (para Prior/Nuevo) o predice la validez de una afirmación basándose en el conocimiento interno (para Futuro).
Generación de Afirmaciones: El modelo genera una afirmación de soporte dado el título de un artículo (Prior/Nuevo) o un tema de investigación (Futuro).
Categorización del Conocimiento: Las respuestas del modelo se clasifican como Correctas (precisas + con confianza), Incorrectas (inexactas + con confianza) o Desconocidas (baja confianza).

3. Métricas Principales

SCIENCEMETER define tres métricas primarias para cuantificar el rendimiento de la actualización:

Preservación del Conocimiento: El porcentaje de afirmaciones previamente correctas en $P_{prior}$ $P_{p r i or}$ que permanecen correctas tras la actualización.
- Distorsión: Afirmaciones previamente correctas que pasan a ser incorrectas (error de alta confianza).
- Pérdida: Afirmaciones previamente correctas que pasan a ser desconocidas.
Adquisición de Conocimiento: La proporción de afirmaciones desconocidas en $P_{new}$ $P_{n e w}$ que pasan a ser correctas tras la actualización.
- Distorsión: Afirmaciones desconocidas que pasan a ser incorrectas.
- Pérdida: Afirmaciones desconocidas que permanecen desconocidas.
Proyección de Conocimiento: El porcentaje de afirmaciones desconocidas en $P_{future}$ $P_{f u t u r e}$ que el modelo predice correctamente tras la actualización, demostando la capacidad de extrapolación.
- Pérdida: Afirmaciones futuras que permanecen desconocidas.

4. Configuración Experimental

El marco evaluó cinco métodos representativos de actualización de conocimiento a través de modelos estándar (LLaMA3.1-8B) y de frontera (OLMo2-32B) en el dominio de Ciencias de la Computación:

Preentrenamiento Continuo (CNT PRETRAIN): Entrenamiento autorregresivo sobre nuevos datos.
Ajuste de Instrucciones Estándar (INST TUNE): Ajuste fino sobre pares de QA derivados de nuevos datos.
Pre-ajuste de Instrucciones (PRE INST TUNE): Ajuste de instrucciones previo al preentrenamiento continuo.
Inferencia (INFER): Inyección de contexto de estilo Generación Aumentada por Recuperación (RAG) en el momento de la inferencia.
Combinado (INST TUNE + INFER): Un enfoque híbrido.

La confianza se estimó mediante un voto de mayoría de tres métodos: prompting de "Más Información", consistencia de respuesta a través de paráfrasis y análisis de confianza lingüística vía GPT-4O.

Resultados Clave

Los experimentos revelan que ningún método logra simultáneamente los tres objetivos (Preservación, Adquisición y Proyección).

Techo de Rendimiento: El método con mejor desempeño (Ajuste de Instrucciones Estándar) logró:
- 85.9% de Preservación de Conocimiento.
- 71.7% de Adquisición de Conocimiento.
- 37.7% de Proyección de Conocimiento.
Disparidad de Tamaño de Modelo: Los métodos basados en inferencia (INFER) superaron significativamente a los métodos basados en entrenamiento para modelos más grandes (OLMo2-32B), mostrando un 10.9% más de puntuación de preservación. Por el contrario, los modelos más pequeños (LLaMA-8B) requirieron enfoques basados en entrenamiento para lograr un rendimiento comparable, ya que tuvieron dificultades para filtrar el ruido en entornos de solo contexto.
Severidad del Error: En las tareas de generación, que son más desafiantes, la distorsión (errores de alta confianza) fue significativamente mayor que la pérdida (incertidumbre), con un promedio tres veces superior. Esto sugiere que los métodos de actualización introducen alucinaciones con alta confianza en lugar de simplemente fallar en el aprendizaje.
Correlación entre Dominios: El rendimiento varió según el dominio. Los dominios con alta volatilidad (medida por el número promedio de citas), como Ciencia de Materiales y Ciencias Ambientales, mostraron puntuaciones más bajas de preservación y proyección. Por el contrario, dominios estables como Ciencias Políticas mostraron un mayor rendimiento. La disponibilidad del corpus de preentrenamiento tuvo un impacto limitado en las capacidades de adquisición.
LLMs Científicos: Aplicar el marco a modelos específicos de dominio (por ejemplo, HoneyBee para Ciencia de Materiales) no produjo mejoras significativas sobre los modelos de propósito general de tamaño similar, lo que indica que el preentrenamiento especializado por sí solo no resuelve el desafío de la actualización.

Significancia y Reivindicaciones

El artículo postula que desarrollar mecanismos robustos de actualización del conocimiento científico es tanto crucial como desafiante. Los autores afirman:

Nuevo Paradigma de Evaluación: SCIENCEMETER es el primer marco que evalúa explícitamente la "proyección" del conocimiento científico futuro, yendo más allá de la retención estática de hechos para evaluar la capacidad de un modelo para anticipar tendencias emergentes y razonar sobre afirmaciones no descubiertas.
Limitaciones de los Métodos Actuales: Las estrategias de actualización existentes son insuficientes para el dominio científico. Tienen dificultades para equilibrar la tríada de preservar el conocimiento antiguo, adquirir nuevos hechos y generalizar hacia conceptos futuros.
Importancia de la Confianza: Evaluar el conocimiento científico sin considerar la confianza del modelo es insuficiente. Los errores de alta confianza (distorsión) son particularmente peligrosos en contextos científicos, pudiendo llevar a la propagación de hipótesis incorrectas.
Volatilidad del Dominio: La dificultad de actualizar los LLM está intrínsecamente ligada a la volatilidad del dominio científico, lo que sugiere que es improbable que una estrategia de actualización de "talla única" tenga éxito en todos los campos científicos.

Los autores concluyen que, si bien los LLM muestran potencial para ayudar al descubrimiento científico, su integración en los flujos de trabajo científicos requiere nuevos mecanismos de actualización que puedan manejar de manera fiable la naturaleza dinámica, contradictoria y rápidamente evolutiva de la literatura científica.