Do Language Models Consistently Encode the Current Year?

Las computadoras modernas que leen y escriben lenguaje se han vuelto sorprendentemente buenas imitando la conversación humana. Pueden resumir noticias, escribir historias y responder preguntas sobre la historia. Sin embargo, estas máquinas tienen un punto ciego que es difícil de corregir: no saben realmente qué hora es. Aunque pueden recitar hechos sobre el pasado, su sentido interno del "ahora" es a menudo un eco confuso de los datos con los que fueron alimentadas, en lugar de una conciencia viva del momento presente. Esta confusión importa porque, si una máquina cree que el año actual es diez años en el pasado, podría negarse a responder preguntas sobre eventos recientes o, peor aún, podría inventar con confianza hechos sobre un futuro que aún no ha sucedido. Los investigadores se han preguntado durante mucho tiempo cómo estas mentes digitales almacenan el concepto del tiempo, asumiendo que, si un modelo conoce la fecha, debe tener un reloj único y unificado haciendo tictac dentro de su código.

Un nuevo estudio desafía esa suposición, revelando que los modelos de lenguaje no poseen un reloj único y consistente. En su lugar, mantienen dos ideas separadas y conflictivas sobre el año actual. Una idea es profunda y estructural, tejida en la mismísima gramática que el modelo aprendió mientras leía internet. La otra es superficial y de nivel de superficie, un hecho simple que el modelo aprendió cuando se le enseñó a seguir instrucciones. Los investigadores descubrieron que, aunque estas dos ideas suelen coincidir en la fecha, están construidas sobre mecanismos internos completamente diferentes. Esta división crea un problema obstinado: cuando los científicos intentan actualizar el conocimiento del modelo para reflejar el año actual, pueden corregir fácilmente el hecho superficial, pero el sentido profundo y gramatical del tiempo se niega a cambiar.

Para descubrir esta dualidad oculta, los investigadores diseñaron dos formas distintas de preguntar a un modelo qué año cree que es. El primer método, que llaman la tarea asociativa, no pide la fecha directamente. En su lugar, presenta un fragmento de oración como "En 1960 hubo..." y pregunta qué palabra sigue. Si el modelo predice un verbo en tiempo pasado como "hubo", implica que el modelo piensa que 1960 es en el pasado. Si predice un tiempo presente o futuro como "es" o "será", sugiere que ese año todavía está ocurriendo o está por venir. Este método aprovecha la comprensión intuitiva del modelo sobre la gramática, una habilidad que absorbió mientras leía miles de millones de oraciones durante su entrenamiento inicial. El segundo método, la tarea declarativa, es mucho más directo. Simplemente pregunta al modelo "¿Cuál es el año actual?" o le pide que escriba una historia comenzando con el año. Esto pone a prueba la capacidad del modelo para enunciar un hecho, una habilidad generalmente perfeccionada durante una etapa posterior del entrenamiento, donde aprende a seguir las instrucciones humanas.

Cuando el equipo probó estos métodos en una amplia variedad de modelos, surgió un patrón claro. Ambos métodos produjeron respuestas que estaban sorprendentemente cerca de la fecha en que los datos de entrenamiento del modelo se detuvieron. Para la prueba profunda y gramatical, los modelos consistentemente adivinaron un año que estaba a solo unos diez meses de su fecha de corte de entrenamiento. Esto sugiere que el sentido interno del tiempo del modelo está estrechamente ligado a la última fecha que vio en sus datos de entrenamiento. Sin embargo, los dos métodos no solo estaban midiendo lo mismo de dos maneras diferentes; estaban midiendo dos cosas distintas. Los investigadores descubrieron que el sentido profundo y gramatical del tiempo depende de una vía específica y organizada dentro del cerebro del modelo, similar a cómo este recuerda hechos sobre el mundo. En contraste, la capacidad de simplemente decir el año en voz alta no depende de una vía única y consistente. Es un comportamiento flexible y de superficie que puede ser activado por muchas partes diferentes del modelo dependiendo de cómo se formule la pregunta.

Esta diferencia en cómo se almacena la información tiene consecuencias profundas para intentar arreglar los modelos. Los investigadores intentaron actualizar el sentido del tiempo de los modelos utilizando tres técnicas comunes: darle al modelo una pista en la conversación, reentrenarlo con nuevos datos y alterar quirúrgicamente sus pesos internos. Cuando intentaron actualizar el año declarativo superficial —aquel que el modelo menciona cuando se le pregunta—, los métodos funcionaron perfectamente. Al decirle simplemente al modelo en un prompt de sistema que el año es 2025, o al mostrarle nuevos datos de 2025, el modelo comenzó inmediatamente a declarar el año correcto con alta precisión. Era como si estuvieran cambiando una etiqueta en un archivador.

Sin embargo, las mismas técnicas fallaron por completo cuando se aplicaron al año asociativo profundo—el que el modelo considera en su gramática. Incluso cuando se le dijo explícitamente al modelo que el año era 2025, su gramática interna permaneció estancada en el pasado. Al preguntarle por completar la oración "En 2025 hubo...", el modelo seguía prediciendo verbos en tiempo pasado, como si 2025 fuera un evento histórico. Reentrenar el modelo con nuevos datos ayudó solo ligeramente, y solo para años muy cercanos a su corte de entrenamiento original. El único método que pudo desplazar el sentido profundo del tiempo fue una edición quirúrgica y compleja de las conexiones internas del modelo. Pero aquí residía el giro final: cuando los investigadores usaron este método quirúrgico para arreglar el año gramatical profundo, la capacidad del modelo para decir el año en voz alta permaneció sin cambios. Los dos relojes no podían sincronizarse.

El estudio concluye que el año actual no es un concepto único dentro de estas máquinas. El entendimiento profundo y gramatical del tiempo es una parte fundamental de la estructura del lenguaje que el modelo aprendió durante su entrenamiento inicial, y es increíblemente resistente al cambio. Está tejido en la forma en que el modelo conecta los años con los verbos, un patrón tan arraigado que las actualizaciones estándar no pueden borrarlo. El entendimiento superficial y declarativo es una capa separada, aprendida más tarde cuando se le enseñó al modelo a hablar con humanos, y es fácilmente sobrescrito. Esto significa que simplemente decirle al modelo la fecha o reentrenarlo con nuevo texto no es suficiente para darle un sentido del presente verdadero y consistente. La máquina puede decir el año correcto, pero todavía piensa que el mundo es más viejo de lo que es. Este desencuentro sugiere que refrescar estos modelos para que estén al día con el mundo real es mucho más difícil de lo que se pensaba anteriormente, ya que arreglar una versión de la verdad deja a la otra versión obstinadamente atrás.