How Do Large Language Models Learn Concepts During Continual Pre-Training?

Los seres humanos dan sentido al mundo agrupando las cosas en categorías mentales. Vemos un animal peludo de cuatro patas e instantáneamente lo reconocemos como un "perro", un concepto que conlleva un conjunto de rasgos compartidos: ladra, tiene una cola y puede correr. Esta capacidad de abstraer observaciones específicas en ideas generales es la base del razonamiento humano. Los modelos de lenguaje extensos, los poderosos programas informáticos que pueden escribir historias y responder preguntas, intentan hacer algo similar. Son entrenados en vastos océanos de texto, donde se espera que extraigan este mismo tipo de conceptos abstractos y los almacenen dentro de sus sistemas internos. Pero aunque sabemos que estos modelos pueden aprender, nos ha costado entender exactamente cómo mantienen ese conocimiento a lo largo del tiempo, o por qué a veces parecen perderlo cuando se les presenta nueva información.

Durante años, los investigadores han intentado asomarse al interior de estas mentes digitales para ver cómo funcionan. Algunos los han puesto a prueba con preguntas para ver si recuerdan hechos, mientras que otros han intentado mapear las vías específicas que la computadora utiliza para procesar la información. Sin embargo, estos métodos suelen observar hechos aislados o momentos estáticos en el tiempo. Pierden de vista el proceso dinámico de cómo un modelo aprende una idea nueva, la fortalece y luego potencialmente la olvida al verse obligado a aprender algo más. Esta brecha en la comprensión es crítica porque, a medida que actualizamos estos modelos con nuevos datos, necesitamos saber si están construyendo realmente un entendimiento estable del mundo o si solo están memorizando patrones que desaparecerán con la próxima actualización.

Un equipo de investigadores se propuso resolver este misterio observando cómo la inteligencia artificial aprende y olvida conceptos específicos en tiempo real. Crearon un entorno controlado utilizando un conjunto de datos de conceptos inventados. Imaginen enseñarle a un niño sobre una criatura llamada "Olre" que tiene la capacidad de correr, o un "Foo" que tiene cuatro patas. Debido a que estas criaturas no existen en el mundo real, la computadora no tiene conocimiento previo de ellas. Esto permitió a los científicos observar el proceso de aprendizaje desde cero, libres de cualquier sesgo preexistente. Entrenaron al modelo con estos hechos ficticios y luego le introdujeron una enorme cantidad de texto nuevo y no relacionado para ver qué sucedía con su memoria del "Olle" y del "Foo".

Lo que descubrieron fue un patrón claro y mensurable en cómo cambió la estructura interna del modelo. Los investigadores encontraron que la computadora no solo almacena un hecho en un solo lugar; en su lugar, construye una compleja red de conexiones, o un circuito, para representar esa idea. Al analizar la forma y la densidad de estas redes, pudieron predecir qué tan bien había aprendido el modelo un concepto y qué tan probable era que lo olvidara. Encontraron una sorprendente compensación: los conceptos que el modelo aprendió más rápida y fuertemente eran a menudo los que olvidaba más fácilmente cuando llegaba nueva información. Parece que la propia fuerza del aprendizaje inicial hizo que la memoria fuera más frágil cuando el sistema se vio obligado a reorganizarse.

El estudio también reveló cómo diferentes ideas interfieren entre sí. Cuando el modelo intentaba aprender dos conceptos que eran muy similares en significado al mismo tiempo, tenía muchas más dificultades que cuando los conceptos no estaban relacionados. Las redes internas para estas ideas similares se solapaban, creando una especie de embotellamiento donde la computadora no podía distinguir fácilmente entre ellas. Por el contrario, los investigadores descubrieron que aprender un tipo de conocimiento podía ayudar al modelo a aprender otro. Por ejemplo, enseñarle al modelo sobre las propiedades y funciones de las cosas hacía que fuera mucho más fácil para él aprender posteriormente sobre las relaciones entre palabras similares y opuestas. Esto sugiere que el orden en que se presenta la información importa profundamente; algunas lecciones actúan como una base para otras.

Quizás lo más importante es que los investigadores demostraron que estos patrones internos no son solo observaciones abstractas, sino que pueden utilizarse para mejorar los propios modelos. Al observar la forma de los circuitos de aprendizaje, pudieron identificar qué conceptos estaban en mayor riesgo de ser olvidados. Luego utilizaron este conocimiento para crear una estrategia de entrenamiento sencilla: cada vez que el modelo aprendía cosas nuevas, ellos realizaban ocasionalmente una pausa y repasaban los conceptos específicos que eran más vulnerables. Este repaso dirigido, guiado por la estructura interna del modelo, ayudó significativamente a la computadora a retener su conocimiento. El trabajo sugiere que, al prestar atención a la arquitectura interna de cómo aprenden estos modelos, podemos enseñarles de manera más efectiva, ayudándoles a construir un entendimiento más estable y confiable del mundo, de forma muy similar a un estudiante que sabe qué notas repasar antes de un examen.