Resumen Técnico: ¿Puede un Modelo de Lenguaje Aprender Hechos de Forma Continua en sus Pesos?

Planteamiento del Problema

El aprendizaje continuo busca permitir que los modelos de lenguaje (LM) adquieran nuevos hechos después del entrenamiento inicial y los retengan a través de actualizaciones subsecuentes, escribiendo efectivamente el conocimiento directamente en los pesos del modelo. Mientras que el aprendizaje basado en contexto (aprendizaje en contexto) permite el uso inmediato de hechos, este es transitorio. La pregunta central abordada por este trabajo es si el aprendizaje continuo basado en pesos puede soportar la acumulación de conocimiento utilizable. Específicamente, el artículo investiga tres requisitos críticos para una escritura exitosa:

1. Creación: ¿Crea cada escritura conocimiento que sea utilizable más allá de la simple recitación?
2. Preservación: ¿Sobreviven las capacidades generales a la acumulación de actualizaciones?
3. Alcance (Reachability): ¿Pueden los hechos anteriores permanecer alcanzables después de las escrituras posteriores?

Observaciones previas sugieren que el ajuste fino (fine-tuning) aprende hechos lentamente, a menudo falla en el razonamiento de múltiples saltos (multi-hop) o reversiones en comparación con el uso en contexto, y sufre de deriva de distribución. Sin embargo, ha faltado un relato unificado de por qué algunas escrituras producen conocimiento utilizable, por qué algunas sobreviven y la naturaleza de los hechos "olvidados".

Metodología

El estudio utiliza modelos Qwen3-4B (con variantes de adaptadores LoRA y de ajuste fino completo) y un marco de evaluación controlado que involucra 247 hechos inventados sobre entidades inexistentes (por ejemplo, "Zorvathine es un metal que se funde cuando se enfría por debajo de −10°C"). Estos hechos contradicen las prioridades del modelo para asegurar que las respuestas dependan del nuevo conocimiento.

Diseño de Evaluación

• Cinco Tipos de Preguntas: Para distinguir entre recitación y uso genuino, los hechos se prueban mediante:
  1. Recuerdo (Recall): Declaración directa del hecho.
  2. Parafraseo (Paraphrase): Reformulación del hecho.
  3. Aplicación (Application): Uso de un solo paso del hecho.
  4. Composición (Composition): Combinar el hecho con conocimiento del mundo no declarado.
  5. Contrafáctico (Counterfactual): Elegir el hecho escrito sobre el valor por defecto del modelo.
• Anclas (Anchors): El rendimiento se mide contra un suelo (modelo original sin el hecho) y un techo (modelo original con el hecho en el prompt).
• Política de Calificación Dual: Las respuestas se califican bajo una política estricta (que requiere la conclusión específica) y una política laxa (que acredita hechos que implican la conclusión). La diferencia, denominada brecha de implicación (entailment gap), mide la brecha entre "recitación y uso".
• Protocolo Continuo: Los modelos se someten a escrituras secuenciales (20 a 100 hechos) donde los adaptadores se fusionan después de cada hecho. La retención se mide re-evaluando hechos anteriores después de escrituras posteriores.

Condiciones Experimentales

El estudio varía:

• Amplitud de Datos de Entrenamiento: "Declaración simple" (hecho en marcos triviales) frente a "Estudio" (24 paráfrasis diversas, preguntas/respuestas, implicaciones y contrastes).
• Objetivos: Ajuste Fino Supervisado (SFT), Destilación de Contexto Offline y Destilación de Contexto Online (KL Forward/Reverse).
• Métodos de Actualización: LoRA frente a Ajuste Fino Completo (Full FT).
• Profesores (Teachers): Modelo original congelado frente a modelo acumulado (en movimiento) para la destilación.

Contribuciones Clave y Resultados

1. La Amplitud de los Datos de Entrenamiento Determina la Utilidad del Conocimiento

La amplitud de los datos de entrenamiento es el factor causal primario en la creación de conocimiento utilizable.

• Recitación vs. Uso: El entrenamiento de declaración simple produce una alta recitación (97% de recuerdo) pero falla en aplicación y contrafácticos (21–23% de precisión). Esto deja una gran brecha de implicación (27.4 puntos), lo que indica que el modelo memoriza la declaración pero no puede derivar conclusiones.
• Efecto de Datos Amplios: El entrenamiento de "Estudio" (reformulaciones diversas) reduce la brecha de implicación a 5.4 puntos sin mostrar explícitamente las conclusiones. Mejora significativamente la aplicación (+21 puntos), la composición (+18 puntos) y el uso contrafáctico (+29 puntos) en comparación con el entrenamiento de declaración simple.
• Independencia de Escala: Este efecto se mantiene a través de las escalas de modelos (4B y 8B) y los métodos de actualización (LoRA y Full FT).

2. El Tipo de Conocimiento Predice la Supervivencia en la Escritura Continua

La naturaleza del conocimiento escrito dicta su tasa de supervivencia bajo actualizaciones secuenciales.

• Disparidad de Retención: Después de 20 escrituras secuenciales, los hechos escritos mediante entrenamiento de declaración simple retienen solo el 1% de precisión, mientras que los hechos entrenados mediante estudio retienen el 46%.
• Correlación: Existe una fuerte correlación negativa ($\rho = -0.526$) entre la brecha de implicación inicial y la retención; los métodos que crean conocimiento utilizable (brecha baja) sobreviven mejor.
• Meseta a Largo Plazo: Incluso con entrenamiento de estudio, la retención se estanca en un 25–28% después de 100 escrituras, lo que indica que, si bien los datos amplios ayudan, no resuelven el problema del alcance por completo.

3. El Olvido Destruye el Acceso, No el Almacenamiento

El artículo demuestra que el "olvido" es un fallo de recuperación (acceso) más que de borrado de la traza almacenada.

• Persistencia del Almacenamiento: Los checkpoints reconstruidos muestran que los hechos "olvidados" (aquellos que fallan en todas las preguntas) retienen entre el 57% y 67% del aumento de la log-probabilidad producido por su escritura original.
• Captura de Dirección (Address Capture): En condiciones de declaración simple, el 70% de las respuestas incorrectas a hechos olvidados contienen el contenido del hecho escrito más recientemente. Esto sugiere que las escrituras posteriores redirigen la "dirección" (el enrutamiento de la consulta) hacia el nuevo contenido, sobrescribiendo el camino hacia el hecho antiguo.
• Recuperación de Contexto: Cuando se suministra la declaración de un hecho olvidado en el prompt, la precisión se recupera al 77–80% (condición de estudio), probando que el contenido aún está presente pero es inalcanzable a través del mecanismo de consulta interno del modelo.
• Fallo de Uso Conjunto: Dos hechos escritos individualmente utilizables no pueden usarse de forma fiable juntos (32% de precisión) porque el modelo carece de un mecanismo de auto-recuperación para acceder a ambos simultáneamente, a diferencia de cuando ambos están en el prompt (91% de precisión).

4. Capacidades Generales y Deriva de Distribución

La pérdida de capacidad general está altamente correlacionada con la deriva de distribución del modelo original.

• Correlación KL: El daño en la capacidad se correlaciona fuertemente con la divergencia KL del modelo original ($\rho = 0.83$ a $0.946$).
• Profesor Congelado: Destilar contra un modelo original congelado preserva las capacidades generales (costo casi nulo) y retiene mejor los hechos que destilar contra un modelo acumulado y en movimiento.
• Penalización por Deriva: Agregar una penalización KL al modelo base actual mejora la retención y la capacidad, pero no reduce la divergencia KL medida respecto al modelo original, lo que sugiere que la penalización evita el colapso degenerativo en lugar de revertir la deriva.

5. La Interferencia es Causada por las Escrituras Entrantes

Las pruebas causales aíslan la fuente de la interferencia.

• Entrante vs. Almacenado: El método de la escritura entrante determina la retención. Las escrituras basadas en estudio mejoran la retención en 37.6 puntos en comparación con las escritas de declaración simple, independientemente de cómo se almacenó el hecho anterior.
• Fallo de Control Local: Los predictores linealizados pueden pronosticar el efecto inmediato de una actualización ($\rho = 0.795$), pero fallan en predecir el olvido a largo plazo ($\rho = -0.258$). Las intervenciones locales (proyección de gradiente, parcheo de activación) no lograron mejorar la retención significativamente.

Significancia y Reivindicaciones

El artículo concluye que el aprendizaje continuo en los pesos es actualmente insuficiente para los hechos que deben ser compuestos o que deben sobrevivir a extensas escrituras posteriores.

• La Naturía de los Pesos "Clavados a la Pregunta" (Question-Keyed): El conocimiento escrito es "clave por pregunta", lo que significa que solo es alcanzable mediante las preguntas específicas utilizadas durante el entrenamiento. El modelo carece de una "dirección" o manejador general para recuperar hechos bajo demanda. Las escrituras posteriores redirigen estas claves de pregunta hacia nuevo contenido.
• El Contexto como el Canal Confiable: Si bien los datos amplios pueden crear conocimiento utilizable y los profesores congelados pueden preservar las capacidades generales, ninguna intervención probada garantiza que los hechos anteriores permanezcan alcanzables. Por lo tanto, el contexto sigue siendo el canal confiable para los hechos que requieren composición o retención a largo plazo.
• Guía Práctica: Para maximizar la utilidad de las actualizaciones de pesos, los profesionales deben utilizar datos de entrenamiento amplios (reformulaciones diversas) y destilar contra un modelo original congelado. Sin embargo, para un conocimiento robusto y composable, los hechos deben mantenerse en el contexto o en sistemas de recuperación externa, en lugar de confiar únicamente en las actualizaciones de pesos.

El trabajo redefine el olvido catastrófico no como un borrado de datos, sino como una pérdida de rutas de acceso, donde la "dirección" de un hecho es capturada por actualizaciones subsecuentes. Destaca una limitación fundamental en el aprendizaje continuo basado en pesos actual: la capacidad de almacenar contenido no equivale a la capacidad de crear una dirección persistente y recuperable para dicho contenido.