Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning

Resumen Técnico: Hacia la comprensión mecánica de por qué el conocimiento memorizado falla al generalizar en el ajuste fino de Grandes Modelos de Lenguaje

1. Definición del Problema: La brecha entre Saber y Usar (Knowing–Using Gap)

El artículo aborda un modo de fallo crítico en el ajuste fino (fine-tuning) de los Grandes Modelos de Lenguaje (LLM): la discrepancia entre la capacidad de un modelo para memorizar nuevos hechos y su capacidad para utilizar esos hechos para el razonamiento descendente. Los autores formalizan esto como la Brecha entre Saber y Usar (Knowing–Using Gap), caracterizada por dos disparidades distintas:

• Brecha de Precisión: La precisión de generalización (usar hechos en el razonamiento) permanece significativamente más baja que la precisión de memorización (recuerdo directo) incluso después de la convergencia.
• Retraso Temporal: Las capacidades de generalización emergen significativamente más tarde que las capacidades de memorización durante el proceso de entrenamiento.

A pesar de contar con una capacidad de modelo suficiente para ajustar los nuevos datos, los modelos suelen exhibir un comportamiento de "recordar pero no usar", donde pueden recordar un hecho (por ejemplo, "Sydney está en Australia") pero fallan al encadenarlo en una tarea de razonamiento (por ejemplo, "¿Cuál es la capital del país en el que está Sydney?").

2. Metodología

Para investigar las causas mecánicas de esta brecha, los autores emplean una combinación de construcción de conjuntos de datos, intervención causal y análisis dinámico.

Construcción del Conjunto de Datos:

• Los autores construyeron un conjunto de datos especializado adaptado de STaRK (una base de conocimientos semiestructurada del mundo real), utilizando subconjuntos biomédicos (STaRK-Prime) y académicos (STaRK-MAG) para asegurar la robustez transdominio.
• Definieron Tareas de Memorización (QA de un solo salto/single-hop) para el ajuste fino y Tareas de Generalización para la evaluación.
• Se diseñaron dos tipos específicos de tareas de generalización:
  • Encadenamiento (Chaining): Requiere razonamiento secuencial a través de múltiples saltos (ej. Entidad A → Relación → Entidad B → Relación → Entidad C).
  • Intersección (Intersection): Requiere recuperar atributos para múltiples entidades y filtrarlos basándose en una relación compartida en medio de ruido.
• Una rigurosa validación de novedad aseguró que los modelos pre-entrenados puntuaran cerca de cero en estas tareas, confirmando que el conocimiento inyectado era genuinamente nuevo.

Intervención de Auto-parcheo (Self-Patching):
La contribución metodológica central es el Auto-parcheo (Self-Patching), una variante del parcheo de activación.

• Mecanismo: La técnica copia la representación de la capa oculta de un token ancla (por ejemplo, la entidad principal) de una ejecución "fuente" (donde el hecho es conocido) y la sustituye en una ejecución "objetivo" (don donde el modelo falla al generalizar) en una capa objetivo específica.
• Objetivo: Al escanear todos los pares de capas $(l_{src}, l_{tgt})$, el método genera un mapa de permeación espacial. Identifica si una representación que contiene el conocimiento inyectado existe en el modelo pero simplemente no es dirigida a las capas de computación efectivas requeridas para el razonamiento.
• Diferenciación: A diferencia del rastreo causal (causal tracing), el auto-parcheo no requiere una trayectoria correcta "limpia", lo que lo hace aplicable a casos de fallo de generalización. A diferencia de PatchScope, se centra en la precisión del prompt objetivo en lugar de interpretar la fuente mediante decodificación auxiliar.

3. Hallazgos Clave y Resultados

La Hipótesis de Desalineación entre Conocimiento y Circuito:
Los autores proponen que la Brecha entre Saber y Usar es impulsada por una desalineación espacial entre el almacenamiento de conocimiento y los circuitos de razonamiento.

• Almacenamiento vs. Computación: El ajuste fino codifica nuevos hechos en estados "orientados al almacenamiento" (a menudo en capas tempranas o muy tardías) que soportan el recuerdo directo. Sin embargo, estas representaciones no se dirigen de manera fiable hacia las capas "efectivas para la computación" necesarias para el razonceso de múltiples pasos.
• Desvanecimiento del Gradiente: Una vez que la memorización se satura, la pérdida disminuye, causando que los gradientes se desvanezcan. En consecuencia, el modelo no logra actualizar naturalmente su enrutamiento interno para alinear el conocimiento almacenado con el circuito de razonamiento, dejando el conocimiento "varado".

Evidencia Empírica:

• Dinámica de Permeación: Los mapas de calor de las puntuaciones de auto-parcheo muestran que, tras la memorización, aparecen regiones rojas "fuera de la diagonal" (indicando que el conocimiento existe en capas específicas) mientras que las celdas diagonales permanecen azules (indicando que el modelo falla de extremo a extremo). En casos de generalización exitosa, la región roja se expande para cubrir la diagonal; en los fallos, se detiene antes de alcanzar la diagonal.
• Recuperación por Oráculo: Cuando las representaciones se relocalizan manualmente mediante auto-parcheo hacia capas medias efectivas, la precisión de uso descendente mejora drásticamente.
  • Tareas de Encadenamiento: El auto-parcheo de tipo oráculo aumentó la precisión entre 1.5 y 6 veces en todos los modelos y dominios.
  • Tareas de Intersección: La brecha se eliminó casi por completo.
• Clústeres Espaciales: Las ubicaciones de parcheo más efectivas forman dos clústeres: mover representaciones desde las capas tempranas hacia las capas medias y desde las capas tardías hacia las capas medias. Esto sugiere que el cuello de botella no es la emergencia de la información, sino su alineación con el flujo de razonamiento de las capas medias.

Heurística Práctica:
Yendo más allá de las herramientas de diagnóstico, los autores diseñaron una estrategia heurística fija basada en los clústeres espaciales observados (apuntando a ~0.5L desde ~0.1L y ~0.8L).

• Esta estrategia no-oráculo recupera entre el 58 y el 75% del margen del oráculo, demostrando que el fallo de generalización es parcialmente reversible sin una búsqueda por instancia.

Estudios de Ablación:

• Posición del Token: Las ganancias están estrechamente ligadas al parcheo en la posición de la entidad principal (head-entity), no en posiciones aleatorias o tokens genéricos.
• Prompting vs. Parcheo: El prompting de Cadena de Pensamiento (CoT) mejora el rendimiento pero permanece muy por debajo de las ganancias del auto-parcheo, y en ocasiones degrada el rendimiento. El parcheo irrelevante (usando representaciones de hechos no relacionados) produce ganancias insignificantes, confirmando que el efecto es específico a la representación del conocimiento inyectado.
• Independencia de Escala: El fenómeno persiste a través de diferentes tamaños de modelo (de 1B a 8B) y métodos de ajuste fino (FFT vs. LoRA), indicando que es un problema de alineación estructural más que una limitación de capacidad.

4. Significado y Reivindicaciones

El artículo afirma que replantea el fallo de generalización en el ajuste fino no como una falta de capacidad de aprendizaje, sino como un problema de alineación tratable.

• Perspectiva Mecanística: Proporciona evidencia causal de que el conocimiento memorizado existe internamente pero está mal enrutado, fallando al alcanzar las capas de computación necesarias para el razonamiento.
• Utilidad Diagnóstica: La técnica de auto-parcheo sirve como una herramienta para mapear dónde el conocimiento inyectado se vuelve causalmente utilizable, incluso en casos donde el modelo falla al generalizar de forma natural.
• Implicación Práctica: Los hallazgos sugieren que un entrenamiento "consciente de la alineación" o estrategias de alineación post-hoc podrían cerrar la brecha entre la memorización y la generalización. El documento demuestra que una heurística simple y fija puede recuperar una parte sustancial de la capacidad de generalización perdida, moviendo el campo desde el puro diagnóstico hacia remedios prácticos.

Los autores concluyen que la Brecha entre Saber y Usar es un fenómeno robusto a través de dominios y arquitecturas, impulsado por el fallo del ajuste fino para alinear naturalmente las representaciones de almacenamiento con los circuitos de razonamiento.