Resumen Técnico: ¿Puede el ajuste fino (Fine-Tuning) borrar las ediciones? Sobre la frágil coexistencia de la edición de conocimiento y el ajuste fino

Planteamiento del problema

Los modelos de lenguaje de gran tamaño (LLMs) suelen adaptarse a nuevos dominios mediante dos intervenciones de post-entrenamiento distintas: el Ajuste Fino (Fine-Tuning, FT), que actualiza los parámetros del modelo con conjuntos de datos específicos para tareas (incluyendo métodos de Ajuste Fino de Parámetros Eficientes o PEFT como LoRA y DoRA), y la Edición de Conocimiento (Knowledge Editing, KE), que actualiza el conocimiento factual con datos y cómputo limitados. Aunque ambas técnicas son ampliamente adoptadas, históricamente se han estudiado de forma aislada.

Este artículo aborda una brecha crítica en el flujo de despliegue de los LLMs: la interacción entre estos dos procesos. Específicamente, los autores investigan si las ediciones de conocimiento sobreviven al ajuste fino posterior. Esta cuestión está motivada por dos preocupaciones prácticas:

1. Seguridad: Si las ediciones persisten tras el ajuste fino, las ediciones malintencionadas (por ejemplo, puertas traseras, inyección de sesgos o desinformación) introducidas en un modelo base podrían propagarse silenciosamente a aplicaciones de uso derivado.
2. Eficiencia: Si el ajuste fino impide o borra las ediciones beneficiosas, los operadores se verían obligados a re-editar los modelos después de cada paso de adaptación, lo que restaría eficiencia a la KE.

Metodología

Los autores realizaron un estudio empírico exhaustivo que abarca 254 configuraciones experimentales independientes. El estudio cuantificó sistemáticamente la degradación de las ediciones de conocimiento tras el ajuste fino a través de varias dimensiones:

• Modelos: Se evaluaron cinco LLMs, incluyendo GPT-J-6B, GPT2-XL, Llama2-7B, Llama3.1-8B y DeepSeek (excluido debido a su bajo rendimiento en KE).
• Métodos de Edición de Conocimiento (KE): Se probaron tres métodos representativos de modificación de parámetros:
  • MEMIT: Un método de múltiples ediciones escalable.
  • AlphaEdit: Restringe las perturbaciones al espacio nulo para minimizar la interferencia.
  • MEND: Un enfoque basado en hiperredes que utiliza redes de edición auxiliares.
• Métodos de Ajuste Fino (FT): Se compararon tres enfoques:
  • Ajuste fino de parámetros completos (Full-parameter fine-tuning).
  • LoRA (Low-Rank Adaptation).
  • DoRA (Weight-Decomposed Low-Rank Adaptation).
• Conjuntos de Datos:
  • Edición: CounterFact (CF) y Extracción de Relaciones Zero-Shot (zsRE).
  • Ajuste Fino: Conjunto de datos de Razonamiento de Sentido Común y HotpotQA (para tareas intensivas en conocimiento).
• Métricas de Evaluación:
  • Métricas estándar de KE: Éxito de Eficacia (ES), Éxito de Parafraseo (PS) y Éxito de Vecindad (NS).
  • Nueva Métrica: Ratio de Inversión de Edición (Edit Flip Ratio, EFR), definido como la proporción de ediciones que fueron exitosas tras la KE pero que resultaron infructuosas tras el ajuste fino. Esta métrica aísla específicamente la estabilidad de las ediciones exitosas.
• Análisis Mecanicista: Los autores analizaron los espacios de activación mediante cambios de magnitud por capa, deriva direccional (similitud de coseno) y Proyección de Aproximación de Variedad Uniforme (UMAP) para comprender por qué decaen las ediciones.

Principales Contribuciones

1. Estudio Empírico Sistemático: La primera investigación a gran escala sobre el impacto del FT en la KE, cubriendo 254 configuraciones a través de modelos, conjuntos de datos y métodos.
2. Marco de Evaluación: Introducción del Edit Flip Ratio (EFR) para cuantificar con precisión la degradación de las ediciones exitosas, yendo más allá de las métricas de rendimiento agregadas.
3. Análisis Mecanicista Multinivel:
   • Identificación de cuatro categorías de comportamiento post-ajuste fino: Ediciones Estables, Ediciones Borradas, Ediciones Emergentes (ediciones que fallaron previamente pero ahora tienen éxito) y Ediciones Imposibles.
   • Demostración de que el ajuste fino induce cambios representacionales significativamente mayores y más coherentes en el espacio de activación que la KE, explicando el borrado de las ediciones.
4. Estrategias Prácticas para la Eliminación de Ediciones: El descubrimiento de que ajustar finamente solo las capas editadas o solo las capas no editadas puede eliminar las ediciones de manera efectiva, a menudo de forma más eficaz que el ajuste fino de todas las capas, ofreciendo nuevas estrategias para neutralizar ediciones malintencionadas.

Resultados Clave

1. Decaimiento General de las Ediciones

El ajuste fino generalmente perjudica las ediciones de conocimiento. El estudio encontró que las ediciones decaen sustancialmente tras el ajuste fino posterior en la mayoría de las configuraciones.

• Magnitud del Decaimiento: El ajuste fino de parámetros completos causó la mayor fracción de fallos en las ediciones (disminución promedio del 38.10%), seguido de LoRA (28.71%) y DoRA (29.88%).
• Sensibilidad del Modelo: GPT-J exhibió la mayor robustez estructural (menor disminución promedio del 15.93%), mientras que GPT2-XL y Llama2 mostraron mayor variabilidad y un mayor decaimiento.
• Sensibilidad del Método: AlphaEdit mostró el mayor decaimiento. Por ejemplo, en GPT-J con el benchmark zsRE, el 25.27% de las ediciones previamente exitosas de AlphaEdit pasaron a ser infructuosas tras el ajuste fino. Los autores atribuyen esto a la vulnerabilidad del mecanismo de almacenamiento en el espacio nulo, que es casi ortogonal al espacio de conocimiento existente y, por tanto, no es penalizado durante el cálculo de la pérdida del ajuste fino.

2. Impacto de los Conjuntos de Datos y la Escala

• Conjunto de Datos: Las ediciones en el conjunto de datos zsRE generalmente experimentaron un mayor declive de rendimiento en comparación con CounterFact (CF). Esto se atribuye a los criterios de evaluación más estrictos de zsRE (que requiere generación exacta) frente a CF (basado en ranking).
• Escala: Un mayor número de ediciones generalmente exacerbó el decaimiento, particularmente para AlphaEdit.

3. Ajuste Fino Selectivo de Capas

Un hallazgo contraintuitivo fue que el ajuste fino solo de las capas no editadas provocó un mayor decaimiento de las ediciones que el ajuste fino de todas las capas.

• Orden de Eliminación de Ediciones: La efectividad de eliminar ediciones siguió el orden: Ajuste fino de capas editadas > Ajuste fino de capas no editadas > Ajuste fino de todas las capas.
• Compromiso (Trade-off): Aunque el ajuste fino de solo las capas editadas era más efectivo para eliminar ediciones, incurría en una mayor degradación del rendimiento en las tareas derivadas en comparación con el ajuste fino de las capas no editadas.
• Mecanismo: Esto se alinea con la hipótesis de la representación distribuida; las ediciones se almacenan a través de múltiples capas. Concentrar las actualizaciones de peso en menos capas (ya sean editadas o no editadas) provoca perturbaciones por capa más grandes que interrumpen la estructura coordinada que soporta las ediciones.

4. Perspectivas Mecanicistas (Espacio de Activación)

• Magnitud: El ajuste fino induce cambios de magnitud de activación sustancialmente mayores en todas las capas en comparación con la KE, la cual induce perturbaciones limitadas y localizadas.
• Dirección: El cambio direccional inducido por el ajuste fino es casi ortogonal al cambio inducido por la KE.
• Análisis UMAP: En el espacio de representación, el grupo de los modelos ajustados ($M_{ft}$) y los modelos ajustados y luego editados ($M_{ed\_ft}$) se solapan sustancialmente, mientras que ambos están claramente separados del modelo solo editado ($M_{ed}$). Esto indica que el ajuste fino atrae las representaciones internas del modelo de vuelta hacia la dirección del ajuste fino, sobrescribiendo efectivamente los cambios sutiles introducidos por la KE.

Significado y Reivindicaciones

El artículo concluye que los métodos de KE existentes no logran producir ediciones consistentemente estables que persistan bajo el ajuste fino posterior. Los autores afirman que esto resalta una fragilidad crítica en el actual pipeline de aplicación de los LLMs.

• Implicaciones de Seguridad: El riesgo de "herencia" de ediciones malintencionadas es real; si las ediciones persisten, los modelos ajustados pueden propagar sesgos ocultos o puertas traseras. Por el contrario, si las ediciones se borran, la utilidad de la KE para corregir comportamientos dañinos del modelo base se ve comprometida.
• Guía de Despliegue: El estudio subraya la necesidad de evaluar la KE dentro del contexto más amplio del ciclo de vida del LLM, no de forma aislada.
• Direcciones Futuras: Los autores sugieren que la investigación futura en KE debe considerar explícitamente la adaptación posterior. Proponen posibles estrategias de mitigación, como incorporar regularización para penalizar los cambios de activación en las capas editadas o proyectar las actualizaciones de FT en el subespacio ortogonal de los parámetros de KE, aunque estas se presentan como direcciones para trabajos futuros más que como soluciones implementadas en este estudio.

Los autores mantienen un tono modesto, señalando que, si bien sus hallazgos son robustos en todas las arquitecturas probadas (que comparten la arquitectura Transformer), los grados específicos de decaimiento pueden variar con otros modelos o configuraciones. Proporcionan su código y resultados para servir como línea base para futuras investigaciones sobre la edición robusta de modelos.