MoRFI: Monotonic Sparse Autoencoder Feature Identification

1. Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLM) adquieren conocimiento factual principalmente durante el pre-entrenamiento. Sin embargo, las etapas posteriores de post-entrenamiento, como el Ajuste Fino Supervisado (SFT) sobre nuevos datos, a menudo introducen alucinaciones. La hipótesis predominante es que exponer los modelos a hechos desconocidos para su distribución de pre-entrenamiento interrumpe su capacidad para recuperar el conocimiento paramétrico almacenado.

Si bien estudios anteriores han establecido que el ajuste fino sobre datos desconocidos aumenta las tasas de alucinación, las causas mecánicas internas siguen siendo poco comprendidas. Específicamente, no está claro:

• Qué características latentes específicas en la corriente residual están causalmente vinculadas a la degradación de la recuperación de conocimiento.
• Si estas características pueden ser identificadas y manipuladas para recuperar el conocimiento original del modelo sin reentrenamiento.
• Cómo difieren estos mecanismos entre diferentes arquitecturas de modelos y duraciones de entrenamiento.

2. Metodología: MoRFI

Los autores proponen MoRFI (Identificación de Características de Relación Monótona), un pipeline de dos etapas diseñado para aislar características latentes causales utilizando Autoencoders Dispersos (SAE).

A. Experimento de Ajuste Fino Controlado

Los autores realizan un experimento controlado en tres modelos: Llama 3.1 8B, Gemma 2 9B y Mistral 7B v03.

• Conjunto de datos: EntityQuestions (derivado de Wikidata).
• Variables:
  1. Proporción Desconocida ($\uparrow$Unknown): Los conjuntos de datos de entrenamiento se construyen con porcentajes variables (0% a 100%) de hechos "Desconocidos" (hechos que el modelo base no conoce) mezclados con hechos "Conocidos".
  2. Épocas de Entrenamiento ($\uparrow$Epochs): Los modelos se entrenan durante duraciones variables (Parada Temprana, 10, 20, 30, 40, 50 épocas).
• Observación: A medida que aumenta la proporción de hechos desconocidos y las épocas de entrenamiento, la precisión en pruebas de preguntas y respuestas de libro cerrado (closed-book QA) disminuye significativamente, confirmando el fenómeno de alucinación.

B. El Algoritmo MoRFI

MoRFI analiza las activaciones de los SAE a través de un tensor de 4 dimensiones (Muestras $\times$ Propiedades $\times$ Latentes $\times$ Tiempo/Épocas) para encontrar características con tendencias monótonas robustas.

1. Muestreo y Agregación: Utiliza el bootstrapping para generar miles de entornos de prueba simulados, calculando las activaciones medias para crear una línea base reducida de ruido.
2. Validación de Tendencias: Aplica la correlación de rango de Spearman y las pruebas de Mann-Kendall para verificar si la activación de una característica cambia monótonamente (aumentando o disminuyendo consistentemente) a medida que aumenta la proporción de datos desconocidos o las épocas de entrenamiento. Esto filtra fluctuaciones espurias.
3. Ordenamiento Direccional: Clasifica las características en conjuntos de Crecientes (las activaciones crecen con datos desconocidos) y Decrecientes (las activaciones disminuyen).
4. Clasificación Final: Clasifica las características basándose en su frecuencia de aparición en las características alteradas top-$K$ a través de todas las réplicas de bootstrap.

C. Dirección de Activación

Una vez identificadas las latentes candidatas, los autores realizan dirección de activación (intervención en la capa media de la corriente residual) para probar la causalidad:

• Intervención: Sumar o restar el vector de decodificación del SAE de una latente específica a la corriente residual.
• Objetivo: Determinar si dirigir estas latentes puede recuperar la precisión perdida durante el ajuste fino sobre hechos desconocidos.
• Grupo de Control: Se utiliza una línea base de latentes "sin tendencia" para asegurar que las ganancias no sean artefactos de una perturbación arbitraria.

3. Contribuciones Clave

1. Algoritmo MoRFI: Un método de propósito general y rigurosamente estadístico para identificar latentes de SAE que exhiben tendencias monótonas a través de condiciones de ajuste fino controladas, distinguiéndolas del ruido transitorio.
2. Vínculo Causal con la Alucinación: El artículo demuestra que la exposición a hechos desconocidos interrumpe la recuperación de conocimiento a lo largo de direcciones específicas e identificables en la corriente residual.
3. Recuperación de Conocimiento mediante Dirección: Los autores muestran que las intervenciones de latente única pueden recuperar entre un 69–85% del conocimiento perdido durante el ajuste fino sobre datos desconocidos, revirtiendo efectivamente las alucinaciones en tiempo de inferencia.
4. Asimetría en la Dinámica Latente:
   • La Dirección Negativa es Superior: Suprimir (dirigir negativamente) las características que aumentan con datos desconocidos produce mayores ganancias de precisión que amplificar las características que disminuyen.
   • Las Latentes Decrecientes son Impactantes: Las características que disminuyen naturalmente al exponerse a datos desconocidos, cuando se dirigen positivamente, también recuperan conocimiento significativo, sugiriendo que codifican vías de acceso al conocimiento almacenado que están siendo suprimidas.

4. Resultados Clave

• Degradación del Rendimiento: Aumentar el porcentaje de hechos desconocidos en la mezcla de entrenamiento degrada consistentemente el rendimiento del modelo, con un efecto exacerbado por un entrenamiento más largo (más épocas).
• Eficacia de la Dirección:
  • En Llama 3.1 8B, la mejor latente dirigida negativamente recuperó un 33.4% de precisión relativa (frente a una línea base de 17.8%).
  • En Mistral 7B, la mejor latente dirigida negativamente recuperó un 39.77% de precisión relativa.
  • Grupo de Control: La dirección con latentes sin tendencia resultó en cambios de rendimiento insignificantes o negativos, validando que las ganancias son específicas de las características causales identificadas.
• Tasa de Recuperación de Conocimiento ($R_K$): De los hechos recuperados mediante dirección, entre un 69–85% eran originalmente conocidos por el modelo base (MD0). Esto confirma que la intervención restaura el acceso al conocimiento pre-entrenado en lugar de aprender hechos nuevos.
• Señal Dispersa: Las intervenciones de latente única superaron a la dirección compuesta de "diferencia de medias" ($\delta_u$). Esto indica que la señal relevante para el conocimiento es dispersa y se concentra en pocas latentes específicas, mientras que la dirección compuesta contiene ruido que diluye el efecto.
• Alineación Semántica: Los hechos recuperados se relacionan predominantemente con predicados geográficos (por ejemplo, País, Capital, País de Origen), y las latentes de mejor rendimiento muestran alineación semántica con estos conceptos en herramientas externas como Neuronpedia.

5. Significado e Implicaciones

• Interpretabilidad Mecanística: El artículo va más allá de la correlación para establecer un vínculo causal entre latentes específicas de SAE y la capacidad del modelo para acceder al conocimiento almacenado. Sugiere que el "olvido" durante el ajuste fino no es la borrado del conocimiento, sino una interrupción de las vías de acceso.
• Mitigación en Tiempo de Inferencia: Los hallazgos sugieren que las alucinaciones causadas por el ajuste fino pueden mitigarse en tiempo de inferencia mediante dirección de activación dirigida, sin necesidad de reentrenamiento o sistemas complejos de generación aumentada por recuperación (RAG).
• Seguridad y Alineación: Al identificar las características específicas "desalineadas" o "que interrumpen el conocimiento", este trabajo proporciona una vía para prácticas de ajuste fino más seguras e intervenciones dirigidas para evitar que los modelos alucinen al exponerse a información novedosa o conflictiva.
• Generalización: El marco MoRFI es agnóstico al modelo y aplicable a cualquier variable controlada que induzca una secuencia de puntos de control del modelo, ofreciendo una nueva herramienta para analizar los cambios en el comportamiento del modelo.

En conclusión, MoRFI proporciona un método robusto para identificar los mecanismos internos de la degradación del conocimiento en LLM y demuestra que estas degradaciones son reversibles mediante intervenciones precisas de latente única, ofreciendo una vía prometedora para reducir las alucinaciones en modelos post-entrenados.