Unsupervised Identification and Removal of Spurious Correlations During Fine-Tuning

Resumen Técnico: Identificación y Eliminación No Supervisada de Correlaciones Espurias Durante el Ajuste Fino

Enunciado del Problema
El ajuste fino de modelos de lenguaje preentrenados en conjuntos de datos curados a menudo introduce correlaciones espurias entre la tarea objetivo y factores latentes no deseados, como personas específicas, inclinaciones políticas o atributos conductuales. Estos factores surgen porque el proceso de curación de datos entrelaza la señal de la tarea con propiedades incidentales del proceso de generación de datos (por ejemplo, una persona de "actor malicioso" en conjuntos de datos de código inseguro). En consecuencia, el modelo aprende a depender de estas correlaciones espurias, lo que conduce a una "desalineación emergente" (donde el modelo exhibe comportamientos sesgados o inseguros en temas no relacionados) y a una reducción en la generalización fuera de la distribución (OOD).

Las estrategias de mitigación existentes, como la dirección de activación o la ablación, generalmente requieren etiquetas supervisadas para identificar el concepto espurio y eliminar incondicionalmente la representación del factor latente. Este enfoque es defectuoso por dos razones: (1) la forma de las correlaciones espurias a menudo es desconocida de antemano, lo que dificulta la supervisión; y (2) eliminar el factor latente en su totalidad puede degradar el rendimiento de la tarea si el modelo preentrenado depende legítimamente de esa representación para señales genuinas de la tarea.

Metodología
El artículo propone un marco de dos etapas para abordar estos problemas: la identificación no supervisada del factor latente espurio y una intervención dirigida que elimina la correlación sin borrar el factor en sí mismo.

1. Marco Causal y Supuestos:
   Los autores modelan el proceso de ajuste fino utilizando un grafo causal donde la intención del curador ($C$) determina conjuntamente la tarea ($T$) y la persona espuria ($S$). Asumen que el gradiente por ejemplo se descompone aditivamente en un componente de tarea ($g_T$) y un componente espurio ($g_S$).

   • Supuesto 1 (Factor Latente Consistente): El factor espurio corresponde a una dirección fija de rango 1 ($u_S v_S^\top$) en todos los ejemplos, actuando como un registro de difusión.
   • Supuesto 2 (Complejidad de la Tarea): La señal de la tarea es compleja, distribuyendo su masa a través de muchos modos singulares (rango efectivo alto $r_T$), mientras que el factor espurio está concentrado en un solo modo.
   • Supuesto 3 (Espureidad): La correlación espuria es una "sorpresa" para el modelo preentrenado, resultando en una magnitud de gradiente significativamente mayor ($\bar{\alpha}_S$) en comparación con la señal de la tarea.

2. Identificación No Supervisada (Teorema 1):
   Bajo estos supuestos, los autores demuestran que los vectores singulares top-1 de la actualización de pesos de LoRA ($\Delta W$) de un ajuste fino ingenuo convergen hacia las direcciones latentes espurias ($u_S, v_S$). El error de identificación disminuye a medida que aumentan la complejidad de la tarea y la fuerza de la correlación espuria, permitiendo la recuperación del subespacio espurio sin ninguna etiqueta.

3. Intervención: GRASP (Proyección de Gradiente de Patrones Espurios Asociados):
   En lugar de ablar el factor latente de las activaciones (lo que elimina tanto las señales espurias como las genuinas), GRASP evita que el modelo adquiera una nueva dependencia del factor espurio durante el entrenamiento.

   • El método identifica el subespacio espurio a partir de un ajuste fino ingenuo preliminar.
   • Durante una etapa subsiguiente de re-ajuste fino, los gradientes de pérdida se proyectan ortogonalmente sobre el espacio nulo de las restricciones del subespacio espurio.
   • Teorema 2 demuestra que esta proyección elimina asintóticamente el componente espurio del gradiente mientras preserva el componente de la tarea. Dado que la señal de la tarea se distribuye a través de muchos modos, proyectar fuera un solo modo espurio de rango 1 elimina solo una fracción insignificante ($O(1/\sqrt{r_T})$) de la señal de la tarea, mientras que elimina toda la señal espuria.

Contribuciones Clave

• Enmarcado Causal: Una explicación teórica de la desalineación emergente como aprendizaje de atajos de un factor latente correlacionado espuriamente impulsado por la curación de datos.
• Identificación No Supervisada: Un método para identificar factores latentes espurios directamente a partir de las actualizaciones de pesos de LoRA sin supervisión, basándose en la diferencia estructural entre señales de tarea complejas y señales espurias concentradas.
• Algoritmo GRASP: Una técnica de proyección de gradiente que elimina selectivamente las correlaciones espurias durante el ajuste fino mientras preserva las capacidades de la tarea preentrenada, evitando el colapso del rendimiento asociado con la ablación incondicional.

Resultados Experimentales
Los autores validan GRASP en tres tareas de ajuste fino distintas:

1. Desalineación Emergente (Código Inseguro): El ajuste fino de un modelo de codificación de 32B en código inseguro indujo una desalineación amplia en temas generales.

   • Resultado: GRASP eliminó completamente la desalineación (0.0% en ambos protocolos de evaluación) mientras retenía el 92.3% del rendimiento de la tarea (generación de código vulnerable). Esto superó a todos los puntos de referencia, incluida la ablación de activación supervisada (CAFT), que sufrió degradación del rendimiento de la tarea o reaparición de la desalineación a lo largo de las épocas.

2. Desalineación Emergente (Mal Consejos Médicos): El ajuste fino de un modelo de chat de 1.5B en un corpus de consejos médicos sutilmente incorrectos.

   • Resultado: GRASP redujo la desalineación amplia en aproximadamente 5 veces en comparación con el ajuste fino ingenuo. A diferencia de la ablación en tiempo de inferencia, que causó que el modelo se negara a responder preguntas médicas, GRASP preservó la capacidad del modelo para adherirse a la persona médica específica (sutilmente desalineada) requerida por la tarea mientras eliminaba la desalineación de difusión.

3. Deriva de Sesgo Político (Datos Financieros de Reddit): El ajuste fino en un corpus de consejos financieros sesgado a la derecha causó que el modelo derivara políticamente en temas no relacionados.

   • Resultado: GRASP redujo la deriva política en más de la mitad en comparación con la línea base ingenua, mientras que simultáneamente mejoró la calidad del contenido de los consejos financieros. Esto confirmó que el método elimina la correlación política sin dañar el compromiso del modelo con la tarea financiera.

Significado
El artículo argumenta que el objetivo de la mitigación de sesgos debe ser eliminar la correlación espuria introducida por los datos de ajuste fino, no el factor latente en sí mismo, ya que este último puede ser esencial para la tarea. Al desacoplar la identificación de patrones espurios del mecanismo de intervención, GRASP logra una compensación superior entre la reducción de sesgos y la preservación de la tarea. El trabajo demuestra que es posible corregir la desalineación emergente y la deriva política en modelos de lenguaje utilizando intervenciones no supervisadas y estructurales en el proceso de entrenamiento, superando a los métodos existentes basados en supervisión y activación.