Shortcuts in the Tail: Debiasing via Post-Hoc Spectral Compression of Fine-Tuning Updates

Resumen Técnico: Atajos en la Cola

Planteamiento del Problema

El ajuste fino (fine-tuning) de modelos de lenguaje de gran tamaño (LLM) con instrucción suele lograr una alta precisión en la distribución de entrenamiento al explotar correlaciones espurias (por ejemplo, sesgo demográfico, solapamiento léxico o preferencias específicas de los anotadores). Aunque esto es efectivo para la distribución de entrenamiento, estos atajos causan fallos sistemáticos en grupos subrepresentados y ante entradas adversarias. Las estrategias de mitigación existentes suelen requerir el reentrenamiento con pérdidas reponderadas, el aumento de datos con contrafácticos sintéticos o la modificación de las representaciones intermedias durante el entrenamiento. Estos enfoques son costosos, requieren etiquetas de grupo o datos curados, y no examinan directamente cómo se codifica el atajo dentro de la propia actualización del ajuste fino.

Metodología

Los autores proponen una intervención post-hoc sin etiquetas y sin reentrenamiento que opera sobre la diferencia de pesos entre el modelo ajustado ($W_{ft}$) y el modelo base ($W_{base}$).

1. Descomposición Espectral de Actualizaciones: El método calcula la matriz de actualización $\Delta W = W_{ft} - W_{base}$ y realiza una Descomposición en Valores Singulares (SVD): $\Delta W = U\Sigma V^\top$.
2. Truncamiento de la Cola: En lugar de retener los valores singulares superiores (como es común en la compresión de modelos), el método trunca la cola del espectro. Específicamente, mantiene solo los $k$ valores singulares superiores (donde $k = \lceil \rho r \rceil$ y $\rho$ es una razón de retención) y reconstruye los pesos como:
   $$\tilde{W} = W_{base} + U_{:,:k}\Sigma_{:k,:k}V^\top_{:,:k}$$
3. Sin Reentrenamiento: El modelo comprimido se evalúa inmediatamente sin optimización adicional.

La hipótesis central es que, si bien los valores singulares brutos están ampliamente distribuidos y no muestran una separación clara entre la energía de la "tarea" y la del "atajo", el basis singular actúa como un sistema de coordenadas ordenado. Los autores postulan que las direcciones relevantes para la tarea ocupan la parte superior del ordenamiento, mientras que las direcciones de los atajos (correlaciones espurias) residen en la cola.

Contribuciones Clave

1. Un Nuevo Método de Mitigación de Sesgos: Un truncamiento SVD top-k post-hoc de $\Delta W$ que reduce la brecha de grupos espurios en cada celda evaluada (modelo, conjunto de datos) con menos de 2 puntos porcentuales (pp) de pérdida de precisión.
2. Hipótesis de Estratificación Espectral: Un mecanismo conductual que sugiere que las respuestas de los atajos se sitúan en la cola del ordenamiento singular de $\Delta W$. Esta es una afirmación sobre el ordenamiento de los vectores de base más que sobre la magnitud de los valores singulares en sí mismos.
3. Caso Límite Controlado: El uso de un conjunto de datos IMDB con un marcador inyectado (la única señal disponible para el ajuste fino) para demostrar un límite predicho. En este régimen, donde no existe señal de tarea para separar del atajo, el truncamiento provoca que el modelo colapse de nuevo hacia el modelo base no sesgado, confirmando que el desacoplamiento observado en otros conjuntos de datos depende de la existencia de una estructura separable de top-vs-tail (parte superior frente a cola).
4. Descarte de Alternativas: El estudio emplea controles (truncamiento bottom-k, truncamiento k-aleatorio y LoRA de rango coincidente) para demostrar que el efecto no se debe a una aproximación de bajo rango genérica o a un entrenamiento de rango restringido, sino específicamente al ordenamiento espectral de las actualizaciones de ajuste fino no restringidas.

Resultados

El método fue evaluado en tres modelos con instrucción (Qwen2.5-0.5B, Gemma-3-1B, Qwen2.5-7B) a través de cuatro pruebas de clasificación (CivilComments, MNLI, FEVER, QQP) y el caso límite del marcador de IMDB.

• Reducción de Sesgo: El truncamiento top-k redujo la brecha de grupos espurios hasta en un 68% (en CivilComments con Qwen2.5-0.5B) y 5× en CivilComments, manteniendo la precisión dentro de la "zona de no costo" (<2 pp de pérdida).
• Análisis de Trayectoria:
  • Conjuntos de Datos de Atajo Natural: A medida que la retención disminuye, la brecha de sesgo cae significamente mientras la precisión permanece plana al nivel del modelo ajustado (desacoplamiento).
  • IMDB-Marcador (Caso Límite): La precisión y la brecha se mueven en sincronía hacia el rendimiento del modelo base. Dado que toda la actualización codifica el atajo, el truncamiento simplemente reduce $\Delta W$ hacia cero, devolviendo el modelo a su estado base no sesgado.
• Comparación con LoRA: El truncamiento top-k post-hoc domina en Pareto a la formación de LoRA de rango restringido con rangos coincidentes. LoRA, que debe empaquetar tanto las señales de tarea como las de atajo en un subespacio de bajo rango fijo desde el principio, no logra el mismo nivel de reducción de sesgo sin sacrificar la precisión.
• Propiedades Espectrales: El espectro de valores singulares brutos de $\Delta W$ está ampliamente distribuido (requiriendo aproximadamente el 73–78% de los componentes para capturar el 90% de la energía) y se ve idéntico en todos los conjuntos de datos. Esto confirma que el efecto de mitigación de sesgo no se debe a que el atajo tenga valores singulares "pequeños", sino a que la respuesta del atajo está ubicada conductualmente en la cola del ordenamiento singular.

Significado y Reivindicaciones

El artículo presenta evidencia preliminar de que el basis singular de $\Delta W$ sirve como un sistema de coordenadas útil para estudiar qué ha aprendido el ajuste fino. El significado principal es la demostración de que la dependencia de atajos puede eliminarse selectivamente post-hoc sin reentrenamiento, etiquetas de grupo o aumento de datos.

Los autores presentan sus hallazgos como una "interpretación de trabajo" más que como una descomposición mecánica verificada. Afirman que la estructura de la cola espectral es una propiedad del ajuste fino no restringido donde el optimizador concentra los patrones de tarea dominantes en los subespacios de alta magnitud, permitiendo que las regularidades más débiles e inconsistentes (atajos) se asienten en la cola. El artículo señala explícitamente que el mismo mecanismo es "agnóstico a la intención": si los comportamientos deseables (por ejemplo, alineación de seguridad) son espectralmente separables de una manera similar, teóricamente podrían eliminarse mediante el mismo procedimiento, lo que resalta una naturaleza de doble uso que amerita un mayor estudio.

El trabajo concluye que, si bien el espectro bruto no revela el atajo, el efecto conductual del truncamiento revela una separación estructural entre la señal de la tarea y el atajo, ofreciendo una nueva lente para analizar y mitigar las correlaciones espurias en los LLM.