Uncertainty-based Debiasing and Unlearning for Decontamination

Resumen Técnico: Desesgo Basado en la Incertidumbre y Desaprendizaje para la Descontaminación

Planteamiento del Problema
La evaluación basada en benchmarks es el paradigma estándar para evaluar los Modelos de Lenguaje de Gran Escala (LLMs), pero la contaminación de datos —donde las muestras de los benchmarks aparecen en el corpus de entrenamiento— socava severamente la validez de estas evaluaciones. La contaminación infla el rendimiento reportado al permitir que los modelos memoricen respuestas de referencia en lugar de demostrar capacidades genuinas de razonamiento. Los métodos de descontaminación existentes dependen principalmente de métricas de precisión agregadas, las cuales pueden ocultar diferencias sustanciales en el comportamiento del modelo a nivel de muestra. Además, muchos enfoques actuales requieren acceso a un modelo "limpio" no contaminado o conocimiento previo de qué muestras específicas están contaminadas, lo que limita su aplicabilidad práctica en escenarios del mundo real donde tales recursos no están disponibles.

Metodología
El artículo propone un nuevo marco que consta de dos componentes principales: una métrica de evaluación a nivel de muestra y una nueva familia de métodos de descontaminación llamada Descontaminación Basada en la Incertidumbre (UBD, por sus siglas en inglés).

1. Marco de Evaluación a Nivel de Muestra:
   En lugar de depender únicamente de la precisión del conjunto de datos, los autores introducen métricas que miden la distancia de la distribución entre un modelo descontaminado y uno no contaminado sobre una base por muestra.

• Divergencia KL ($D_{KL}$): Mide la divergencia entre las distribuciones de salida completas de los modelos no contaminado y descontaminado para cada muestra.
• Diferencia de Probabilidad de la Verdad de Referencia ($D^*_{L1}$): Mide la diferencia absoluta en la probabilidad asignada a la respuesta correcta ($y^*$) entre los dos modelos.
  Estas métricas tienen como objetivo asegurar que la descontaminación recupere la verdadera distribución de salida en lugar de simplemente desplazar la precisión hacia diferentes subconjuntos de datos.

2. Descontaminación Basada en la Incertidumbre (UBD):
   UBD es una familia de métodos que opera sin requerir un modelo no contaminado ni conocimiento del conjunto de datos contaminado. Aprovecha los ensambles profundos del modelo contaminado para estimar la memorización por muestra mediante la incertidumbre.

• Estimación de la Incertidumbre: Los autores observan que las muestras "difíciles pero memorizadas" (donde el modelo tiene alta confianza debido a la contaminación) exhiben una alta variabilidad en las predicciones a través de un ensamble de modelos entrenados con diferentes ordenamientos de lotes (batch orderings). Esta incertidumbre epistémica sirve como una señal de contaminación.
• Escalar de Contaminación ($\hat{\alpha}$): Se estima un escalar por muestra a partir de la desviación estándar de la probabilidad de la verdad de referencia a través del ensamble. Una desviación estándar alta indica una fuerte memorización ( $\alpha$ bajo), mientras que una desviación estándar baja indica una facilidad genuina ( $\alpha \approx 1$ alto).
• UBD-Debiasing (Desesgo): Una corrección post-hoc en el tiempo de inferencia que reescala la distribución de salida. Suprime la masa de probabilidad inflada en la respuesta de la verdad de referencia y la redistribuye proporcionalmente a otras opciones, guiada por el $\hat{\alpha}$ estimado.
• UBD-Unlearning (Desaprendizaje): Un método de actualización de parámetros donde el modelo contaminado es ajustado finamente utilizando la distribución desesgada como un objetivo suave (soft target). Esto suprime la memorización mientras preserva la forma general de la distribución de salida.

Contribuciones Clave

• Cambio de Paradigma de Evaluación: El artículo argumenta que las métricas a nivel de conjunto de datos son insuficientes y propone un marco de evaluación a nivel de muestra utilizando métricas de distancia de distribución ($D_{KL}$ y $D^*_{L1}$) para revelar diferencias de comportamiento ocultas por la precisión agregada.
• La Incertidumbre como Señal de Contaminación: Los autores demuestran que la incertidumbre del ensamble (específicamente la desviación estándar de las probabilidades de la verdad de referencia) distingue eficazmente entre muestras genuinamente fáciles y muestras difíciles que han sido memorizadas debido a la contaminación.
• Métodos UBD: Introducen UBD-Debiasing y UBD-Unlearning, que logran la descontaminación sin requerir acceso a un modelo de referencia limpio o conocimiento de los datos específicos contaminados.

Resultados Experimentales
Los experimentos se realizaron en los benchmarks MMLU-Pro y MATH-MCQA utilizando los backbones Llama-3.2-3B-Instruct y Qwen2.5-3B-Instruct.

• Recuperación Superior a Nivel de Muestra: Los métodos UBD produjeron distribuciones de salida por muestra sustancialmente más cercanas a las de los modelos no contaminados en comparación con las líneas base como el parafraseo, la permutación de opciones y el DeconIEP basado en modelos de referencia.
• Mejoras en las Métricas: En MMLU-Pro con Llama-3.2, UBD-Debiasing logró reducciones relativas de más del 40% en $D_{KL}$ y $D^*_{L1}$ en comparación con el modelo contaminado. En Qwen2.5, las reducciones alcanzaron casi el 60% en $D_{KL}$.
• Comparación con Líneas Base: Aunque el parafraseo y la permutación de opciones redujeron la contaminación residual (RC) a nivel de conjunto de datos, fallaron en mejorar las distancias de distribución a nivel de muestra (a menudo aumentando $D_{KL}$). DeconIEP funcionó mejor que las líneas base pero fue superado por UBD, particularmente en la preservación del rendimiento en datos no contaminados ($D_{dev}$).
• Robustez: El análisis de sensibilidad mostró que los métodos UBD se mantienen robustos a través de diferentes configuraciones de umbral para aplicar la descontaminación.

Significancia y Reivindicaciones
El artículo afirma que su significancia principal radica en abordar la "desconexión" entre las métricas de rendimiento a nivel de conjunto de datos y el comportamiento real del modelo a nivel de muestra. Al introducir señales basadas en la incertidumbre, los autores proporcionan una solución práctica para la descontaminación que no depende de la premisa poco realista de tener acceso a un modelo limpio o a una lista conocida de datos contaminados. El trabajo demuestra que es posible suprimir eficazmente la memorización y recuperar distribuciones de salida imparciales utilizando únicamente el modelo contaminado y técnicas de ensamble, permitiendo así una evaluación más confiable y justa de las capacidades de los LLM.

Limitaciones
Los autores reconocen dos limitaciones principales:

1. Requisito de Ensamble: El método requiere un ensamble de modelos (o pesos de LoRA) para estimar la incertidumbre, lo que puede ser pesado si los proveedores de modelos no liberan múltiples puntos de control (checkpoints).
2. Alcance de la Tarea: La formulación actual de UBD-Debiasing está restringida a tareas de clasificación (por ejemplo, Preguntas de Opción Múltiple). Extender el enfoque a la generación de texto abierto sigue siendo un tema para investigaciones futuras.