Resumen Técnico: Más allá de las recompensas binarias: Un estudio comparativo del diseño de recompensas para el desaprendizaje por refuerzo

Declaración del Problema

El Desaprendizaje de Máquinas (MU, por sus siglas en inglés) tiene como objetivo eliminar selectivamente conocimientos específicos (por ejemplo, datos personales, material protegido por derechos de autor) de los Grandes Modelos de Lenguaje (LLMs) entrenados sin el costo prohibitivo de un reentrenamiento completo. Esta capacidad es cada vez más exigida por regulaciones como el RGPD y la Ley de IA de la UE.

Enfoques recientes han reformulado el desaprendizaje como un problema de Aprendizaje por Refuerzo con Recompensas Verificables (RLVR), utilizando específicamente la Optimización de Política Relativa de Grupo (GRPO). En este marco, los modelos se optimizan frente a recompensas calculadas directamente a partir de sus salidas para verificar la ausencia de conceptos prohibidos. Sin embargo, los métodos existentes, como PURGE, dependen de recompensas binarias dispersas. Estas recompensas proporcionan una señal de 1 solo si una completitud no contiene ningún elemento prohibido, y 0 en caso contrario. Esta dispersión crea una señal de entrenamiento ruidosa, que no ofrece al modelo información de gradiente sobre qué tan cerca está una respuesta parcial de lograr un desaprendizaje exitoso. Esta limitación actúa como un cuello de botella para escalar el Desaprendizaje por Refuerzo (RUL) a tareas más complejas, resultando en una convergencia lenta.

Metodología

Los autores proponen un marco basado en principios para desacoplar la verificabilidad de la dispersión. Argumentan que una recompensa puede ser totalmente verificable (computable sin acceso a los datos de entrenamiento originales) y, aun así, proporcionar señales densas e informativas.

1. Marco de Descomposición de Recompensas

El artículo introduce una estructura de recompensa genérica definida como $\phi(y; F, \psi) = \Gamma(I(y; F, \psi); H)$, donde:

• Componente de Información ($I$): Extrae datos del operador de coincidencia prohibida (contando las ocurrencias de elementos prohibidos) e información lateral auxiliar (por ejemplo, grafos semánticos).
• Función de Transformación ($\Gamma$): Mapea la información extraída a un rango de recompensa $[0, 1]$.
• Hipótesis: Al variar el componente de información y la transformación, se pueden crear señales de aprendizaje más densas sin sacrificar la verificabilidad.

2. Funciones de Recompensa Propuestas

Los autores instancian este marco con dos nuevas funciones de recompensa, posicionadas en un nivel superior en una "Jerarquía de Información" que la estándar recompensa binaria:

• Recompensa Exponencial:

  • Mecanismo: Utiliza el recuento total de ocurrencias de conceptos prohibidos ($m$) como el componente de información.
  • Fórmula: $\phi_{exp}(y) = \exp(-m/\tau)$, donde $\tau$ es una constante de decaimiento.
  • Efecto: Proporciona penalizaciones graduadas. En lugar de un binario 0/1, la recompensa disminuye suavemente a medida que aumenta el número de violaciones, ofreciendo una señal más densa que la línea base binaria.

• Recompensa Inspirada en PageRank:

  • Mecanismo: Explota las relaciones semánticas entre los conceptos prohibidos. Construye un grafo semántico donde los nodos son elementos olvidados y las aristas representan la similitud semántica (vía similitud de coseno de los embeddings).
  • Fórmula: Aplica un algoritmo de PageRank personalizado sesgado hacia la entidad objetivo principal para calcular los pesos de importancia ($w_j$) para cada elemento. La recompensa penaliza las violaciones basadas en estos pesos.
  • Efecto: Asigna penalizaciones más altas a las violaciones de conceptos semánticamente centrales (por ejemplo, la entidad objetivo misma) en comparación con los asociados periféricos. Esto crea una señal que guía la optimización hacia las violaciones más informativas primero.

3. Análisis Teórico

El artículo proporciona un análisis teórico de la velocidad de convergencia bajo GRPO. Postula que las recompensas más densas mantienen estimaciones de ventaja más estables (menor varianza en el término de ventaja $\hat{A}$) en comparación con las recompensas binarias.

• Recompensas Binarias: Sufren de "colapso de la ventaja" a medida que la probabilidad de éxito se acerca a 0 o 1, lo que conduce a gradientes evanescentes.
• Recompensas más Densas: Mantienen una varianza no nula en la distribución de la recompensa durante todo el entrenamiento, permitiendo tamaños de paso efectivos más grandes y una convergencia más rápida.

Configuración Experimental

• Benchmark: Real World Knowledge Unlearning (RWKU), que evalúa el desaprendizaje en 100 personas famosas del mundo real.
• Modelo: Phi-3-Mini-4K-Instruct (3.8B de parámetros).
• Líneas Base:
  • Base: El modelo original antes del desaprendizaje.
  • Binaria (PURGE): La estándar recompensa binaria dispersa.
• Métricas:
  • Olvidar (Forget): ROUGE-L recall en Completar el Espacio en Blanco (FB), Pregunta-Respuesta (QA) y Ataques Adversarios (AA). Menor es mejor.
  • Vecino (Neighbor): Retención de conocimiento adyacente al objetivo. Mayor es mejor.
  • MIA: Puntuaciones de Ataque de Inferencia de Membresía (privacidad).
  • Utilidad: Capacidades generales (MMLU, Razonamiento, Veracidad, etc.). Mayor es mejor.

Resultados Clave

Los experimentos se realizaron durante 1,500 pasos de entrenamiento con 20 objetivos de desaprendizaje.

1. Velocidad de Convergencia: Ambas recompensas propuestas superan significativamente a la línea base binaria en términos de eficiencia de entrenamiento.

   • La variante PageRank Softmax logra el mismo nivel de rendimiento de olvido que la línea base binaria en aproximadamente 3× menos pasos de entrenamiento.
   • En el paso 500, PageRank Softmax alcanza una mejora del 37.1% sobre la base, un umbral que la línea base binaria no alcanza hasta el paso 1,500.

2. Desempeño del Desaprendizaje:

   • PageRank Softmax logra las puntuaciones de olvido más fuertes en todas las métricas (FB, QA, AA), superando consistentemente tanto a la línea base Binaria como a la de Decaimiento Exponencial.
   • El Decaimiento Exponencial también mejora respecto a la línea base binaria, pero es generalmente menos efectivo que PageRank.

3. Utilidad y Preservación del Vecino:

   • Crucialmente, la mejora en la eficiencia no ocurre a costa de la utilidad general del modelo o la retención del conocimiento vecino. Las métricas de utilidad (GA, RA, TRU, FAC, FLU) se mantienen estables en todos los diseños de recompensa, variando en un máximo de 0.014 respecto al modelo Base.
   • Las puntuaciones de Vecino muestran una degradación uniforme en todos los métodos, indicando que el compromiso es impulsado por el propio objetivo de optimización y no por el diseño específico de la recompensa.

4. Estudios de Ablación:

   • Decaimiento Exponencial: La constante de decaimiento $\tau$ es crítica. Se encontró que $\tau=0.5$ es óptimo, equilibrando la informatividad del gradiente y la presión de optimización. Un $\tau$ demasiado pequeño ($\tau=0.1$) revierte a una dispersión casi binaria; un $\tau$ demasiado grande ($\tau \ge 1.0$) se vuelve demasiado permisivo.
   • Variantes de PageRank: La variante Softmax (que aplica un softmax escalado por temperatura a las puntuaciones de PageRank bruto) supera a la variante PageRank estándar y a la variante Lineal. El Softmax efectúa un aplanamiento de la distribución de ley de potencia de los pesos, distribuyendo la masa de penalización de manera más uniforme mientras preserva el orden semántico, mientras que el reescalado Lineal introduce distorsión.

Significancia y Reivindicaciones

El artículo afirma que el diseño de la recompensa es un motor clave de la eficiencia del desaprendizaje dentro del marco de Desaprendizaje por Refuerzo.

• Contribución Teórica: Formaliza el compromiso entre el sesgo inductivo de la recompensa y la velocidad de optimización, demostrando que la verificabilidad no requiere de la dispersión.
• Impacto Práctico: Al introducir las recompensas Exponencial y PageRank, los autores proporcionan un camino práctico hacia un desaprendizaje de máquinas escalable y eficiente. Los resultados muestran que un diseño cuidadoso de las recompensas puede acelerar el proceso de desaprendizaje hasta en un 3× manteniendo un fuerte desempeño de olvido y preservando la utilidad general del modelo.
• Dirección Futura: El trabajo abre direcciones para recompensas adaptativas que permanezcan verificables sin acceso a los datos de entrenamiento originales, sugiriendo que la "jerarquía de información" de las recompensas puede ser explorada más a fondo.

Los autores concluyen que ir más allá de las recompensas binarias no es meramente un ajuste de implementación, sino una mejora fundamental en la estructura de la señal de aprendizaje, permitiendo que el RUL escale a tareas de desaprendizaje más difíciles.