Resumen Técnico: Personalización de LLMs con Retroalimentación Binaria (C-BPO)

1. Declaración del Problema

La personalización de Modelos de Lenguaje Grande (LLM) busca alinear los comportamientos del modelo con las preferencias individuales de los usuarios. Aunque los métodos existentes utilizan la generación de prompts basada en recuperación o el ajuste fino eficiente en parámetros (PEFT) sobre historiales de usuarios aislados, a menudo descuidan el papel crítico de las diferencias interusuarios. Recientes hallazgos en ciencias del comportamiento sugieren que la individualidad se define por cómo un usuario se desvía de la población general.

Los marcos actuales de optimización de preferencias, como la Optimización Directa de Preferencias (DPO), requieren pares contrastivos (completaciones preferidas vs. no preferidas para la misma entrada), los cuales no están disponibles en datos históricos de usuarios crudos y no emparejados. Aunque avances recientes permiten la alineación mediante retroalimentación binaria (por ejemplo, "me gusta" o "no me gusta" en puntos de datos individuales), aplicar estos métodos directamente a la personalización introduce un defecto fundamental: la superposición de preferencias.

En un contexto personalizado, tratar los datos de otros usuarios como señales puramente "negativas" (no me gusta) es problemático. Estos conjuntos de datos auxiliares comparten inevitablemente conocimiento genérico específico de la tarea y preferencias estilísticas de toda la comunidad con el usuario objetivo. Penalizar ingenuamente estos datos obliga al modelo a suprimir erróneamente características compartidas y útiles, degradando así el rendimiento general mientras intenta capturar matices individuales.

2. Metodología: Marco C-BPO

Los autores proponen C-BPO (Optimización de Preferencias con Retroalimentación Binaria Calibrada por Preferencias), un marco que personaliza los LLMs aprovechando la variabilidad interusuarios como una señal contrastiva natural mientras corrige la superposición de preferencias.

2.1 Formulación Central

C-BPO enmarca la personalización como un problema de optimización con retroalimentación binaria:

• Señales Positivas ($D_+$): Los datos de interacción histórica del usuario objetivo ($H_{tar}$).
• Señales Negativas Implícitas ($D_-$): Datos de un grupo de usuarios auxiliares ($H_{aux}$).

A diferencia de los métodos estándar de Optimización de Preferencias con Retroalimentación Binaria (BPO) (por ejemplo, KTO, BCO) que asumen etiquetas negativas "limpias", C-BPO reconoce que $H_{aux}$ es una mezcla de señales negativas verdaderas (desagrados específicos del usuario) y señales positivas (preferencias compartidas de la comunidad).

2.2 Objetivo Calibrado por Preferencias mediante Aprendizaje PU

Para abordar el problema de la superposición de preferencias, C-BPO deriva un objetivo de optimización fundamentado en la teoría del aprendizaje de Positivos-No Etiquetados (PU). La idea central es que los datos auxiliares actúan como un conjunto no etiquetado que contiene una mezcla de distribuciones positivas y negativas.

Los autores reformulan la estimación de riesgo para recuperar el riesgo negativo verdadero restando el "sesgo positivo" (el riesgo esperado de las preferencias del objetivo encontrado dentro de los datos de usuarios más amplios). La función objetivo final ($L_{C-BPO}$) se define como:

$$L_{C-BPO} = L_{pos} + \frac{1}{1-\alpha} \max \{0, L_{pure\_neg}\}$$

Donde:

• $L_{pos}$: La pérdida sobre los datos del usuario objetivo (Alineación Positiva).
• $L_{pure\_neg}$: La Pérdida Negativa Purificada, calculada como $E_{H_{aux}}[l(g, -1)] - \alpha E_{H_{tar}}[l(g, -1)]$.
• $\alpha$: Un coeficiente de corrección ($0 < \alpha < 1$) que representa el grado de superposición de características de preferencia entre el usuario objetivo y los usuarios auxiliares. Cuantifica la proporción de datos auxiliares que funcionalmente sirven como una señal positiva.

Esta formulación "purifica" explícitamente las señales negativas, asegurando que el modelo se enfoque en idiosincrasias individuales únicas en lugar de suprimir la utilidad general.

2.3 Manejo del Desequilibrio de Datos

En escenarios personalizados, el volumen de datos auxiliares a menudo excede vastamente los datos del usuario objetivo. Los métodos BPO estándar estiman un punto de referencia ($\delta$) promediando recompensas a través de un lote, lo cual puede desviarse si el lote está desequilibrado. C-BPO introduce una estimación de punto de referencia independiente con Media Móvil Exponencial (EMA). Mantiene estadísticas EMA separadas para recompensas positivas y auxiliares, calculando $\delta_{EMA}$ como su media. Esto asegura un límite de decisión estable e invariante al desequilibrio de datos a nivel de lote.

3. Contribuciones Clave

1. Enmarcado Novel: El artículo es el primero en enmarcar la personalización de LLMs como un problema de optimización de preferencias con retroalimentación binaria, utilizando la variabilidad interusuarios como una señal contrastiva natural para la alineación a nivel individual sin requerir datos emparejados.
2. Innovación Teórica: Los autores identifican el problema de "superposición de preferencias" en el BPO estándar para personalización y formulan un objetivo calibrado por preferencias basado en la teoría del aprendizaje PU para lograr una alineación de preferencias imparcial.
3. Validación Empírica: Experimentos extensos en cinco tareas de generación personalizada (Titulares de Noticias, Título Académico, Resumen, Reseña y Redacción de Temas) y diversos LLMs base (LLaMA, Qwen, Mistral) demuestran que C-BPO supera consistentemente a líneas base sólidas, incluidos adaptadores basados en SFT y métodos existentes de retroalimentación binaria.

4. Resultados Experimentales

Los autores evaluaron C-BPO en los puntos de referencia LaMP y LongLaMP utilizando los modelos base Mistral-7B, LLaMA-3 y Qwen2.5.

• Rendimiento: C-BPO logró consistentemente las mejores puntuaciones ROUGE-1 y ROUGE-L en todas las tareas. Por ejemplo, en la tarea de Titulares de Noticias, C-BPO alcanzó un ROUGE-L de 0.198, superando a la mejor línea base (CoPE, un método basado en DPO) en 0.184 y a los métodos BPO estándar (BCO en 0.179).
• Comparación con Líneas Base:
  • Los métodos estándar de retroalimentación binaria (KTO, BCO) a menudo rindieron por debajo de las líneas base basadas en SFT (OPPU) cuando se aplicaron ingenuamente a la personalización, confirmando el efecto perjudicial de la superposición de preferencias no corregida.
  • C-BPO superó a los métodos basados en DPO (CoPE), los cuales requieren muestreo de rechazo complejo para construir pares negativos.
• Estudios de Ablación:
  • Volumen de Datos Auxiliares: Aumentar el volumen de datos auxiliares no garantiza ganancias monótonas; se requiere una cantidad suficiente de datos del usuario objetivo para anclar el proceso de eliminación de sesgos.
  • Unicidad del Usuario: C-BPO mostró las mejoras más significativas en grupos de usuarios "Únicos" (alta distancia interusuarios), mientras que los métodos BPO estándar no lograron avances en grupos "No únicos" (alta superposición).
  • Punto de Referencia: La estrategia de EMA independiente fue crucial para la estabilidad, evitando caídas de rendimiento cuando las proporciones de datos estaban desequilibradas.

5. Significado y Afirmaciones

El artículo afirma que C-BPO ofrece una solución robusta, teóricamente sólida y escalable para alinear LLMs con preferencias individuales matizadas. Su significado radica en:

• Eficiencia: Elimina la necesidad de construir costosos pares contrastivos (como en DPO) o depender de LLMs de alto recurso para comparaciones textuales.
• Utilización de Datos: Aprovecha eficazmente datos históricos crudos y no emparejados tanto del usuario objetivo como de los usuarios auxiliares, convirtiendo el "ruido" de las preferencias compartidas en una señal calibrada.
• Generalización: El marco es agnóstico al modelo y efectivo a través de diferentes arquitecturas base y tipos de tareas.

Los autores reconocen limitaciones, incluida la sensibilidad al coeficiente de calibración $\alpha$ (aunque se proporciona un método de estimación) y el requisito de acceso a un conjunto de datos auxiliar centralizado, lo cual plantea desafíos de privacidad en entornos federados o en el dispositivo. Sin embargo, el trabajo establece un nuevo paradigma para la personalización que va más allá del modelado de historiales aislados hacia una comparación explícita e interusuarios calibrada por preferencias.