Resumen Técnico: Modelos de Recompensa de Mezcla de Expertos Dispersos para el Modelado de Preferencias Personalizadas

Declaración del Problema

El Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) depende de modelos de recompensa para alinear los Grandes Modelos de Lenguaje (LLMs) con los valores humanos. Sin embargo, los enfoques existentes suelen entrenar una única función de recompensa global, asumiendo implícitamente una noción unificada de los valores humanos. Esta suposición no logra capturar el pluralismo y la heterogeneidad inherentes de las preferencias humanas, lo que limita la efectividad de la alineación personalizada.

Intentos previos para modelar preferencias heterogéneas han explorado la incorporación de señales de supervisión adicionales, como anotaciones de atributos multifacéticos o etiquetas específicas de usuario. Aunque son efectivos, estos métodos incurren en altos costos de anotación y dependen de dimensiones de preferencia predefinidas, lo que limita su escalabilidad y flexibilidad. Los enfoques alternativos basados en datos intentan aprender múltiples componentes de preferencia directamente a partir de datos de preferencia binaria sin anotaciones adicionales. Sin embargo, sin un diseño explícito para la interpretabilidad, estos componentes aprendidos suelen capturar patrones entrelazados e incoherentes, lo que los hace difíciles de auditar y menos efectivos para una personalización transparente.

Metodología

Los autores proponen un Modelo de Recompensa de Mezcla de Expertos Dispersos (Sparse Mixture-of-Experts - MoE) entrenado únicamente con datos de preferencia binaria estándar. La arquitectura consiste en $K$ funciones de recompensa de expertos $\{r_{\theta_k}\}$ y un enrutador $\pi_\phi(x)$ que produce una distribución softmax sobre los expertos basada en el prompt de entrada $x$. La recompensa final es un promedio ponderado de las puntuaciones de los expertos.

Para asegurar que el modelo aprenda expertos interpretables y especializados, el objetivo de entrenamiento incluye la pérdida de preferencia Bradley-Terry estándar ($L_{RM}$) aumentada con tres términos de regularización específicos:

1. Dispersión Local ($L_{ls}$): Minimiza la entropía de los pesos de enrutamiento para entradas individuales. Esto incentiva al enrutador a seleccionar un experto (o muy pocos) para cualquier prompt dado, evitando una distribución uniforme.
2. Equilibrio Global ($L_{gb}$): Maximiza la entropía de la distribución de enrutamiento promedio a través de un lote (batch). Esto evita el "colapso del modelo", donde el enrutador depende de un solo experto para todas las entradas, asegurando una utilización equilibrada del conjunto de expertos.
3. Diversidad de Expertos ($L_{div}$): Penaliza la correlación de Pearson por pares entre las diferencias de recompensa ($\Delta_k = r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)$) de diferentes expertos. Esto obliga a los expertos a capturar señales de preferencia distintas y desentrelazadas.

La función de pérdida total se define como:
$$L = L_{RM} + \lambda_{ls}L_{ls} + \lambda_{gb}L_{gb} + \lambda_{div}L_{div}$$

Interpretación y Adaptación:

• Interpretación: Los expertos se interpretan resumiendo sus ejemplos de mayor activación utilizando un LLM, lo que genera descripciones en lenguaje natural de los dominios o tareas específicas en los que cada experto se especializa.
• Personalización: En el tiempo de prueba, los expertos están congelados y el enrutador se ajusta (fine-tuning) utilizando un pequeño conjunto de ejemplos de adaptación (por ejemplo, 50 ejemplos) para alinearse con las preferencias individuales. Los cambios en los pesos de los expertos tras la adaptación sirven como una lente cualitativa para analizar cómo el modelo se adapta.

Contribuciones Clave

1. Arquitectura: Introducción de un modelo de recompensa MoE disperso que aprende expertos desentrelazados y especializados a partir de datos de preferencia binaria sin requerir anotaciones de atributos adicionales o etiquetas de usuario.
2. Mecanismo de Interpretabilidad: Demostración de que forzar la dispersión y la diversidad durante el entrenamiento conduce a patrones de enrutamiento que se alinean con estructuras semánticas interpretables por humanos (por ejemplo, temas específicos, tipos de tareas o dominios).
3. Eficacia de la Personalización: Demostración de que estos expertos desentrelazados sirven como bloques de construcción efectivos para la personalización en tiempo de prueba, permitiendo una adaptación rápida a las preferencias individuales con un mínimo de datos.
4. Capacidad Diagnóstica: Establecimiento de que los cambios en los pesos de los expertos tras la adaptación proporcionan una visión transparente del comportamiento de adaptación del modelo, vinculando las activaciones de expertos específicos con atributos de preferencia objetivo.

Resultados Experimentales

Los autores evaluaron el método en entornos controlados y del mundo real:

• Experimentos Controlados (Recuperación de Categorías): En el conjunto de datos Stanford Human Preferences (SHP), donde las categorías latentes (Académico, Profesional, Cocina, Ficción) eran conocidas, el Sparse MoE recuperó con éxito las cuatro categorías. Logró una Pureza de Experto del 85.60% (comparado con aproximadamente el 50% de las líneas base) y una Especialización de Experto de 5.77%, superando significativamente al Vanilla MoE y a MiCRo en el aprendizaje de patrones de enrutamiento coherentes.
• Direccionamiento de Atributos (Attribute Steering): En el conjunto de datos Reasonable Preference Reversal (RPR), los autores demostraron que manipular los pesos de enrutamiento podía dirigir efectivamente el comportamiento del modelo hacia atributos específicos (por ejemplo, "Creatividad" frente a "Rigor Científico"). El Sparse MoE logró una tasa de inversión (flip rate) del 43.83%, superando a la línea base más fuerte por un 4.52%.
• Interpretabilidad en el Mundo Real: En el conjunto de datos preference-700K, el Sparse MoE alcanzó la mayor Fidelidad de Descripción (0.38) y Especialización de Experto (15.13). La evaluación humana confirmó que los patrones de enrutamiento del Sparse MoE eran significativamente más coherentes que los de las líneas base.
• Desempeño de la Personalización: En la personalización en tiempo de prueba en RPR, el Sparse MoE mejoró la precisión general en 25.81 puntos con solo 50 ejemplos de adaptación, superando sustancialmente a todas las líneas base (que mostraron mejoras de menos de 10 puntos). Se observaron ganancias similares en la adaptación a nivel de usuario en el conjunto de datos PersonalLLM.

Significancia y Reivindicaciones

El artículo afirma que los modelos de recompensa Sparse MoE ofrecen una solución escalable para el modelado de preferencias personalizadas que no depende de anotaciones predefinidas y costosas. Al aprender expertos interpretables y especializados directamente de datos binarios, el enfoque permite:

• Personalización Transparente: La capacidad de adaptar los LLMs a las preferencias individuales manteniendo una comprensión clara de cómo se adapta el modelo (a través de los cambios en los pesos de los expertos).
• Representación Desentrelazada: La recuperación de estructuras semánticas latentes que de otro modo estarían ocultas en los modelos de recompensa globales.
• Eficiencia: Una personalización efectiva con muy pocos ejemplos de adaptación (tan pocos como 5), lo que lo hace práctico para el despliegue en el mundo real donde los datos del usuario son escasos.

Los autores reconocen las limitaciones, señalando que el método introduce una complejidad en el ajuste de hiperparámetros y una ligera disminución en la precisión del modelado de preferencias universal. También destacan los riesgos éticos, como la posibilidad de que los modelos sean adaptados para reforzar comportamientos dañinos o eludir restricciones de seguridad, recomendando una supervisión ética cuidadosa para el despliegue en el mundo real.