Resumen Técnico: Optimización de Política Owen-Shapley (OSPO)

Enunciado del Problema

Los Modelos de Lenguaje Grande (LLMs) se despliegan cada vez más en sistemas de recomendación generativa, donde sintetizan preferencias de usuario y refinan consultas de búsqueda para condicionar la recuperación y el ranking aguas abajo. Si bien los métodos de Aprendizaje por Refuerzo (RL) como la Optimización de Política Relativa por Grupos (GRPO) permiten el entrenamiento sin modelos de valor paramétricos mediante el uso de recompensas terminales a nivel de secuencia (por ejemplo, NDCG de un recuperador), sufren de una brecha crítica en la asignación de crédito.

En el RL estándar sin modelo de valor, una única ventaja escalar se asigna uniformemente a todos los tokens en una secuencia generada. Esto oscurece qué frases o segmentos semánticos específicos contribuyeron realmente a la salida de alta calidad. Esta limitación es particularmente aguda en tareas de recomendación donde los modelos deben inferir la intención latente del usuario a partir de lenguaje mal especificado, sin etiquetas de verdad fundamental. Además, la asignación de crédito uniforme hace que los modelos sean vulnerables al hackeo de recompensas, donde el modelo se sobreajusta a señales superficiales o explota atajos en recuperadores de caja negra en lugar de aprender representaciones de consultas robustas y semánticamente coherentes. Soluciones existentes como los Modelos de Recompensa de Proceso (PRM) requieren pasos intermedios etiquetados, y los métodos basados en atención a menudo enredan correlaciones espurias.

Metodología: Optimización de Política Owen-Shapley (OSPO)

Los autores introducen OSPO, un marco que redistribuye las ventajas a nivel de secuencia basándose en las contribuciones marginales de segmentos de tokens semánticamente coherentes (coaliciones) al resultado final. OSPO opera en el régimen libre de críticos, sin requerir redes de valor externas.

Mecanismo Central

1. Segmentación y Coaliciones: Las respuestas generadas se descomponen en $N$ segmentos semánticamente significativos (por ejemplo, frases, oraciones). En lugar de evaluar todos los $2^N$ subconjuntos posibles (intratable), OSPO restringe la evaluación a coaliciones contiguas (segmentos consecutivos). Esto preserva la coherencia semántica y reduce la complejidad computacional de exponencial a lineal $O(N \cdot w_{max})$, donde $w_{max}$ es el ancho máximo de la coalición.
2. Atribución Owen-Shapley: Utilizando la teoría de juegos cooperativa, OSPO calcula los valores de Owen para cada segmento. El valor $\phi_j$ de un segmento $j$ es su contribución marginal esperada a la recompensa cuando se añade a varias coaliciones contiguas $S$:
   $$\phi_j^{Owen} = \frac{1}{|C_j|} \sum_{S \in C_j} (v(S \cup \{j\}) - v(S))$$
   Aquí, $v(S)$ es la recompensa obtenida al consultar el recuperador (o modelo de recompensa) con la secuencia parcial formada al concatenar los segmentos en la coalición $S$.
3. Redistribución de Ventajas: La ventaja a nivel de secuencia $\hat{A}^{(g)}$ (calculada mediante normalización relativa por grupos en GRPO) se redistribuye a los tokens individuales. La ventaja a nivel de token $A_t^{(g)}$ se calcula como:
   $$A_t^{(g)} = T \cdot \tilde{\phi}_t^{(g)} \cdot \hat{A}^{(g)}$$
   donde $\tilde{\phi}_t$ es el valor de Owen normalizado para el segmento del token, y $T$ es la longitud de la secuencia. La multiplicación por $T$ asegura la invarianza de longitud, evitando que secuencias más largas reciban señales de gradiente desproporcionadamente más débiles en comparación con las más cortas.
4. Objetivo: La política se actualiza utilizando una función objetivo sustituta recortada (similar a PPO/GRPO) pero utilizando estas ventajas de tokens finas y ponderadas por Owen.

Variantes

El artículo evalúa tres estrategias de redistribución:

• OSPO-PROP: Redistribución proporcional basada en valores de Owen normalizados.
• OSPO-RANK: Redistribuye basado en la posición ordinal de los valores de Owen para manejar estimaciones ruidosas.
• OSPO-CLIP: Restringe las ventajas redistribuidas a un rango basado en la desigualdad de Chebyshev para la estabilidad.

Contribuciones Clave

1. Asignación de Crédito Principiada sin Modelos de Valor: OSPO cierra la brecha entre recompensas terminales dispersas y actualizaciones de tokens finas aprovechando los valores Owen-Shapley, eliminando la necesidad de críticos aprendidos o modelos de recompensa de proceso.
2. Semántica Basada en Coaliciones: Al tratar frases semánticamente coherentes como jugadores en un juego de coalición, OSPO identifica qué partes de una respuesta impulsan la utilidad aguas abajo (por ejemplo, éxito en la recuperación), ofreciendo una mejor interpretabilidad que la asignación uniforme.
3. Eficiencia y Escalabilidad: La restricción de coaliciones contiguas hace que el cálculo sea tratable para el entrenamiento de RL en línea, escalando linealmente con el número de segmentos, a diferencia de las aproximaciones cuadráticas en trabajos anteriores basados en Shapley.
4. Robustez ante el Cambio de Distribución: El método aprende representaciones de consultas agnósticas al recuperador que se generalizan bien a recuperadores no vistos y espacios de incrustación.

Resultados Experimentales

Los autores evaluaron OSPO en dos conjuntos de datos de comercio electrónico: Amazon ESCI (refinamiento de consultas de búsqueda de productos) y H&M Fashion (búsqueda contextualizada y resumen de perfiles de usuario).

• Mejoras de Rendimiento: OSPO-PROP superó consistentemente a las líneas base (SFT, DPO, GRPO) en todas las métricas (NDCG, AP, MRR, Recall). En el conjunto de datos ESCI, OSPO-PROP (7B) logró un NDCG de 0.522, superando al modelo de 32B (0.496) y al modelo de 72B (0.543, aunque el de 72B se degradó en H&M). En H&M, OSPO-PROP (7B) alcanzó un NDCG de 0.436, superando a GRPO (0.379) y acercándose al rendimiento de GPT-4o (0.433) con una fracción del número de parámetros.
• Eficiencia de Muestra: OSPO alcanzó el rendimiento objetivo en aproximadamente 50% menos pasos de entrenamiento que GRPO.
• Generalización: En evaluaciones cruzadas de recuperadores (entrenando en un modelo de incrustación y probando en otro), OSPO mantuvo un rendimiento sólido, mientras que GRPO y los métodos fuera de línea (DPO, SFT) se degradaron significativamente. Esto sugiere que OSPO aprende señales de alineación más transferibles.
• Estabilidad: OSPO demostró una menor varianza de recompensa y evitó el colapso por "hackeo de recompensas" (por ejemplo, generar secuencias vacías o mínimas) observado en GRPO durante las etapas posteriores del entrenamiento.
• Estudios de Ablación: Los autores encontraron que coaliciones contiguas de ancho moderado (por ejemplo, $w_{max}=4$ a $8$) con un muestreo suficiente proporcionaron el mejor equilibrio entre contexto local y exploración. Las coaliciones no contiguas llevaron al colapso del rendimiento, y las coaliciones muy estrechas causaron sobreajuste a patrones superficiales.

Significado y Afirmaciones

El artículo afirma que OSPO proporciona un enfoque principiado y libre de críticos para resolver el problema de asignación de crédito en la recomendación generativa. Al pasar de la uniformidad a nivel de token a la atribución marginal a nivel de segmento, OSPO permite que los modelos aprendan por qué una respuesta fue exitosa, enfocando las actualizaciones de gradiente en unidades semánticas de alta contribución.

Los autores enfatizan que este enfoque permite que modelos más pequeños (por ejemplo, 7B) compitan o superen a modelos mucho más grandes (32B, 72B) y a modelos de vanguardia de cero disparos (GPT-4o) en tareas específicas de recuperación. Además, la capacidad del método para generalizar a través de recuperadores y espacios de incrustación no vistos destaca su potencial para un despliegue robusto en entornos de recomendación dinámicos donde las preferencias de verdad fundamental son latentes y la retroalimentación es escasa. El trabajo sugiere que las atribuciones basadas en coaliciones actúan como un regularizador intrínseco, promoviendo comportamientos estables, transferibles e interpretables sin la sobrecarga computacional de entrenar funciones de valor.