Resumen Técnico: Alineación Progresiva de un Modelo Fundacional de Recomendación mediante Post-entrenamiento Multifase

Planteamiento del Problema

Aunque los Modelos Fundacionales (FM, por sus siglas en inglés) para recomendación han demostrado capacidades sólidas para modelar el comportamiento secuencial del usuario a largo plazo, su despliegue práctico enfrenta dos desafíos críticos:

1. Olvido Catastrófico: El ajuste fino (fine-tuning) directo de backbones preentrenados masivos junto con módulos específicos de la tarea inicializados aleatoriamente en un solo paso suele desestabilizar las representaciones preentrenadas, lo que conduce a la pérdida del conocimiento conductual general.
2. Desalineación con las Métricas de Negocio: El Aprendizaje Supervisado (SFT) estándar optimiza el feedback implícito denso (por ejemplo, clics, "likes"). Sin embargo, estos objetivos a nivel de tarea no siempre se alinean con las métas de negocio dispersas y retardadas (por ejemplo, retención a largo plazo, conversión de pago) que finalmente determinan la calidad de la recomendación. Además, la optimización directa de las políticas de servicio sobre etiquetas de negocio dispersas suele resultar en una generalización deficiente y una débil capacidad de discriminación de ranking en comparación con las políticas entrenadas con señales densas.

Los enfoques existentes luchan por equilibrar la estabilidad de la adaptación con la necesidad de alinear la política de servicio con los objetivos de negocio a largo plazo sin sacrificar la capacidad de ranking construida sobre el feedback denso.

Metodología

Los autores proponen un marco de post-entrenamiento progresivo de tres fases que desacopla explícitamente la adaptación del conocimiento descendente de la alineación con las métricas de negocio. El marco consta de las siguientes etapas:

1. Arquitectura del Modelo

El sistema emplea un paradigma Foundation–Expert (Fundacional–Experto). Un codificador secuencial preentrenado (backbone del FM) genera embeddings de usuario, los cuales se fusionan con un módulo ligero y específico de la tarea que codifica características superficiales específicas.

• Codificador Descendente (Downstream Encoder): Utiliza un pooling de atención cruzada para comprimir la secuencia del FM en una representación fija, la cual se concatena con las características descendentes.
• Modelo de Recompensa (Reward Model): Para manejar los objetivos de negocio dispersos, se entrena un modelo de recompensa para predecir la profundidad del compromiso del usuario (modelado como un embudo ordinal de 6 niveles, desde la impresión hasta la finalización de contenido de pago). Este modelo incorpora una cabeza de propensión de impresión para corregir el sesgo de exposición utilizando el Puntuación de Propensión Inversa Auto-Normalizada (SNIPS).

2. Fase 1: Sondeo Lineal (Linear Probing - LP)

• Objetivo: Estabilizar la integración de los componentes específicos de la tarea sin corromper el backbone preentrenado.
• Proceso: El backbone del FM está congelado. Solo se optimizan el módulo descendente y las cabezas de predicción.
• Objetivo: Minimizar una pérdida combinada de política (predicción de clic), recompensa (profundidad del embudo) y propensión (exposición) para alinear los espacios semánticos de los componentes descendentes con la representación del FM congelado.

3. Fase 2: Ajuste Fino Completo (Full Fine-Tuning - FFT)

• Objetivo: Especializar conjuntamente todo el modelo para la tarea objetivo preservando la estabilidad ganada en la Fase 1.
• Proceso: El backbone del FM es descongelado. Todos los parámetros se actualizan.
• Estrategia: Se emplea una estrategia de tasa de aprendizaje discriminativa, donde el backbone del FM se actualiza con una tasa de aprendizaje un orden de magnitud menor que la de los módulos descendentes. Esto permite una adaptación rápida de los componentes específicos de la tarea mientras el backbone se co-adapta de forma conservadora para prevenir el olvido catastrófico.

4. Fase 3: Ajuste Fino por Refuerzo (Reinforcement Fine-Tuning - RFT)

• Objetivo: Alinear la política de servicio estabilizada con los objetivos de negocio a largo plazo utilizando el modelo de recompensa aprendido como señal, en lugar de optimizar directamente sobre etiquetas dispersas.
• Proceso: El snapshot del modelo al final de la FFT sirve como política de referencia ($\pi_{ref}$) congelada. La cabeza de la política y el backbone del FM se optimizan utilizando Optimización de Política Relativa de Grupo (GRPO) o Optimización de Preferencia Directa (DPO).
• Mecanismo:
  • GRPO: Para un estado de usuario dado, la política toma una muestra de un grupo de acciones candidatas. El modelo de recompensa proporciona feedback escalar denso. Las ventajas se calculan normalizando las recompensas dentro del grupo, y la política se actualiza para maximizar el objetivo subrogado recortado (clipped surrogate objective) con regularización KL contra $\pi_{ref}$.
  • DPO: Se construyen pares de preferencia basados en las puntuaciones del modelo de recompensa (o resultados observados del embudo), y la política se optimiza para preferir artículos de mayor recompensa sin necesidad de un modelado de recompensa explícito durante el paso de actualización.
• Distinción Clave: El modelo de recompensa no se despliega como la política de servicio. En su lugar, actúa como una señal de alineación para guiar la política entrenada con feedback denso hacia los objetivos de negocio.

Contribuciones Clave

1. Marco de Adaptación Progresiva: El artículo introduce un pipeline estructurado LP-FFT-RFT que mitiga el olvido catastrófico al separar la estabilización de las cabezas de la tarea de la especialización del modelo completo.
2. Estrategia de Alineación Desacoplada: Propone una separación de roles novedosa donde el feedback implícito denso entrena la capacidad de ranking de la política de servicio, mientras que las métricas de negocio dispersas entrenan un modelo de recompensa utilizado únicamente como señal de alineación. Esto evita los problemas de generalización de la optimización directa de etiquetas dispersas.
3. Alineación Basada en Recompensa vs. Servicio Directo: El trabajo demuestra que el uso de un modelo de recompensa aprendido como señal de alineación (vía RFT) produce un rendimiento superior en comparación con el despliegue del modelo de recompensa directamente como política de ranking.
4. Validación Empírica: El marco se valida mediante extensos estudios de ablación offline y pruebas A/B online a gran escala en una plataforma de Webtoon de producción.

Resultados

Evaluación Offline

• Superioridad de LP-FFT: El SFT de dos fases (LP $\to$ FFT) con tasas de aprendizaje discriminativas supera a los baselines de una sola fase (ya sea solo LP o solo FFT) tanto en Rank NDCG (ranking de clics de catálogo completo) como en Funnel NDCG (ranking de títulos impresos por profundidad de compromiso).
• Efectividad de RFT: La aplicación de RFT a la política de SFT estabilizada mejora aún más ambos métricas.
• Alineación vs. Servicio Directo:
  • Una política entrenada directamente sobre el modelo de recompensa logró un alto Funnel NDCG pero un bajo Rank NDCG, lo que indica que carece de discriminación para el ranking de catálogo completo.
  • GRPO con Modelado de Recompensa (RM) logró el mejor rendimiento general, igualando el Funnel NDCG del modelo de recompensa directo mientras mantiene un Rank NDCG significativamente más alto.
  • DPO mostró resultados mixtos; aunque el DPO con preferencias observadas del embudo funcionó bien, el DPO con preferencias inducidas por el modelo de recompensa tuvo un desempeño inferior, lo que sugiere que convertir recompensas escalares en pares binarios puede descartar información relativa útil.

Pruebas A/B Online

• Mejora del Baseline: El baseline del modelo fundacional de 2 fases (SFT) superó consistentemente al modelo de producción convencional no-fundacional (CTRL) en todas las métricas de sesión (Clic, Lectura Comprometida, Conversión de Pago).
• Ganancias de Alineación: Las variantes alineadas con RFT proporcionaron ganancias adicionales sobre el baseline de SFT.
  • GRPO con RM: Mostró las mejoras más fuertes en métricas de compromiso medio-profundo (por ejemplo, llegar al último episodio gratuito, último episodio de pago), demostrando una dirección efectiva hacia los objetivos de negocio a largo plazo.
  • DPO sin RM: Mostró las mayores ganancias en métricas de interacción inmediata (Clic/Imp), lo que sugiere que es altamente efectivo para el ranking del tope del emb funnel cuando se usan preferencias observadas directas.
• Estabilidad: Todas las variantes del modelo fundacional exhibieron una mejora estable tras un periodo transitorio inicial, siendo GRPO con RM la que mostró las ganancias más persistentes en los resultados de compromiso profundo.

Significancia y Reivindicaciones

El artículo afirma que el post-entrenamiento progresivo es un enfoque práctico y efectivo para desplegar modelos fundacionales en sistemas de recomendación industriales. Su principal significancia radica en:

1. Estabilidad: Separar explícitamente la adaptación del conocimiento específico de la tarea (vía LP y FFT) de la alineación impulsada por la recompensa evita la inestabilidad y el olvido catastrófico asociados con la optimización directa de todos los parámetros.
2. Cerrar la Brecha: El marco logra cerrar la brecha entre el feedback implícito denso (que proporciona una fuerte discriminación de ranking) y las métricas de negocio dispersas (que definen el valor real) al utilizar estas últimas únicamente como una señal de recompensa para la alineación, en lugar de como un objetivo de entrenamiento directo para la política de servicio.
3. Viabilidad en Producción: Los resultados online a gran escala confirman que este enfoque multifase mejora la calidad de la recomendación en producción sobre los baselines convencionales, validando que separar la adaptación supervisada de la alineación basada en recompensa mejora tanto la estabilidad de la optimización como el rendimiento del servicio descendente.