Generative Retrieval via Diffusion Transformer with Metric-Ordered Sequence Training and Hybrid-Policy Preference Optimization

Resumen Técnico: Recuperación Generativa mediante Transformador de Difusión con Entrenamiento de Secuencia Ordenado por Métricas y Optimización de Preferencias de Política Híbrida

Definición del Problema: Recuperación de Atributos con Preservación de Patrones

El artículo aborda una limitación específica en los sistemas de recuperación en producción: la tensión entre satisfacer un atributo objetivo (por ejemplo, calidad, seguridad, cumplimiento de políticas) y preservar un patrón fino (por ejemplo, un estilo visual específico, un tema o un modo de falla) definido por un conjunto de semillas (seed set).

Los enfoques estándar fallan al intentar equilibrar estos objetivos:

• El promedio de los embeddings de las semillas preserva el patrón, pero a menudo aterriza en una región de baja densidad de atributos, recuperando elementos ordinarios que carecen del atributo deseado.
• La recuperación de atributos globales encuentra elementos con el atributo objetivo, pero a menudo deriva hacia patrones no relacionados, inundando los resultados con variantes irrelevantes.

Los autores formalizan esto como Recuperación de Atributos con Preservación de Patrones. El objetivo es generar un embedding de consulta que recupere los $K$ vecinos más cercanos que sean simultáneamente positivos para el atributo y del patrón de la semilla. Definen una métrica de intersección primaria, Joint@K, que penaliza tanto el fallo del atributo como la deriva del patrón.

Metodología: MO-DiT+HPPO

El marco propuesto, MO-DiT+HPPO (Metric-Ordered Diffusion Transformer with Hybrid-Policy Preference Optimization), es un flujo de entrenamiento por etapas diseñado para navegar el espacio de embeddings desde regiones de baja densidad hacia regiones de alta densidad mientras se mantiene dentro de un clúster de patrón específico.

1. Arquitectura: Recuperador Generativo Continuo

El modelo central es un Transformador de Difusión (DiT) que opera en un espacio de embedding multimodal congelado.

• Entrada: Una secuencia de embeddings de elementos (el conjunto de semillas) actúa como tokens de condición.
• Salida: Un embedding de consulta continuo generado mediante flow matching.
• Mecanismo: El modelo aprende un campo de velocidad para transportar el ruido gaussiano hacia un embedding objetivo a lo largo de una trayectoria geodésica en la hiperesfera unitaria. A diferencia de la recuperación generativa discreta, sintetiza directamente un vector continuo, evitando la alucinación de identificadores inválidos.

2. Construcción de Secuencias Ordenadas por Métricas

Para enseñar al modelo la dirección de "mejora" sin un etiquetado denso en línea, los autores construyen trayectorias de entrenamiento:

• Clustering: Los elementos positivos para el atributo se agrupan para definir proxies de patrones latentes.
• Etiquetado Dispar (Sparse Labeling): Un pequeño subconjunto de elementos se etiqueta en línea para la "densidad de recuperación" (fracción de los $K$ vecinos más cercanos que satisfacen el atributo).
• Predicción y Ordenamiento: Se entrena un predictor de métricas ligero sobre estos etiquetas dispersas para puntuar todo el conjunto. Los elementos dentro de un clúster de patrón se ordenan de baja a alta densidad de atributo predicha.
• Resultado: Las secuencias de entrenamiento representan una trayectoria que se mueve desde elementos ordinarios dentro del patrón hacia regiones de alta densidad de atributos.

3. Flujo de Entrenamiento por Etapas

El marco procede a través de cuatro etapas, todas utilizando el mismo backbone de DiT y el objetivo de flow-matching, pero con diferentes datos y objetivos de supervisión:

• Etapa 1: Preentrenamiento de Secuencias Crudas a Gran Escala: Establece un prior de recuperación continua general utilizando secuencias naturales (por ejemplo, flujos de comportamiento de usuarios) sin ordenamiento métrico.
• Etapa 2: Preentrenamiento de Continuación (CPT) Multidominio Compartido y Ordenado por Métricas: Entrena sobre las secuencias ordenadas por métricas construidas a través de todos los dominios. El modelo aprende a predecir el siguiente elemento en una trayectoria de baja a alta densidad, internalizando la "dirección de mejora métrica" como una capacidad general.
• Etapa 3: Ajuste Fino Supervisado (SFT) de Centroide de Cola Específico de Dominio: Mapea el prefijo de entrada (primeros $m$ elementos) al centroide de la cola de alta densidad (últimos $L-m$ elementos). El uso de un centroide en lugar de un solo elemento superior reduce la sensibilidad al ruido y a los valores atípicos.
• Etapa 4: Optimización de Preferencia de Política Híbrida (HPPO): Alinea el modelo con el objetivo real en línea (Joint@K).
  • Pool de Candidatos Híbrido: Genera candidatos de dos fuentes: (1) construcciones de centroide de cola deterministas (estáticas, preservadoras de patrón) y (2) consultas generadas por la política muestreadas con un "abanico de escala de guía" (guidance-scale fan) (variando el compromiso entre patrón y atributo).
  • Etiquetado: Los candidatos se puntúan utilizando la recuperación real en línea (Joint@K y Same@K).
  • Filtro de Pares Pareto: Un componente crítico que filtra los pares de preferencia. Un "ganador" (mayor Joint@K) solo se acepta si no reduce la Participación del Mismo Patrón (pureza) en relación con el "perdedor". Esto evita que el modelo gane puntuaciones de atributo derivando hacia patrones no relacionados.
  • Optimización: Utiliza una pérdida de preferencia anclada a una referencia (similar a DPO), donde la puntuación es la pérdida negativa de flow-matching, regularizada por un modelo de referencia SFT congelado.

Contribuciones Clave

1. Formalización: Definió la Recuperación de Atributos con Preservación de Patrones y la métrica de intersección Joint@K.
2. Secuencias Ordenadas por Métricas: Introdujo un método para convertir etiquetas en línea dispersas en trayectorias de entrenamiento a gran escala que codifican la dirección de la mejora del atributo.
3. Marco por Etapas: Demostró que el CPT multidominio compartido seguido del SFT de centroide de cola específico de dominio mejora la recuperación en diversos dominios.
4. HPPO: Adaptó la optimización de preferencias para la difusión generativa continua, utilizando un pool de candidatos híbrido y un filtro de pares Pareto consciente del compromiso para asegurar que las ganancias de atributos no ocurran a expensas de la pureza del patrón.
5. Protocolo de Evaluación: Estableció un protocolo de evaluación estricto con divisiones de exclusión (holdout) de elementos y de patrones, junto con pruebas de significancia de bootstrap emparejado.

Resultados

El artículo evalúa el enfoque en cuatro dominios de atributos a gran escala (D1–D4) bajo protocolos estrictos de exclusión.

• Desempeño: El flujo MO-DiT+HPPO supera significativamente a un recuperador generativo preentrenado fuerte y a los modelos base de promedio simple.
• Significancia: Las ganancias en Joint@K son grandes y estadísticamente significativas (en bootstrap emparejado) en siete de las ocho celdas de división de dominios. En la división de patrones del dominio más difícil, el método logra un empate marginal, lo que indica robustez en escenarios complicados.
• Ablaciones:
  • Filtro Pareto: Eliminar el filtro hace que el modelo se deslice a lo largo de la frontera de atributo-patrón (ganando atributos pero perdiendo pureza). El filtro empuja la frontera hacia afuera, mejorando el Joint@K mientras mantiene o aumenta la Participación del Mismo Patrón.
  • Política de Candidatos: Se demuestra que los candidatos estáticos (centroide de la cola) y los generados por la política (abanico de guía) son complementarios; el pool híbrido produce mejores resultados que cualquiera de los dos por separado.
  • Ordenamiento: El entrenamiento ordenado por métricas supera a los baselines no ordenados o de dominio único.

Significado y Reivindicaciones

El artículo afirma que MO-DiT+HPPO resuelve con éxito la tensión entre la satisfacción del atributo y la preservación del patrón en la recuperación generativa continua. Al tratar la recuperación como un problema de generación en un espacio continuo y utilizar un enfoque por etapas que va desde los priors generales hasta trayectorias específicas ordenadas por métricas, el sistema aprende a sintetizar consultas que apuntan a regiones de alta densidad de patrones específicos.

Los autores enfatizan que el filtro de pares Pareto es el ingrediente clave que evita el "ataque de recompensa" (reward hacking, sacrificar el patrón por el atributo). El marco permite actualizaciones prácticas por dominio, ya que el preentrenamiento costoso es compartido, mientras que el alineamiento final (HPPO) es computacionalmente ligero y depende de métricas reales en línea en lugar de recompensas aproximadas aprendidas. El trabajo cierra la brecha entre el modelado generativo offline y los objetivos de recuperación online, proporcionando un método para expandir conjuntos de semillas para tareas posteriores como el descubrimiento de contenido, la detección de variantes y la curación de conjuntos de datos sin perder la intención específica del patrón de la semilla.