Generative Retrieval via Diffusion Transformer with Metric-Ordered Sequence Training and Hybrid-Policy Preference Optimization

Résumé technique détaillé de l'article : « Generative Retrieval via Diffusion Transformer with Metric-Ordered Sequence Training and Hybrid-Policy Preference Optimization »

Définition du problème : Récupération d'attributs préservant le motif (Pattern-Preserving Attribute Retrieval)

L'article traite d'une limitation spécifique des systèmes de récupération en production : la tension entre la satisfaction d'un attribut cible (ex. : qualité, sécurité, conformité aux politiques) et la préservation d'un motif fin (ex. : un style visuel spécifique, un sujet ou un mode de défaillance) défini par un ensemble de graines (seed set).

Les approches standards échouent à équilibrer ces objectifs :

• La moyenne des plongements (embeddings) des graines préserve le motif mais aboutit souvent dans une région de faible densité d'attributs, récupérant des éléments ordinaires qui manquent de l'attribut souhaité.
• La récupération d'attributs globale trouve des éléments possédant l'attribut cible, mais dérive souvent vers des motifs sans rapport, inondant les résultats de variantes non pertinentes.

Les auteurs formalisent cela comme une Récupération d'attributs préservant le motif. L'objectif est de générer un plongement de requête qui récupère les $K$ plus proches voisins qui sont simultanément positifs pour l'attribut et du motif de la graine. Ils définissent une métrique d'intersection primaire, Joint@K, qui pénalise à la fois l'échec de l'attribut et la dérive du motif.

Méthodologie : MO-DiT+HPPO

Le cadre proposé, MO-DiT+HPPO (Metric-Ordered Diffusion Transformer with Hybrid-Policy Preference Optimization), est un pipeline d'entraînement par étapes conçu pour naviguer dans l'espace des plongements des régions de faible densité vers les régions de haute densité tout en restant au sein d'un cluster de motif spécifique.

1. Architecture : Récupérateur génératif continu

Le modèle central est un Transformer de Diffusion (DiT) opérant dans un espace de plongement multimodal gelé.

• Entrée : Une séquence de plongements d'éléments (l'ensemble de graines) sert de jetons de conditionnement.
• Sortie : Un plongement de requête continu généré via le flow matching.
• Mécanisme : Le modèle apprend un champ de vitesse pour transporter un bruit gaussien vers un plongement cible le long d'un chemin géodésique sur l'hypersphère unité. Contra Contrairement à la récupération générative discrète, il synthétise directement un vecteur continu, évitant ainsi l'hallucination d'identifiants invalides.

2. Construction de séquences ordonnées par métrique

Pour enseigner au modèle la direction de « l'amélioration » sans étiquetage dense en ligne, les auteurs construisent des trajectoires d'entraînement :

• Clustering : Les éléments positifs pour l'attribut sont regroupés pour définir des proxys de motifs latents.
• Étiquetage parcimonieux : Un sous-ensemble restreint d'éléments est étiqueté en ligne pour la « densité de rappel » (fraction des $K$ plus proches voisins satisfaisant l'attribut).
• Prédiction et ordonnancement : Un prédicteur de métrique léger est entraîné sur ces étiquettes parcimonieuses pour scorer l'ensemble du pool. Les éléments au sein d'un cluster de motif sont triés de faible à haute densité d'attribut prédite.
• Résultat : Les séquences d'entraînement représentent une trajectoire se déplaçant des éléments ordinaires du motif vers des régions de haute densité d'attribut.

3. Pipeline d'entraînement par étapes

Le cadre procède à travers quatre étapes, utilisant toutes le même backbone DiT et l'objectif de flow-matching, mais avec des données et des cibles de supervision différentes :

• Étape 1 : Pré-entraînement sur séquences brutes à grande échelle : Établit un a priori de récupération continue général en utilisant des séquences naturelles (ex. : flux de comportement utilisateur) sans ordonnancement métrique.
• Étape 2 : Pré-entraînement par continuation (CPT) multi-domaine partagé et ordonné par métrique : S'entraîne sur les séquences ordonnées par métrique construites à travers tous les domaines. Le modèle apprend à prédire l'élément suivant dans une trajectoire de faible à haute densité, internalisant la « direction d'amélioration métrique » comme une capacité générale.
• Étape 3 : Fine-tuning supervisé (SFT) spécifique au domaine sur le centroïde de la queue (Tail-Centroid) : Mappe le préfixe d'entrée (les $m$ premiers éléments) vers le centroïde de la queue de haute densité (les $L-m$ derniers éléments). L'utilisation d'un centroïde plutôt que d'un seul élément de tête réduit la sensibilité au bruit et aux valeurs aberrantes.
• Étape 4 : Optimisation de préférence à politique hybride (HPPO) : Aligne le modèle avec l'objectif réel en ligne (Joint@K).
  • Pool de candidats hybride : Génère des candidats à partir de deux sources : (1) des constructions de centroïdes de queue déterministes (statiques, préservant le motif) et (2) des requêtes générées par la politique échantillonnées avec un « éventail d'échelle de guidage » (faisant varier le compromis entre motif et attribut).
  • Étiquetage : Les candidats sont scorés à l'aide de la récupération réelle en ligne (Joint@K et Same@K).
  • Filtre de paire Pareto : Un composant critique qui filtre les paires de préférence. Un « gagnant » (Joint@K plus élevé) n'est accepté que s'il ne réduit pas la Part de Même-Motif (pureté) par rapport au « perdant ». Cela empêche le modèle de gagner des scores d'attribut en dérivant vers des motifs non liés.
  • Optimisation : Utilise une perte de préférence ancrée sur une référence (similaire à DPO), où le score est la perte de flow-matching négative, régularisée par un modèle de référence SFT gelé.

Contributions clés

1. Formalisation : Définition de la Récupération d'attributs préservant le motif et de la métrique d'intersection Joint@K.
2. Séquences ordonnées par métrique : Introduction d'une méthode pour convertir des étiquettes en ligne parcimonieuses en de larges trajectoires d'entraînement ordonnées par métrique qui encodent la direction de l'amélioration de l'attribut.
3. Cadre par étapes : Démonstration que le CPT multi-domaine partagé suivi du SFT de centroïde de queue spécifique au domaine améliore la récupération à travers divers domaines.
4. HPPO : Adaptation de l'optimisation de préférence pour la diffusion générative continue, utilisant un pool de candidats hybride et un filtre de paire Pareto sensible au compromis pour garantir que les gains d'attribut ne se font pas au détriment de la pureté du motif.
5. Protocole d'évaluation : Établissement d'un protocole d'évaluation strict avec des séparations par item et par motif (holdout splits) et des tests de signification par bootstrap apparié.

Résultats

L'article évalue l'approche sur quatre domaines d'attributs à grande échelle (D1–D4) sous des protocoles de holdout stricts.

• Performance : Le pipeline MO-DiT+HPPO surpasse significativement un récupérateur génératif pré-entraîné robuste et les lignes de base de moyenne simple.
• Signification : Les gains en Joint@K sont importants et statistiquement significatifs (bootstrap apparié) dans sept des huit cellules de division de domaine. Sur le split de motif du domaine le plus difficile, la méthode obtient une égalité marginale, indiquant une robustesse dans les scénarios difficiles.
• Ablations :
  • Filtre Pareto : Supprimer le filtre provoque un glissement du modèle le long de la frontière attribut-motif (gain d'attributs mais perte de pureté). Le filtre pousse la frontière vers l'extérieur, améliorant le Joint@K tout en maintenant ou augmentant la Part de Même-Motif.
  • Politique de candidat : Il est montré que les candidats statiques (centroïde de queue) et générés par la politique (éventail de guidage) sont complémentaires ; le pool hybride donne de meilleurs résultats que l'un ou l'autre seul.
  • Ordonnancement : L'entraînement ordonné par métrique surpasse les lignes de base non ordonnées ou à domaine unique.

Signification et affirmations

L'article affirme que MO-DiT+HPPO résout avec succès la tension entre la satisfaction de l'attribut et la préservation du motif dans la récupération générative continue. En traitant la récupération comme un problème de génération dans un espace continu et en utilisant une approche par étapes qui passe de priors généraux à des trajectoires spécifiques ordonnées par métrique, le système apprend à synthétiser des requêtes qui ciblent des régions de haute densité de motifs spécifiques.

Les auteurs soulignent que le filtre de paire Pareto est l'ingrédient clé qui empêche le « détournement de récompense » (sacrifier le motif pour l'attribut). Le cadre permet des mises à jour par domaine pratiques car le pré-entraînement coûteux est partagé, tandis que l'alignement final (HPPO) est peu coûteux en calcul et repose sur de réels indicateurs en ligne plutôt que sur des récompenses proxies apprises. Ce travail comble le fossé entre la modélisation générative hors ligne et les objectifs de récupération en ligne, fournissant une méthode pour étendre les ensembles de graines pour des tâches en aval telles que la découverte de contenu, la détection de variantes et la curation de jeux de données sans perdre l'intention spécifique du motif de la graine.