Generative Retrieval via Diffusion Transformer with Metric-Ordered Sequence Training and Hybrid-Policy Preference Optimization

Definizione del Problema: Recupero di Attributi con Preservazione del Pattern

Il documento affronta un limite specifico nei sistemi di recupero (retrieval) in produzione: la tensione tra il soddisfacimento di un attributo target (ad esempio, qualità, sicurezza, conformità alle policy) e la preservazione di un pattern fine-grained (ad esempio, uno stile visivo specifico, un argomento o una modalità di errore) definito da un set di semi (seed set).

Gli approcci standard falliscono nel bilanciare questi obiettivi:

• La media degli embedding dei semi preserva il pattern ma spesso approda in una regione a bassa densità di attributi, recuperando elementi ordinari che mancano dell'attributo desiderato.
• Il recupero globale dell'attributo trova elementi con l'attributo target ma spesso deriva verso pattern non correlati, inondando i risultati con varianti irrilevanti.

Gli autori formalizzano questo problema come Recupero di Attributi con Preservazione del Pattern (Pattern-Preserving Attribute Retrieval). L'obiettivo è generare un embedding di query che recuperi i $K$ vicini più prossimi che siano simultaneamente positivi rispetto all'attributo e del pattern del seme. Definiscono una metrica di intersezione primaria, Joint@K, che penalizza sia il fallimento dell'attributo che la deriva del pattern.

Metodologia: MO-DiT+HPPO

Il framework proposto, MO-DiT+HPPO (Metric-Ordered Diffusion Transformer with Hybrid-Policy Preference Optimization), è una pipeline di addestramento a stadi progettata per navigare lo spazio degli embedding dalle regioni a bassa densità a quelle ad alta densità, rimanendo all'interno di un cluster di pattern specifico.

1. Architettura: Recuperatore Generativo Continuo

Il modello centrale è un Diffusion Transformer (DiT) che opera in uno spazio di embedding multimodale congelato.

• Input: Una sequenza di embedding di item (il seed set) che funge da token di condizionamento.
• Output: Un embedding di query continuo generato tramite flow matching.
• Meccanismo: Il modello apprende un campo di velocità per trasportare il rumore gaussiano verso un embedding target lungo un percorso geodetico sull'ipersfera unitaria. A differenza del recupero generativo discreto, esso sintetizza direttamente un vettore continuo, evitando l'allucinazione di identificatori non validi.

2. Costruzione di Sequenze Ordinate per Metrica

Per insegnare al modello la direzione del "miglioramento" senza un labeling denso online, gli autori costruiscono traiettorie di addestramento:

• Clustering: Gli item positivi rispetto all'attributo vengono raggruppati per definire dei proxy latenti del pattern.
• Labeling Sparso: Un piccolo sottoinsieme di item viene etichettato online per la "densità di richiamo" (la frazione di vicini top-$K$ che soddisfano l'attributo).
• Predizione e Ordinamento: Un leggero predittore di metrica viene addestrato su questi label sparsi per punteggiare l'intero pool. Gli item all'interno di un cluster di pattern sono ordinati da bassa ad alta densità predetta dell'attributo.
• Risultato: Le sequenze di addestramento rappresentano una traiettoria che si muove dagli item ordinari all'interno del pattern verso regioni ad alta densità di attributi.

3. Pipeline di Addestramento a Stadi

Il framework procede attraverso quattro stadi, tutti utilizzando lo stesso backbone DiT e lo stesso obiettivo di flow-matching, ma con dati e obiettivi di supervisione differenti:

• Stadio 1: Pre-addestramento su Grandi Sequenze Raw: Stabilisce un prior generale di recupero continuo utilizzando sequenze naturali (ad esempio, flussi di comportamento degli utenti) senza l'ordinamento metrico.
• Stadio 2: Pre-addestramento per Continuazione (CPT) Multi-Dominio Condiviso e Ordinato per Metrica: Si addestra sulle sequenze ordinate per metrica costruite attraverso tutti i domini. Il modello impara a predire l'item successivo in una traiettoria da bassa ad alta densità, interiorizzando la "direzione di miglioramento della metrica" come una capacità generale.
• Stadio 3: Fine-Tuning Supervisionato (SFT) del Centroide della Coda Specifico per Dominio: Mappa il prefisso di input (i primi $m$ item) sul centroide della coda ad alta densità (gli ultimi $L-m$ item). L'uso di un centroide invece di un singolo item top riduce la sensibilità al rumore e agli outlier.
• Stadio 4: Ottimizzazione delle Preferenze con Policy Ibrida (HPPO): Allinea il modello con l'obiettivo online reale (Joint@K).
  • Pool di Candidati Ibrido: Genera candidati da due fonti: (1) costruzioni del centroide della coda deterministiche (statiche, preservanti del pattern) e (2) query generate dalla policy campionate con un "ventaglio di scala di guida" (guidance-scale fan) che varia il compromesso tra pattern e attributo.
  • Labeling: I candidati sono valutati utilizzando il recupero online reale (Joint@K e Same@K).
  • Filtro di Coppie Pareto: Una componente critica che filtra le coppie di preferenza. Un "vincitore" (Joint@K più alto) viene accettato solo se non riduce la Quota di Stesso-Pattern (purezza) rispetto allo "perdente". Ciò impedisce al modello di guadagnare punteggi di attributo derivando verso pattern non correlati.
  • Ottimizzazione: Utilizza una perdita di preferenza ancorata al riferimento (simile a DPO), dove il punteggio è il negativo della perdita di flow-matching, regolarizzato da un modello di riferimento SFT congelato.

Contributi Chiave

1. Formalizzazione: Definizione del Recupero di Attributi con Preservazione del Pattern e della metrica di intersezione Joint@K.
2. Sequenze Ordinate per Metrica: Introduzione di un metodo per convertire label online sparse in ampie traiettorie di addestramento in-pattern che codificano la direzione del miglioramento dell'attributo.
3. Framework a Stadi: Dimostrazione che il CPT multi-dominio condiviso seguito dal SFT del centroide della coda specifico per dominio migliora il recupero in diversi domini.
4. HPPO: Adattamento dell'ottimizzazione delle preferenze per il recupero di diffusione continuo, utilizzando un pool di candidati ibrido e un filtro di coppia Pareto consapevole del compromesso per garantire che i guadagni di attributo non avvengano a scapito della purezza del pattern.
5. Protocollo di Valutazione: Stabilimento di un rigoroso protocollo di valutazione con split di holdout per item e pattern e test di significatività tramite bootstrap accoppiato.

Risultati

Il documento valuta l'approccio su quattro grandi domini di attributi (D1–D4) sotto rigorosi protocolli di holdout.

• Performance: La pipeline MO-DiT+HPPO supera significativamente un forte recuperatore generativo pre-addestrato e i baseline di media semplice.
• Significatività: I guadagni in Joint@K sono ampi e statisticamente significativi (tramite bootstrap accoppiato) in sette delle otto celle di split del dominio. Sullo split del pattern del dominio più difficile, il metodo ottiene un pareggio marginale, indicando robustezza in scenari difficili.
• Ablazioni:
  • Filtro Pareto: Rimuovere il filtro causa uno scivolamento del modello lungo la frontiera attributo-pattern (guadagno di attributi ma perdita di purezza). Il filtro spinge la frontiera verso l'esterno, migliorando il Joint@K pur mantenendo o aumentando la Quota di Stesso-Pattern.
  • Policy dei Candidati: Si dimostra che i candidati statici (centroide della coda) e quelli generati dalla policy (ventaglio di guida) sono complementari; il pool ibrido produce risultati migliori rispetto a ciascuno dei due da solo.
  • Ordinamento: L'addestramento ordinato per metrica supera i baseline non ordinati o a dominio singolo.

Significato e Rivendicazioni

Il documento afferma che MO-DiT+HPPO risolve con successo la tensione tra la soddisfazione dell'attributo e la preservazione del pattern nel recupero generativo continuo. Trattando il recupero come un problema di generazione in uno spazio continuo e utilizzando un approccio a stadi che si muove da prior generali a traiettorie specifiche ordinate per metrica, il sistema impara a sintetizzare query che mirano a regioni ad alta densità di specifici pattern.

Gli autori sottolineano che il filtro di coppia Pareto è l'ingrediente chiave che impedisce il "reward hacking" (sacrificare il pattern per l'attributo). Il framework consente aggiornamenti pratici per dominio, poiché il pre-addestramento costoso è condiviso, mentre l'allineamento finale (HPPO) è computazionalmente leggero e si basa su metriche online reali piuttosto che su reward proxy appresi. Il lavoro colma il divario tra la modellazione generativa offline e gli obiettivi di recupero online, fornendo un metodo per espandere i seed set per compiti a valle come la scoperta di contenuti, la rilevazione di varianti e la cura dei dataset senza perdere l'intento specifico del pattern del seme.