Multi-Faceted Self-Consistent Preference Alignment for Query Rewriting in Conversational Search

1. Il Problema

La Riformulazione delle Query Conversazionali (CQR) è un passaggio intermedio cruciale nei sistemi di ricerca conversazionale e nel Question Answering (CQA). Spesso le query degli utenti sono ambigue o dipendenti dal contesto (es. uso di pronomi come "esso" o omissione di entità chiave). L'obiettivo della CQR è riscrivere queste query in forma "decontestualizzata" e autonoma per migliorare il recupero dei documenti pertinenti.

Tuttavia, le ricerche precedenti presentano diverse limitazioni:

• Mancanza di Feedback Integrato: La maggior parte dei modelli si allena su query riscritte etichettate da umani o generati da LLM, ignorando il feedback derivante dalle fasi successive: il recupero (retrieval) dei documenti e la generazione della risposta.
• Dipendenza da Dati Etichettati: I metodi che incorporano segnali di recupero spesso richiedono passaggi "gold" (documenti pertinenti annotati manualmente), rendendo il processo costoso e non generalizzabile a dati non etichettati.
• Obiettivo Limitato: Molti approcci mirano solo alla leggibilità per l'uomo o alla risoluzione della coreferenza, senza ottimizzare direttamente per la pertinenza del recupero o la qualità della risposta finale.

2. Metodologia: MSPA-CQR

Gli autori propongono MSPA-CQR (Multi-Faceted Self-Consistent Preference Aligned CQR), un framework che allinea il modello di riscrittura a tre dimensioni di preferenze: Riscrittura, Recupero e Risposta. Il metodo si articola in due fasi principali:

Fase 1: Costruzione di Dati di Preferenza Multi-Faccettati

Invece di affidarsi a annotazioni umane, il sistema utilizza un Large Language Model (LLM) per generare dati di preferenza in modo automatico e scalabile:

1. Campionamento: Per ogni query originale e il suo contesto, un LLM genera multiple query riscritte candidate ($RQt$).
2. Simulazione del Flusso: Per ogni query candidata, il sistema:
   • Recupera i top-100 documenti pertinenti (usando BM25).
   • Genera una risposta potenziale basata sulla query riscritta.
3. Valutazione di Auto-Consistenza (Self-Consistency Scoring): Vengono calcolati tre punteggi per ordinare le query candidate:
   • Punteggio di Riscrittura ($RW$): Misura la coerenza semantica tra le diverse query riscritte generate (usando un modello NLI) e penalizza le query troppo brevi che mancano di contesto.
   • Punteggio di Recupero ($RT$): Misura l'intersezione dei documenti recuperati dalle diverse query. Una maggiore sovrapposizione indica una query più stabile e orientata al recupero.
   • Punteggio di Risposta ($RP$): Misura la coerenza semantica tra le risposte generate dalle diverse query.
4. Selezione: Le query con il punteggio più alto e più basso per ciascuna delle tre dimensioni vengono selezionate come campioni "scelti" (chosen) e "rifiutati" (rejected) per costruire il dataset di preferenza.

Fase 2: Ottimizzazione Diretta delle Preferenze Multi-Faccettata Guidata da Prefisso (MDPO)

Per addestrare il modello a distinguere e ottimizzare per queste diverse preferenze, gli autori introducono una variante del Direct Preference Optimization (DPO):

• Guida tramite Prefisso: Durante l'addestramento, viene aggiunto un prefisso specifico all'istruzione di input (es. [REWRITE], [RETRIEVAL], [RESPONSE]). Questo permette al modello di apprendere quale obiettivo ottimizzare in base al contesto.
• Obiettivo di Ottimizzazione: Il modello viene ottimizzato per massimizzare la probabilità della query "scelta" rispetto a quella "rifiutata" per la specifica preferenza indicata dal prefisso.
• Inferenza: Durante la fase di test, il sistema genera tre query separate guidate dai tre diversi prefissi. Queste tre query vengono poi concatenate per eseguire il recupero finale, sfruttando la complementarità delle diverse dimensioni.

3. Contributi Chiave

1. Allineamento Multi-Dimensionale: È il primo approccio che integra simultaneamente feedback da tre dimensioni (riscrittura, recupero, risposta) per la CQR, superando i limiti degli approcci focalizzati solo sul recupero.
2. Auto-Consistenza Senza Annotazioni: Propone un metodo innovativo per costruire dati di preferenza di alta qualità senza bisogno di passaggi "gold" annotati manualmente, utilizzando strategie di auto-consistenza su LLM.
3. Meccanismo di Controllo tramite Prefisso: Introduce un metodo efficace per guidare un singolo modello a comportarsi diversamente in base all'obiettivo desiderato (recupero vs. risposta vs. chiarezza), permettendo una flessibilità operativa superiore.
4. Complementarità delle Preferenze: Dimostra sperimentalmente che le query generate sotto diverse preferenze recuperano insiemi di documenti diversi (bassa sovrapposizione), rendendo la loro combinazione (concatenazione) più efficace rispetto all'uso di una singola query.

4. Risultati Sperimentali

Il modello è stato valutato su due dataset popolari: QReCC e TopiOCQA, utilizzando sia sistemi di recupero sparsi (BM25) che densi (ANCE).

• Performance Superiori: MSPA-CQR supera tutti i baseline dello stato dell'arte (inclusi AdaCQR, RETPO, IterCQR) su quasi tutte le metriche (MRR, NDCG@3, Recall@10/100).
  • Ad esempio, su TopiOCQA con recupero denso, ottiene un MRR di 41.4 contro il 38.5 di AdaCQR e il 30.0 di RETPO.
• Generalizzazione Zero-Shot: Il modello dimostra una forte capacità di generalizzazione su dataset non visti durante l'addestramento (CAsT-19, CAsT-20, CAsT-21), superando i baseline anche in scenari fuori distribuzione.
• Analisi delle Componenti: Gli esperimenti di ablazione confermano che:
  • L'uso combinato delle tre preferenze è superiore all'uso di una singola preferenza.
  • La guida tramite prefisso è essenziale per distinguere le preferenze.
  • La concatenazione diretta delle query è più efficace della fusione dei punteggi di ranking (RRF), poiché evita di amplificare il rumore.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nella ricerca sulla CQR spostando il paradigma dall'ottimizzazione statica basata su dati statici a un processo di allineamento dinamico e multi-obiettivo.

• Efficienza dei Dati: Elimina la dipendenza da costose annotazioni umane per i dati di feedback di recupero, rendendo il metodo applicabile a domini con risorse limitate.
• Qualità del Recupero: Dimostra che considerare la "risposta" e la "chiarezza della riscrittura" come segnali di feedback porta a query che recuperano documenti più pertinenti e completi.
• Flessibilità Architetturale: La tecnica di controllo tramite prefisso offre una nuova strada per addestrare modelli unici capaci di adattarsi a diversi compiti di ottimizzazione all'interno dello stesso pipeline di ricerca.

In sintesi, MSPA-CQR dimostra che un approccio olistico, che considera l'intero ciclo di vita della ricerca conversazionale (dalla formulazione della query alla risposta finale), porta a miglioramenti sostanziali e misurabili rispetto agli approcci tradizionali.