Riepilogo Tecnico: Unificare Classificazione e Generazione nel Completamento Automatico delle Query tramite RAG e Allineamento Multi-Obiettivo

Formulazione del Problema

Il completamento automatico delle query (Query Auto-Completion, QAC) è un punto di contatto critico nei sistemi di ricerca, progettato per suggerire completamenti mentre gli utenti digitano, al fine di ridurre i tasti premuti e chiarire l'intento. I sistemi QAC tradizionali si affidano a un paradigma a due stadi di recupero e classificazione (retrieve-and-rank): i candidati vengono estratti dai log storici o dai cataloghi, seguiti da un modello di learning-to-rank che li valuta in base a rilevanza e popolarità.

Gli autori identificano tre limitazioni fondamentali in questo approccio convenzionale:

1. Copertura Limitata: La copertura è vincolata dai log storici, fallendo nel fornire suggerimenti di alta qualità per prefissi nuovi o della "coda lunga" (long-tail) con una storia di interazione scarsa.
2. Ottimizzazione di Obiettivi Complessi: Bilanciare obiettivi contrastanti (rilevanza, sicurezza, diversità, fondatezza) richiede un esteso ingegneria manuale delle caratteristiche e blending euristici, che spesso non riescono a catturare le complesse interdipendenze.
3. Mancanza di Ottimizzazione Olistica: La separazione tra generazione dei candidati e classificazione impedisce l'ottimizzazione a livello di lista, portando spesso a suggerimenti ridondanti o semanticamente simili.

Sebbene i recenti approcci generativi che utilizzano i Large Language Models (LLM) affrontino la questione della copertura, essi introducono nuove sfide: allucinazione (suggerire elementi inesistenti), mancanza di fondatezza (ignorare il contenuto effettivamente ricercabile) e rischi di sicurezza (generare completamenti dannosi).

Metodologia

Il documento propone un framework unificato che riformula la QAC come generazione di liste end-to-end utilizzando la Retrieval-Augmented Generation (RAG) e la Direct Preference Optimization (DPO) multi-obiettivo.

1. Architettura e Pipeline RAG

Il sistema opera attraverso una pipeline RAG a più stadi (Figura 2):

• Generazione dei Candidati: I candidati provengono da due canali complementari: un Indice di Query (ricerca rapida dai log storici) e un Recuperatore di Contenuti (recupero basato su embedding dal catalogo). Ciò garantisce un'alta recall e ancora i suggerimenti agli elementi reali del catalogo.
• Costruzione del Prompt: Le informazioni contestuali vengono recuperate per tutti i candidati, inclusi i metadati del catalogo (titoli, valutazioni) e le caratteristiche della query (frequenza, tassi di conversione). Questo contesto viene compilato in un prompt strutturato per dare fondatezza alla generazione.
• Generazione della Lista: Un LLM fine-tuned (il Generatore) elabora il prompt per sintetizzare una lista completa e ordinata di suggerimenti in un unico passaggio forward, anziché classificare candidati pre-generati.

2. Pipeline di Addestramento

Il Generatore viene addestrato attraverso un processo in quattro stadi (Figura 3):

• Generazione di Dati Sintetici: A causa della scarsità di dati etichettati di alta qualità, gli autori impiegano un processo iterativo di critica e revisione (critique-and-revision). Un LLM "Insegnante" genera liste iniziali, che vengono analizzate da un LLM "Critico" per problemi come ridondanza o scarsa diversità. L'Insegnante rivede quindi l'output. Questo ciclo produce un corpus sintetico di alta qualità (~50k coppie), aumentato da un piccolo set di dati etichettati da esseri umani.
• Supervised Fine-Tuning (SFT): Il Generatore viene sottoposto a fine-tuning sul dataset combinato di dati sintetici e umani per apprendere la struttura del compito e il formato di output.
• Suite di Verificatori: Una suite di verificatori è definita per operazionalizzare sei obiettivi specifici:
  1. Rilevanza: Valutata tramite un modello fine-tuned usando giudizi umani.
  2. Sicurezza: Un classificatore binario addestrato su policy di sicurezza specifiche del dominio.
  3. Engagement: Basato su probabilità di conversione condizionale e tassi storici.
  4. Fondatezza del Catalogo: Un controllo basato su regole che assicura che i suggerimenti restituiscano risultati di ricerca non vuoti.
  5. Fondatezza del Contesto: Un "LLM-as-judge" che verifica che i suggerimenti siano derivabili dal contesto recuperato (per prevenire allucinazioni).
  6. Diversità: Una formula di entropia aggiustata che penalizza i risultati di ricerca quasi duplicati.
  7. Formato: Un controllo basato su regole per la struttura di output analizzabile.
• Multi-Objective Direct Preference Optimization (DPO): Il modello addestrato tramite SFT viene ulteriormente allineato tramite DPO. Le coppie di preferenza sono costruite campionando liste candidate, valutandole con la funzione di ricompensa composita (somma pesata dei punteggi dei verificatori) e selezionando le coppie con margini di ricompensa significativi. Il modello è ottimizzato per preferire liste con ricompensa maggiore mantenendo la prossimità alla policy di riferimento.

3. Architettura di Servizio Ibrida

Per bilanciare la qualità con i rigorosi vincoli di latenza, gli autori implementano un'architettura a due livelli:

• Pre-computazione Offline: Un Grande Generatore pre-computa i suggerimenti per i prefissi ad alta frequenza, che vengono memorizzati in cache per un recupero in millisecondi.
• Inferenza Real-time Online: Un Generatore Compatto gestisce i mancati inserimenti in cache (prefissi della coda lunga o nuovi) in tempo reale, garantendo la copertura per le query emergenti entro limiti di latenza accettabili (~100ms).

Contributi Chiave

Il documento dichiara quattro contributi primari:

1. Riformulazione della QAC: Passaggio dalla classificazione e recupero alla generazione di liste end-to-end con ottimizzazione multi-obiettivo, consentendo un bilanciamento olistico di obiettivi contrastanti.
2. Suite di Verificatori: Definizione e implementazione di una suite completa di verificatori basati su regole, modelli e "LLM-as-judge" specifici per la QAC, coprendo rilevanza, sicurezza, fondatezza, engagement, diversità e formato.
3. Metodologia dei Dati Sintetici: Presentazione di una pipeline che combina RAG, DPO multi-obiettivo e critica-revisione iterativa per generare dati sintetici di alta qualità per l'addestramento.
4. Validazione in Produzione: Validazione dell'approccio su una piattaforma di ricerca commerciale su larga scala con estese valutazioni offline, umane e online.

Risultati

Il framework è stato valutato su un dataset proprietario di 50.000 prefissi di query ed è stato implementato in un test A/B live con il 10% del traffico di produzione.

Metriche Offline

Rispetto a un baseline di Learning-to-Rank (LTR) tradizionale e ai baseline ibridi:

• Copertura: Il modello completo ha raggiunto una copertura del ~93%, significativamente superiore all'84,6% del baseline LTR e competitiva con i baseline generativi.
• Sicurezza e Fondatezza: Il tuning DPO ha ridotto significativamente i tassi di contenuti non sicuri (0,65% rispetto allo 0,79% dei baseline) e i tassi di non fondatezza del catalogo (0,49% rispetto allo 0,67%), dimostrando un'efficace mitigazione dei rischi generativi.
• Rilevanza e Diversità: Il modello ha ottenuto punteggi di rilevanza di ~0,687 e punteggi di diversità nell'intervallo 74–76, superando il baseline LTR in rilevanza e pareggiando o superando i baseline in diversità.

Valutazione Umana

• Rilevanza per elemento: Il modello Full ha ottenuto il punteggio più alto (0,699) rispetto allo 0,653 del baseline LTR.
• Preferenza a coppie: I modelli con DPO hanno mostrato forti punteggi di preferenza (+0,40 a +0,69) rispetto al baseline, indicando che gli utenti percepivano i suggerimenti come più utili e diversificati.

Test A/B Online

In un esperimento controllato con il 10% del traffico:

• Keystrokes (Tasti premuti): Ha ottenuto una riduzione del 5,44% dei caratteri digitati dagli utenti.
• Adozione: Ha ottenuto un incremento del 3,46% nel click-through rate (CTR) dei suggerimenti.
• Tutti i miglioramenti sono statisticamente significativi (p < 0,05).

Significato e Rivendicazioni

Gli autori posizionano questo lavoro come un cambio di paradigma per i sistemi QAC in produzione. Affermano che unificare classificazione e generazione attraverso RAG e allineamento multi-obiettivo fornisce una soluzione efficace che supera i compromessi fondamentali dei sistemi tradizionali.

Nello specifico, il documento asserisce che:

• La generazione end-to-end alimentata da LLM, quando vincolata da RAG e DPO multi-obiettivo, può ottimizzare simultaneamente rilevanza, sicurezza, fondatezza e diversità senza fare affidamento su un esteso ingegneria manuale delle caratteristiche.
• Il framework proposto è validato in produzione, dimostrando che modelli generativi complessi possono essere distribuiti sotto rigorosi vincoli di latenza tramite architetture di servizio ibride.
• La metodologia è generalizzabile oltre la ricerca nelle app mobile ad altri domini (e-commerce, media) dove gli utenti si affidano ai suggerimenti di query per esplorare ampi cataloghi fissi.

Il lavoro stabilisce un framework che va oltre il semplice recupero o la generazione non vincolata, offrendo un approccio rigoroso per gestire le complesse interdipendenze della moderna automazione delle query.