Technische Samenvatting: Het verenigen van Ranking en Generatie in Query Auto-Completion via RAG en Multi-Objective Alignment

Probleemformulering

Query Auto-Completion (QAC) is een cruciaal eerste contactpunt in zoeksystemen, ontworpen om suggesties te doen terwijl gebruikers typen om het aantal toetsaanslagen te verminderen en de intentie te verduidelijken. Traditionele QAC-systemen vertrouwen op een twee-fasen retrieve-and-rank paradigma: kandidaten worden geëxtraheerd uit historische logs of catalogi, gevolgd door een learning-to-rank model dat ze scoort op basis van relevantie en populariteit.

De auteurs identificeren drie fundamentele beperkingen in deze conventionele aanpak:

1. Beperkte Dekking: De dekking wordt begrensd door historische logs, waardoor het niet slaagt in het leveren van hoogwaardige suggesties voor nieuwe of long-tail prefixes met een schaarse interactiegeschiedenis.
2. Complexe Doelstellingsoptimalisatie: Het balanceren van concurrerende doelstellingen (relevantie, veiligheid, diversiteit en grondigheid) vereist uitgebreide handmatische feature engineering en heuristische blending, wat vaak faalt in het vastleggen van complexe onderlinge afhankelijkheden.
3. Gebrek aan Holistische Optimalisatie: Ontkoppelde kandidaatgeneratie en ranking voorkomen lijst-niveau optimalisatie, wat vaak resulteert in redundante of semantisch gelijkaardige suggesties.

Hoewel recente generatieve benaderingen met behulp van Large Language Models (LLMs) de dekking verbeteren, introduceren ze nieuwe uitdagingen: hallucinatie (het suggereren van niet-bestaande items), gebrek aan grondigheid (het negeren van daadwerkelijke doorzoekbare inhoud) en veiligheidsrisico's (het genereren van schadelijke completions).

Methodologie

Het paper stelt een verenigd framework voor dat QAC herformuleert als end-to-end lijstgeneratie met behulp van Retrieval-Augmented Generation (RAG) en Multi-Objective Direct Preference Optimization (DPO).

1. Architectuur en RAG-pipeline

Het systeem werkt via een multi-stage RAG-pipeline (Figuur 2):

• Kandidaatgeneratie: Kandidaten worden afkomstig uit twee complementaire kanalen: een Query Index (snelle lookup vanuit historische logs) en een Content Retriever (embedding-gebaseerde retrieval uit de catalogus). Dit zorgt voor een hoge recall en verankert suggesties in daadwerkelijke catalogusitems.
• Prompt Constructie: Contextuele informatie wordt opgehaald voor alle kandidaten, inclus\nsluitend catalogusmetadata (titels, beoordelingen) en query-kenmerken (frequentie, conversieratio's). Deze context wordt samengesteld in een gestructureerde prompt om de generatie te funderen.
• Lijstgeneratie: Een fine-tuned LLM (de Generator) verwerkt de prompt om een volledige, geordende lijst van suggesties te synthetiseren in een enkele forward pass, in plaats van het ranken van vooraf gegenereerde kandidaten.

2. Trainingspipeline

De Generator wordt getraind via een vier-fasen proces (Figuur 3):

• Synthetische Datageneratie: Vanwege het tekort aan hoogwaardige gelabelde data, maken de auteurs gebruik van een iteratief critique-and-revision proces. Een "Teacher" LLM genereert initiële lijsten, die worden geanalyseerd door een "Critic" LLM op zaken als redundantie of gebrekkige diversiteit. De Teacher reviseert vervolgens de output. Deze loop produceert een hoogwaardige synthetische corpus (~50k paren), aangevuld met een kleine set menselijk gelabelde data.
• Supervised Fine-Tuning (SFT): De Generator wordt gefine-tuned op de gecombineerde synthetische en menselijk gelabelde dataset om de taakstructuur en outputformat te leren.
• Verifier Suite: Een suite van verifiers is gedefinieerd om zes specifieke doelstellingen te operationaliseren:
  1. Relevantie: Gescoord via een fine-tuned model met behulp van menselijke oordelen.
  2. Veiligheid: Een binaire classifier getraind op domeinspecifieke veiligheidsbeleid.
  3. Engagement: Gebaseerd op conditionele conversiekansen en historische ratio's.
  4. Catalog Grondigheid: Een regelgebaseerde check die garandeert dat suggesties leiden tot niet-lege zoekresultaten.
  5. Context Grondigheid: Een LLM-as-judge die verifieert of suggesties afleidbaar zijn uit de opgehaalde context (om hallucinaties te voorkomen).
  6. Diversiteit: Een aangepaste entropie-formule die bijna-duplicaten in zoekresultaten bestraft.
  7. Formaat: Een regelgebaseerde check voor een parseerbare outputstructuur.
• Multi-Objective Direct Preference Optimization (DPO): De SFT-getrainde model wordt verder gealigneerd met behulp van DPO. Preference-paren worden geconstrueerd door kandidaat-lijsten te samplen, te scoren met de samengestelde reward-functie (gewogen som van verifier-scores), en paren te selecteren met significante reward-marges. Het model wordt geoptimaliseerd om de voorkeur te geven aan hogere-reward lijsten terwijl de nabijheid tot het referentiebeleid behouden blijft.

3. Hybride Serving Architectuur

Om een balans te vinden tussen kwaliteit en strikte latentie-eisen, implementeren de auteurs een twee-lagen architectuur:

• Offline Pre-computatie: Een Large Generator berekent vooraf suggesties voor veelvoorkomende prefixes, die gecached worden voor sub-milliseconde retrieval.
• Online Real-time Inferentie: Een Compact Generator handelt cache-misses af (long-tail of nieuwe prefixes) in real-time, wat dekking biedt voor opkomende queries binnen acceptabele latentie-limieten (~100ms).

Belangrijkste Bijdragen

Het paper claimt vier primaire bijdragen:

1. Herformulering van QAC: De verschuiving van retrieve-and-rank naar end-to-end lijstgeneratie met multi-objective optimalisatie, wat een holistische balans mogelijk maakt tussen concurrerende doelen.
2. Verifier Suite: Het definiëren en implementeren van een uitgebreide suite van regelgebaseerde, modelgebaseerde en LLM-as-judge verifiers die op maat zijn gemaakt voor QAC, dekkend voor relevantie, veiligheid, grondigheid, engagement, diversiteit en formaat.
3. Synthetische Datamethodologie: Het presenteren van een pipeline die RAG, multi-objective DPO en iteratieve critique-revision combineert om hoogwaardige synthetische data voor training te genereren.
4. Productie Validatie: Het valideren van de aanpak op een grootschalig commercieel zoekplatform met uitgebreide offline, menselijke en online evaluaties.

Resultaten

Het framework werd geëvalueerd op een propriëtaire dataset van 50.000 query prefixes en geïmplementeerd in een live A/B-test met 10% van het productieverkeer.

Offline Metrieken

Vergeleken met een traditionele Learning-to-Rank (LTR) baseline en hybride baselines:

• Dekking: Het volledige model bereikte ~93% dekking, aanzienlijk hoger dan de LTR-baseline (84,6%) en competitief met generatieve baselines.
• Veiligheid & Grondigheid: DPO-tuning verminderde de onveilige rates aanzienlijk (0,65% vs. 0,79% in baselines) en de catalogus-ongrondige rates (0,49% vs. 0,67%), wat een effectieve mitigatie van generatieve risico's aantoont.
• Relevantie & Diversiteit: Het model behaalde relevantiescores van ~0,687 en diversiteitsscores in de 74–76 range, waarmee het de LTR-baseline overtrof op relevantie en de baselines evenaarde of overtrof op diversiteit.

Menselijke Evaluatie

• Item-wijze Relevantie: Het Full model behaalde de hoogste score (0,699) vergeleken met de LTR-baseline (0,653).
• Pairwise Preferentie: Modellen met DPO vertoonden sterke preferentie scores (+0,40 tot +0,69) ten opzichte van de baseline, wat aangeeft dat gebruikers de suggesties als nuttiger en diverser ervoeren.

Online A/B Test

In een gecontroleerd experiment met 10% van het verkeer:

• Keystrokes: Bereikte een reductie van 5,44% in het aantal getypte karakters door gebruikers.
• Adoptie: Bereikte een toename van 3,46% in de click-through rate (CTR) van suggesties.
• Alle verbeteringen waren statistisch significant (p < 0,05).

Betekenis en Claims

De auteurs positioneren dit werk als een paradigmaverschuiving voor product-waardige QAC-systemen. Zij claimen dat het verenigen van ranking en generatie via RAG en multi-objective alignment een effectieve oplossing biedt die de fundamentele trade-offs van traditionele systemen overwint.

Specifiek stelt het paper dat:

• End-to-end generatie, aangedreven door LLMs, wanneer geconstraint door RAG en multi-objective DPO, tegelijkertijd kan optimaliseren voor relevantie, veiligheid, grondigheid en diversiteit zonder te vertrouwen op uitgebreide handmatige feature engineering.
• Het voorgestelde framework productie-gevalideerd is, wat bewijst dat complexe generatieve modellen onder strikte latentie-eisen kunnen worden ingezet via hybride serving architecturen.
• De methodologie generaliseerbaar is buiten mobiele app-zoekopdrachten naar andere domeinen (e-commerce, media) waar gebruikers vertrouwen op query-suggesties om grote, vaste catalogi te verkennen.

Het werk vestigt een framework dat verder gaat dan eenvoudige retrieval of onbeperkte generatie, en biedt een principiële aanpak voor het beheren van de complexe onderlinge afhankelijkheden van moderne auto-completion.