LocalSUG: Geography-Aware LLM for Query Suggestion in Local-Life Services

Deze paper introduceert LocalSUG, een geografisch bewust LLM-framework voor query-suggesties in lokale diensten dat door middel van stadsgerichte kandidaat-mining, een beam-search-gebaseerde GRPO-algoritme en optimalisaties voor inferentielatentie de klikratio verbetert en het aantal zoekopdrachten zonder resultaat verlaagt.

De kern

Stel je voor dat je in een grote, drukke stad op zoek bent naar een specifieke soort pizza. Je typt op je telefoon alleen het woord "Pizza".

In een oude, traditionele zoekmachine zou het systeem waarschijnlijk zeggen: "Oh, 'Pizza' is populair, hier zijn de 10 meest bezochte pizzaketen in heel het land." Het probleem? Als je in Beijing zit, is dat misschien een keten die daar niet bestaat. En als je in Macao zit, is het misschien een heel andere favoriet. De oude systemen zijn als een blinde gids die alleen naar een statische lijst kijkt en niet weet waar jij bent.

De auteurs van dit paper hebben een nieuwe, slimme oplossing bedacht genaamd LocalSUG. Laten we uitleggen hoe dit werkt met een paar simpele vergelijkingen.

1. Het Probleem: De "Blindeman" en de "Te Trale Robot"

In de lokale dienstverlening (zoals eten bestellen of een taxi roepen) moeten zoeksuggesties twee dingen doen:

1. Weten waar je bent: Een suggestie voor "Pizza" in Beijing moet anders zijn dan in Macao.
2. Snel zijn: Je wilt niet 10 seconden wachten op een suggestie terwijl je hongerig bent.

Bestaande systemen zijn vaak te star (ze kijken alleen naar het verleden) of te traag (ze gebruiken slimme AI-modellen die te langzaam zijn om in real-time te werken).

2. De Oplossing: LocalSUG

LocalSUG is als een super-slimme, lokale gids die drie trucs gebruikt om je perfect te helpen.

Truc 1: De "Stadsbewuste" Suggestielijst

Stel je voor dat de AI een enorme bibliotheek heeft. In plaats van te raden wat je wilt, kijkt LocalSUG eerst naar de buurman.

• Hoe het werkt: Het systeem kijkt naar wat mensen in jouw specifieke stad vaak samen typen. Als mensen in Beijing vaak "Domino's" typen na "Pizza", maar in Macao "Pizza Hut", dan leert het systeem dat.
• De metafoor: Het is alsof je een vriend vraagt: "Wat is hier populair?" in plaats van een boek te raadplegen dat voor de hele wereld geldt. Dit zorgt ervoor dat de suggesties altijd logisch zijn voor jouw locatie.

Truc 2: De "Repetitielessen" (Training)

Normaal gesproken leren AI-modellen door te kijken naar wat mensen hebben gedaan (geschiedenis). Maar in de echte wereld moet de AI een lijstje maken van suggesties, net zoals een menukaart.

• Het probleem: Als je een AI alleen leert op basis van geschiedenis, kan het vergeten hoe het werkt om een hele lijst te maken in één keer. Het is alsof je iemand leert piano spelen door alleen naar noten te kijken, maar je vergeet dat ze ook de toetsenbord-structuur moeten begrijpen.
• De oplossing: LocalSUG gebruikt een methode genaamd Beam-Search-Driven GRPO.
• De metafoor: In plaats van alleen naar het eindresultaat te kijken, laat je de AI repetities doen waarbij het alle mogelijke opties tegelijk bedenkt (zoals een pianist die verschillende akkoorden probeert) en dan de beste lijst kiest. Hierdoor leert de AI niet alleen wat goed is, maar ook hoe je een goede lijst maakt. Dit zorgt voor een veel stabielere en logischere lijst van suggesties.

Truc 3: De "Snelheidslimiet" (Versnelling)

Slimme AI-modellen zijn vaak zwaar en traag, zoals een dure sportauto die veel benzine verbruikt. Voor een app die miljoenen mensen tegelijk bedient, is dat te traag.

• De oplossing: De auteurs hebben een techniek bedacht genaamd Quality-Aware Accelerated Beam Search.
• De metafoor: Stel je voor dat je een chef-kok bent die 100 gerechten moet bereiden. In plaats van elk gerecht tot in de perfectie te koken (wat te lang duurt), laat je de chef alleen de belangrijkste ingrediënten gebruiken en snijdt hij de tijd die hij besteedt aan onbelangrijke kruiden weg.
• Het resultaat: De AI snijdt de "onzichtbare" en onbelangrijke woorden weg (zoals rare tekens of woorden die niemand gebruikt) en focust alleen op de 30.000 meest gebruikte woorden. Hierdoor is de AI veel sneller (zoals een racefiets in plaats van een vrachtwagen), maar proef je nog steeds dezelfde kwaliteit pizza.

3. Het Resultaat: Wat levert dit op?

Toen ze dit systeem in de echte wereld testten (bijvoorbeeld in een grote Chinese app voor eten bestellen), gebeurde er magie:

• Minder "Niets gevonden": Er waren 2,56% minder keren dat de gebruiker niets kon vinden. De AI vond altijd iets passends.
• Meer klikken: Mensen klikten vaker op de suggesties (+0,35%), omdat de suggesties beter bij hen pasten.
• Minder typen: Mensen hoefden minder te typen om hun bestelling te doen.

Samenvatting

LocalSUG is als een slimme, snelle lokale gids die:

1. Kijkt naar wat je buren doen (locatie-bewust).
2. Oefent met het maken van hele lijsten, niet alleen losse zinnen (slimmer leren).
3. Weglaat wat niet nodig is om supersnel te zijn (efficiënt werken).

Het zorgt ervoor dat als je "Pizza" typt, je niet krijgt wat er in een ander land populair is, maar precies datgene wat je in jouw straat kunt vinden, en dat gebeurt in een flits.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "LocalSUG: Geography-Aware LLM for Query Suggestion in Local-Life Services" in het Nederlands.

Probleemstelling

In platformen voor lokale levensdiensten (zoals eten bestellen, hotels en thuisdiensten) speelt de module voor query-suggestie een cruciale rol. Deze module genereert kandidaat-zoekopdrachten op basis van de door de gebruiker getypte voorvoegsels (prefixes), wat de typinspanning vermindert en de zoektocht versnelt.

Traditionele systemen gebruiken een multi-stadia cascade-architectuur (recall-ranking) die zwaar leunt op historische zoeklogboeken. Dit leidt tot twee grote beperkingen:

1. Moeite met lange staart (long-tail) vraag: Ze kunnen moeilijk nieuwe, zeldzame of samenstellende intenties voorspellen die niet in de historische data voorkomen.
2. Gebrek aan geografische onderbouwing: Een wereldwijd getraind Large Language Model (LLM) kan plausibele maar lokaal ongeldige suggesties doen (bijv. "Domino's Pizza" suggereren in Macau, waar ze niet opereren, terwijl "Pizza Hut" wel beschikbaar is).

Hoewel generatieve LLMs sterke semantische generalisatie bieden, introduceert hun directe toepassing in lokale diensten drie uitdagingen:

• Gebrek aan geografische context: Intenties variëren per stad.
• Exposure Bias: Bestaande methoden trainen op sequentieniveau, maar inference gebeurt via beam search (lijst-gebaseerd), wat een mismatch veroorzaakt.
• Latentie: High-capacity LLMs zijn vaak te traag voor real-time productieomgevingen.

Methodologie: LocalSUG

De auteurs stellen LocalSUG voor, een end-to-end generatief framework dat specifiek is ontworpen voor lokale levensdiensten. Het systeem bestaat uit drie kernfasen:

1. Stad-bewuste Kandidaat Mining (Geographic Grounding)

Om het gebrek aan geografische context op te lossen, gebruiken ze geen zware generatieve modellen voor de initiële kandidaatgeneratie, maar een statistische aanpak:

• Ze extraheren co-occurrence (samenkomst) van termen uit historische logboeken.
• Voor elke prefix worden twee lijsten onderhouden: een stad-specifieke lijst ($L_{city}$) en een globale lijst ($L_{global}$).
• Tijdens het opbouwen van de prompt wordt prioriteit gegeven aan de stad-specifieke lijst om lokale relevantie te garanderen. Als deze onvoldoende is, wordt aangevuld met de globale lijst.
• Deze lijst wordt gecombineerd met trending woorden, gebruikersgeschiedenis en profielen als input voor het LLM.

2. Beam-Search-Driven GRPO (Training)

Om de kloof tussen training en inference te overbruggen (exposure bias), introduceren ze een Beam-Search-Driven Group Relative Policy Optimization (GRPO) algoritme:

• In plaats van alleen sequentie-level optimalisatie, genereert het model een groep outputs via beam search tijdens het trainen.
• Een multi-objective reward-functie wordt gebruikt om de modelprestaties te sturen:
  • Gap Shaping: Straft de "staart" van de beam (onder de top-K) om hoge kwaliteit naar boven te duwen.
  • Rank & Hit: Beloning als de ground truth in de top-K staat, met extra bonus voor een hogere rangschikking.
  • Format & Miss: Straat formatfouten (herhaling, ongeldige tokens) en straft het missen van de juiste intentie.
  • Order-aware Weight: Prioriteit geven aan conversie-gerelateerde samples.

3. Kwaliteitsbewuste Versnelde Beam Search (Inference)

Om de online latentie te verlagen zonder kwaliteit te verliezen, worden twee technieken toegepast:

• Quality-Aware Accelerated Beam Search (QA-BS): Beëindigt zoekpaden vroeg als de cumulatieve log-probabiliteit onder een drempel ($\tau$) zakt, of als er al voldoende geldige kandidaten zijn gevonden.
• Vocabulary Pruning: De LM-head wordt ingekrompen tot de 30.000 meest frequente tokens, wat de rekentijd voor irrelevante tokens drastisch verlaagt.

Het systeem draait op een Qwen3-0.6B model, wat een goede balans biedt tussen intelligentie en snelheid.

Belangrijkste Bijdragen

1. Geografisch onderbouwd Framework: Een productieklaar systeem dat lokale relevantie garandeert door co-occurrence mining en stad-specifieke context.
2. Beam-Search-Driven GRPO: Een nieuwe trainingsmethode die de mismatch tussen training en inference elimineert, wat leidt tot stabielere en diverse rangschikkingen.
3. Efficiënte Inference: De combinatie van QA-BS en vocabulary pruning maakt de eerste grootschalige deploy van een 0.6B-parameter LLM mogelijk in een omgeving met hoge concurrentie en strikte latentie-eisen.
4. Empirische Validatie: Uitgebreide offline en online tests die de superioriteit van de aanpak bewijzen ten opzichte van traditionele cascade-systemen en andere generatieve baselines.

Resultaten

Offline Evaluatie

LocalSUG presteert consistent beter dan sterke baselines (zoals MCA, SFT en OneSug) op de volgende metrieken:

• HitRate@12 (HR@12): 96.36% (vs. 76.64% voor MCA).
• Mean Reciprocal Rank (MRR): 81.80% (vs. 42.78% voor MCA).
• Diversiteit (DIV) en Kwaliteit (QUA): Hoog, met een zeer lage rate aan formatfouten.

Online A/B Testing

In een live test op 10% van het verkeer werden de volgende verbeteringen geboekt:

• Click-Through Rate (CTR): +0.35% toename.
• Few/No-Result Rate: -2.56% vermindering (minder zoekopdrachten zonder resultaat).
• Diversiteit: +7.50% toename in unieke item-exposure.
• Gebruiksgemak: De gemiddelde lengte van de invoer voor suggesties nam af met 0.75%, wat aangeeft dat gebruikers sneller hun intentie vinden.

Betekenis en Conclusie

LocalSUG demonstreert dat generatieve modellen succesvol kunnen worden ingezet in industriële, real-time zoeksystemen voor lokale diensten, mits ze correct worden aangepast aan de specifieke beperkingen (geografie, latentie, en training-inference mismatch).

Het paper toont aan dat door het combineren van statistische kandidaatmining (voor geografische precisie) met LLM-generatie (voor semantische flexibiliteit) en geoptimaliseerde trainingsmethoden (GRPO), het mogelijk is om de "lange staart" van gebruikersintenties te bedienen zonder in te leveren op snelheid of nauwkeurigheid. Dit opent de weg voor het gebruik van grotere LLM's in toekomstige lokale levensdienst-toepassingen.