From Unstructured to Structured: LLM-Guided Attribute Graphs for Entity Search and Ranking

1. Probleemstelling

Het artikel adresseert de uitdaging van Entiteitzoekopdrachten in e-commerce, specifiek de taak om producten te vinden die het meest lijken op een query-product (bijvoorbeeld het vinden van vervangers).

• Kernmoeilijkheid: Productinformatie is doorgaans ongestructureerd (titels, beschrijvingen, opsommingstekens), wat het moeilijk maakt om systematische, op attributen gebaseerde vergelijkingen uit te voeren.
• Beperkingen van Bestaande Methoden:
  • Traditionele Embeddings: Dichte semantische modellen slagen er vaak niet in om genuanceerde, contextspecifieke attribuirelevantie te vatten (bijvoorbeeld het onderscheid maken tussen "schermgrootte" voor tv's versus "materiaal" voor kleding).
  • Directe LLM-ranking: Het rechtstreeks invoeren van ruwe, ongestructureerde tekst in Large Language Models (LLM's) voor ranking is kostbaar, introduceert hoge latentie, verbruikt excessive tokens en worstelt met het afdwingen van harde constraints op kritieke attributen.
  • Cold Start & Dynamische Categorieën: Traditionele collaboratieve filtering faalt bij nieuwe producten, en attributensets zijn dynamisch, wat constante aanpassing vereist aan nieuwe categorieën.

2. Methodologie

De auteurs stellen een tweestaps hybride systeem voor dat kennisconstructie loskoppelt van ranking, met gebruikmaking van een Attribuutgebaseerde Grafranker.

Stap 1: Offline Attribuutgraaf Constructie

Deze stap verrijkt de productcatalogus door ongestructureerde tekst om te zetten in een gestructureerde, herbruikbare graaf.

• Attribuutdefinitie:
  • Het systeem definieert hiërarchische attribuutschema's (Super-categorie en Sub-categorie niveaus) met behulp van een LLM (Claude 3.5 Sonnet v2).
  • Het genereert brede attributen (bijvoorbeeld Merk, Afmetingen) en specifieke attributen (bijvoorbeeld Cameraresolutie voor Smartphones).
  • Menselijke curatie in de lus (clustering/deduplicatie) zorgt voor naamsconsistentie over 61 super-categorieën en 4.940 sub-categorieën.
• Attribuutextractie:
  • De LLM verwerkt producttekst (titel, beschrijving, bullets) om gestructureerde Attribuut-Waarde (AV) paren te extraheren op basis van de vooraf gedefinieerde schema's.
  • Het identificeert ook product-specifieke attributen die niet in het initiële schema staan.
• Graafconstructie:
  • Er wordt een bipartiete graaf geconstrueerd waarbij knopen Producten en Attributen vertegenwoordigen.
  • Randen verbinden producten met attributen, gelabeld met de specifieke Waarde.
  • Optimalisatie: Attributen zijn knopen, en waarden zijn randlabels om te voorkomen dat de graaf onbeheersbaar groot wordt (het vermijden van een unieke knoop voor elke unieke waarde).

Stap 2: Online Graaf-bewuste LLM Ranking

Deze stap voert de daadwerkelijke zoekopdracht en ranking uit met behulp van de gestructureerde graaf.

• Kandidaatgeneratie:
  • Er wordt een query-entiteit ontvangen.
  • Een dichte retrieval-model (bge-m3) encodeert de query en catalogusitems om de top-$K$ kandidaten (bijvoorbeeld top 50) te halen op basis van cosinus-ähnelijkheid van samengevoegde tekst.
• Graaf-bewuste Ranking:
  • In plaats van ruwe tekst aan de LLM te geven, construeert het systeem een lokale sub-graaf die de query-entiteit, de kandidaat-entiteiten en hun bijbehorende attribuutknopen bevat.
  • De LLM voert zero-shot, lijst-gebaseerde redenering uit door de attribuutwaarden van de query te vergelijken met die van de kandidaten binnen deze sub-graaf.
  • Scoretoekenning: De LLM traverseert impliciet de grafranden om gelijkenis te beoordelen en kiest een score (0–100) op basis van hoe goed attribuutwaarden overeenkomen.
  • Efficiëntie: De invoer voor de LLM is gesanitiseerde, gestructureerde JSON (AV-paren) in plaats van vrije tekst, wat tokengebruik reduceert en adversariale risico's mitigeert.

3. Belangrijkste Bijdragen

1. LLM-gebaseerde Attribuutgraaf Constructie: Een pijplijn die automatisch categorie-bewuste schema's definieert en gestructureerde AV-paren extrahert uit ongestructureerde tekst, waardoor een schaalbare, herbruikbare attribuutgraaf ontstaat.
2. Graaf-bewuste LLM Ranking: Een nieuw rankingsmechanisme waarbij de LLM redeneert over gestructureerde attribuutgrafen in plaats van ruwe tekst. Dit maakt expliciete attribuut-waarde vergelijkingen mogelijk, wat precisie en interpreteerbaarheid verbetert.
3. Loskoppelstrategie: Het scheiden van de zware arbeid van kennisconstructie (offline) van het inferentieproces (online) maakt efficiënte, low-latency ranking mogelijk zonder modellen opnieuw te trainen.
4. Schaalbare Implementatie: Het systeem is ontworpen voor industriële schaal, waarbij het miljoenen producten over diverse categorieën verwerkt met zero-shot capaciteiten.

4. Experimentele Resultaten

Het systeem werd geëvalueerd op de Amazon Shopping Queries dataset (469k producten) met behulp van zowel menselijke evaluatie als LLM-gebaseerde evaluatie (Nova Pro).

• Prestatiemetrics:
  • Precision@5: Verbeterd van 39,52% (Dense Retrieval + Raw LLM Ranker) naar 47,14% (Grafranker).
  • Mean Reciprocal Rank (MRR): Toegenomen van 60,00% naar 63,97%.
  • Mean Average Precision (mAP): Verbeterd van 57,99% naar 60,42%.
  • nDCG@1: Verbeterd van 75,27% naar 79,96% (bij strikte gelijkenisdrempel).
• Efficiëntiewinst:
  • Tokenreductie: Gestructureerde attributen reduceerden het tokengebruik per product met 57% (ongeveer 300 tokens versus 700 voor ruwe tekst).
  • Latentie: Bereikte ongeveer 250ms snellere inferentie per verzoek in vergelijking met ruwe-tekst ranking.
• Extractienauwkeurigheid: De attribuutextractiestap behaalde een F1-score van 83,47% op een 20k steekproefset, waarbij hallucinaties geminimaliseerd werden via schema-constraints.
• Generalisatie: Het systeem toonde robuuste prestaties over diverse productcategorieën zonder taakspecifieke trainingsdata te vereisen (zero-shot).

5. Betekenis en Impact

• Kosten- en Latentieoptimalisatie: Door het tokenverbruik met 57% te reduceren, maakt deze aanpak LLM-gebaseerde ranking economisch haalbaar voor e-commerce applicaties met hoge volumes.
• Verbeterde Relevantie: De overstap van semantische "bag-of-words" gelijkenis naar expliciete attribuutmatching stelt het systeem in staat om genuanceerde productverschillen te hanteren (bijvoorbeeld het matchen van een 5-delig beveiligingspakket met een ander 5-delig pakket, in plaats van alleen "beveiligingssysteem").
• Real-world Implementatie: Het systeem is al ingezet in een toonaangevende wereldwijde e-commerce dienst, als invoer voor downstream applicaties (prijzen, beschikbaarheid) en trainingsdata voor interne embedding-modellen.
• Interpreteerbaarheid: In tegenstelling tot black-box dichte embeddings, biedt de graafgebaseerde aanpak transparante redenering op basis van specifieke attribuutmatches, wat cruciaal is voor gebruikersvertrouwen en handhaving van bedrijfsregels.

Kortom, dit artikel toont aan dat het combineren van gestructureerde attribuutextractie met LLM-redenering een superieur entiteitzoeksysteem creëert dat hoge precisie, lage latentie en schaalbaarheid in evenwicht brengt, en dat zowel traditionele retrieval-methoden als directe tekstgebaseerde LLM-ranking overtreft.