From "Strings" to "Things" for Personal Knowledge Graphs: Evaluating LLM Triple Extraction for Recommendation Systems

Technische Samenvatting: Van "Strings" naar "Things" voor Persoonlijke Kennisgrafen

Probleemstelling
Persoonlijke Kennisgrafen (PKG's) bieden een privacy-bewarend kader voor het modelleren van gebruikersvoorkeuren, maar het construeren ervan uit ongestructureerde, gedecentraliseerde conversationele gegevens blijft een aanzienlijke uitdaging. Traditionele aanbevelingssystemen die vertrouwen op gestructureerde gebruikers-itemrelaties, zijn vaak afhankelijk van centraal gelogde interactiesporen, die vanwege privacyzorgen of infrastructurele beperkingen vaak niet beschikbaar zijn. Hoewel Large Language Models (LLM's) uitblinken in open-domein kennisextractie, is hun capaciteit om direct vanuit conversationele interacties PKG's te construeren—het overbruggen van de kloof tussen ongestructureerde "strings" en semantische "things"—onderzocht. Bovendien hebben bestaande benaderingen vaak moeite met de inefficiëntie van het verwerken van ruwe conversationele geschiedenis op het apparaat zelf en de moeilijkheid van het samenvoegen van ongestructureerde samenvattingen zonder redundantie.

Methodologie
De auteurs stellen een reproduceerbare pijplijn voor om gestructureerde gebruikersvoorkeur-triples te extraheren uit natuurlijke taal-dialogen om zo PKG's te construeren. De methodologie omvat de volgende componenten:

• Pijplijnarchitectuur: Het systeem neemt multi-turn dialogen tussen een gebruiker en een agent als input. Een LLM verwerkt de conversatie om (Gebruiker, Relatie, Item) triples te extraheren. Deze triples worden genormaliseerd, uitgelijnd met externe kennisgrafen-identificatoren (specifiek Wikidata IRIs), en geïntegreerd in een PKG.
• Semantisch Schema: De pijplijn maakt gebruik van een expliciete User Movie Preference Ontology gebaseerd op RDF. Het definieert twee kernentiteitstypen (pkg:User en pkg:Movie) en vijf objecteigenschappen (pkg:likes, pkg:dislikes, pkg:hasSeen, pkg:hasNotSeen, pkg:wasSuggested). Entiteiten worden gekoppeld aan stabiele, dereferenceerbare IRIs om globale interoperabiliteit te waarborgen.
• Dataset: De evaluatie maakt gebruik van de Recommendation Dialogues (ReDial) dataset, die meer dan 11.000 mens-tot-mens conversaties bevat over film aanbevelingen. De dataset biedt gestructureerde metadata-annotaties (ground truth) die gebruikersvoorkeuren beschrijven, waardoor een principiële vergelijking tussen menselijk geannoteerde data en door LLM geëxtraheerde structuren mogelijk is.
• Experimentele Opstelling: De studie evalueert open-weight LLM's uit de Qwen3 en Gemma-3 families over verschillende parametergroottes (variërend van 0.6B tot 12B) en prompting-regimes (0-shot tot 10-shot). De geëxtraheerde triples worden gebruikt om de originele dataset aan te vullen, waarbij de ground-truth annotaties worden vervangen om een gecontroleerde omgeving te creëren voor het testen van de downstream bruikbaarheid.
• Evaluatiemetrieken:
  • Upstream: Standaard informatie-extractiemetrieken (Precisie, Recall, F1-score) worden berekend door de geëxtraheerde triples te vergelijken met de ground-truth annotaties.
  • Downstream: De bruikbaarheid van de geëxtraheerde PKG's wordt beoordeeld met het FedTREK-LM aanbevelingssysteem. Modellen worden getraind op datasets die zijn aangevuld met door LLM geëxtraheerde triples en geëvalueerd op een aparte testset om de aanbevelingsprestaties (F1-score) te meten ten opzichte van modellen die zijn getraind op de originele ground-truth data.

Belangrijkste Bijdragen

1. Pijplijnontwikkeling: Een prompt-gebaseerde PKG-constructiepijplijn die conversationele aanbevelingsdialogen omzet in gestructureerde, aan RDF-conforme PKG's met behulp van een expliciet semantisch schema met IRIs.
2. Systematische Evaluatie: De eerste grootschalige beoordeling van de conversationele PKG-extraheerbaarheid, waarbij open-weight LLM's (Qwen3 en Gemma-3 varianten) worden afgezet tegen de gestructureerde annotaties van de ReDial-dataset.
3. Downstream Bruikbaarheidsanalyse: Een analyse die aantoont hoe de extractiefidelity de aanbevelingsprestaties beïnvloedt, waarbij wordt aangetoond dat door LLM afgeleide PKG's een fundament kunnen vormen voor gedecentraliseerde, privacy-bewarende gepersonaliseerde diensten.

Resultaten

• Extractieprestaties: De Gemma-3 Instruct familie presteerde over het algemeen beter dan de Qwen3 modellen. Het best presterende model voor extractie was Gemma-12B Instruct. Prestaties schaalden over het algemeen mee met de modelgrootte en het aantal shots tot op een bepaat punt, maar er werd een significante daling in prestaties waargenomen bij de 10-shot setting, wat wijst op overfitting aan prompt-patronen.
• Relatiespecificiteit: De "liked" relatie leverde de hoogste F1-scores op bij alle modellen, aangezien voorkeurssentiment vaak expliciet wordt uitgedrukt. De "seen" relatie was matig succesvol, terwijl "suggested" het moeilijkst bleek, wat een langetermijngeheugen voor conversaties vereist.
• Downstream Impact:
  • Er was een opmerkelijke veerkracht in downstream prestaties ten opzichte van upstream extractiescores voor kleinere modellen. Bijvoorbeeld, het Qwen3-0.6B model behield meer dan 75% van zijn ground-truth baseline prestaties in downstream taken, ondanks een lage upstream extractie F1-score (0.3577).
  • Grotere modellen (bijv. Qwen3-8B) ervoeren een "instorting" in downstream prestaties wanneer ze werden getraind op geaugmenteerde data van hun eigen extracties. Dit werd toegeschreven aan de schrale en zwakke contextuele basis die door hun slechte upstream extractie (met name lage recall) werd geboden, wat hun inherente redeneervermogen blokkeerde.
  • Observatie van Inverse Scaling: In een cross-model evaluatie met de Qwen3-0.6B downstream model, leverden triples geëxtraheerd door het kleinste model (Gemma-1B) de hoogste downstream F1-score op (0.184), wat de extracties van de grotere Gemma-4B en Gemma-12B modellen overtrof. De auteurs schrijven dit toe aan het meer gebalanceerde profiel van het 1B model, dat een hogere recall voor kritieke "Liked" relaties en een betere consistentie in de conversationele flow vastlegt, wat een rijkere basis biedt voor leren dan een schrale, hoge-precisie graaf.

Betekenis en Claims
Het artikel claimt een reproduceerbare pijplijn te valideren voor het bouwen van PKG's direct uit dialoog, wat een schaalbare alternatief biedt voor traditionele benaderingen die vertrouwen op expliciete, gecentraliseerde logging. De kernbetekenis ligt in het aantonen dat:

1. Decentrale Constructie is Haalbaar: Robuuste voorkeurssignalen kunnen worden geëxtraheerd met lichte, open-weight LLM's, wat on-device, privacy-bewarende PKG-constructie levensvatbaar maakt zonder massieve, computationeel dure modellen.
2. Extractiekwaliteit vs. Downstream Bruikbaarheid: Er bestaat een complexe relatie tussen extractiefidelity en downstream bruikbaarheid. Hoge-precisie maar lage-recall extracties van grotere modellen kunnen nadelig zijn voor downstream taken, terwijl gebalanceerde, recall-georiënteerde extracties van kleinere modellen een effectiever fundament kunnen bieden voor leren.
3. Fundament voor Adaptieve AI: Het werk biedt een diagnostische lens op de huidige LLM-capaciteiten in het extraheren van gebruikersspecifieke kennis, een cruciale stap naar adaptieve, conversationele AI die geworteld is in gestructureerde personalisatie. Het benadrukt het potentieel van PKG's om retrieval-augmented generation (RAG) en dynamische adaptatie via kennisbewerking te ondersteunen, waarmee problemen zoals het cold-start probleem in gepersonaliseerde diensten worden aangepakt.