Harnessing the Synergy between LLM Agents and Knowledge Graphs for Urban Socioeconomic Prediction

Stel je voor dat je de toekomst van een bruisende stad probeert te voorspellen. Je wilt weten welke wijken vol gepakt zullen zijn met mensen, waar de nieuwe winkels zullen floreren, of hoe de lokale gemeenschapsvibe zal veranderen. Dit is niet zomaar gokken; het is een vakgebied genaamd socio-economische voorspelling. Wetenschappers doen dit door enorme hoeveelheden data te verzamelen—zoals waar mensen wonen, waar ze werken, welke winkels bestaan en hoe ze zich rondbewegen. Om deze rommelige, gemengde informatie begrijpelijk te maken, gebruiken onderzoekers een hulpmiddel dat een Knowledge Graph (kennisgrafiek) wordt genoemd. Denk aan een Knowledge Graph als een gigantisch, super-verbonden web van feiten. In plaats van alleen gegevens in een spreadsheet te vermelden, trekt het lijnen tussen dingen, waardoor laat zien hoe een "koffiebar" verbonden is met een "wijk", die weer verbonden is met een "busroute", enzovoort. Het is alsof je een stapel verspreide puzzelstukjes verandert in een plaatje waarin elk stukje precies weet waar het past.

Maar hier komt het lastige deel: uitzoeken welke verbindingen er echt toe doen voor het voorspellen van de toekomst is ongelooflijk moeilijk. Traditioneel moesten experts handmatig beslissen welke lijnen ze zouden trekken, waarbij ze vertrouwden op hun eigen intuïtie en ervaring. Het is alsof je probeert de beste route door een doolhof te vinden door een mens elke bocht te laten raden; ze kunnen een kortere route missen of een verkeerd pad inslaan omdat ze niet in één oogopslag het hele plaatje kunnen zien. Dit artikel pakt exact dat probleem aan door een nieuwe teamspeler te introduceren: het Large Language Model (LLM). Je kunt een LLM zien als een super slimme, veelgelezen robot die bijna alles heeft gelezen wat er op het internet staat. Het is geweldig in het begrijpen van taal en het herkennen van patronen die mensen kunnen missen. De grote vraag die de auteurs stellen is: Wat gebeurt er als we de gestructureerde, feitelijke hersenen van een Knowledge Graph combineren met de creatieve, redeneerende hersenen van een LLM?

De auteurs stellen een nieuw systeem voor genaamd SLAK (Synergizing LLM Agent and Knowledge Graph) om dit op te lossen. In plaats van dat mensen raden welke verbindingen in de stadsdata belangrijk zijn, laten ze het LLM optreden als een detective. Het LLM bekijkt de Knowledge Graph van de stad en gebruikt zijn redeneervaardigheden om automatisch de meest nuttige "paden" van informatie te vinden—zoals inzien dat om te voorspellen hoe druk een straat zal zijn, je moet kijken naar de verbinding tussen "bewoners", "nabijgelegen parken" en "koffiebars", in plaats van alleen naar "bewoners" en "verkeer".

Het systeem werkt in drie slimme stappen. Eerst leren ze een taalmodel de specifieke taal van de stadsdata te begrijpen, waarbij feiten worden omgezet in getallen die de computer kan verwerken. Ten tweede sturen ze een team van LLM "agents" uit. Elke agent krijgt een andere taak toegewezen, zoals het voorspellen van bevolkingsgroei of commerciële activiteit. Deze agents chatten met elkaar en delen hun ideeën. Eén agent kan zeggen: "Hé, ik denk dat kijken naar de doorstroming van mensen tussen wijken helpt bij het voorspellen van de omzet van winkels," en een andere kan ermee instemmen en toevoegen: "En vergeet de merknamen van de winkels niet!" Deze samenwerking helpt hen om complexe, verborgen verbindingen te vinden die een enkele mens of een simpel computerprogramma zouden missen. Ten slotte combineert het systeem al deze verschillende inzichten om een voorspelling te doen.

De resultaten zijn zeer indrukwekkend. Wanneer het team hun systeem testte op echte data van twee enorme Chinese steden, Beijing en Shanghai, presteerde het beter dan alle voorgaande beste methoden. Op acht verschillende voorspellingsopdrachten—variërend van het raden van de bevolking tot het meten van de servicekwaliteit—verbeterde hun nieuwe model de nauwkeurigheid aanzienlijk, met winsten variërend van 3,9% tot 76,2% vergeleken met oudere technieken. Het artikel suggereert dat deze enorme sprong in prestaties voortkomt uit het vermogen van het LLM om automatisch de juiste aanwijzingen te vinden zonder dat er een menselijke expert nodig is om het te vertellen waar het naar moet kijken.

Interessant genoeg hebben de auteurs ook getest wat er gebeurt als je deze verbindingen willekeurig probeert te "zoeken" of een standaard computeralgoritme gebruikt om ze te raden. Ze ontdekten dat deze traditionele zoekmethoden veel langzamer en minder nauwkeurig waren. Het LLM heeft niet alleen geraden; het heeft zijn weg naar het antwoord geredeneerd. Bijvoorbeeld, bij het voorspellen van sociale activiteit ontdekten de LLM-agents dat het kijken naar de competitieve relaties tussen verschillende winkels in een buurt een cruciale aanwijzing was, een verbinding die algemene zoekalgoritmen vaak misten of pas te laat vonden.

Het artikel sluit ook de mogelijkheid uit dat het simpelweg kopiëren van data van de ene taak naar de andere (zoals bevolkingsdata gebruiken om winkelverkopen te voorspellen) op zichzelf goed werkt. Ze toonden aan dat zonder de slimme, semantische begeleiding van het LLM, het simpelweg aan elkaar plakken van data de voorspellingen zelfs slechter maakte. Het is niet genoeg om alleen de data te hebben; je moet begrijpen hoe de data zich verhoudt tot de specifieke vraag die je stelt.

Kortom, dit artikel suggereert dat de toekomst van het voorspellen van het stadsleven niet alleen draait om het hebben van meer data of slimmere mensen. Het gaat erom computers een partner te geven die kan denken, redeneren en samenwerken. Door AI-agents met elkaar te laten chatten en samen de datagrafiek van de stad te laten verkennen, kunnen we verborgen patronen ontdekken die leiden tot veel scherpere, nauwkeurigere voorspellingen over hoe onze stedelijke werelden zullen evolueren. De auteurs zijn ervan overtuigd dat deze "teamwork" tussen AI en datagrafieken een krachtige nieuwe manier is om onze steden te begrijpen, hoewel ze opmerken dat naarmate steden in de loop van de tijd veranderen, deze systemen zullen moeten blijven leren en updaten, net als de steden zelf.