🤖 AI

UrbanDS: A Graph-Guided LLM Multi-Agent System for Data-Intensive Urban Tasks

Het artikel stelt UrbanDS voor, een door grafen geleid LLM multi-agent systeem dat een verenigde dataset-graaf construeert om vaardigheden en relaties te organiseren voor het ophalen en verwerken van gegevens, wat de uitdagingen van data-intensieve stedelijke taken effectief aanpakt en bestaande methoden overtreft in zowel benchmarkevaluaties als real-world implementatie.

Oorspronkelijke auteurs: Zhilun Zhou, Jianghao Yu, Yuming Lin, yongjun yang, Sun Yongquan, Depeng Jin, Yong Li

Gepubliceerd 2026-07-30

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhilun Zhou, Jianghao Yu, Yuming Lin, yongjun yang, Sun Yongquan, Depeng Jin, Yong Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers steeds beter worden in het met ons praten, het begrijpen van onze vragen en zelfs het schrijven van code om problemen op te lossen. Deze slimme computers worden Large Language Models (LLM's) genoemd en ze fungeren als superkrachtige assistenten. Maar er is een addertje onder het gras: hoewel ze geweldig zijn in chatten, hebben ze vaak moeite wanneer ze gevraagd wordt om echt data science-werk te doen, vooral wanneer de data rommelig, enorm groot en overal verspreid is. Denk erbij aan het vragen aan een briljante bibliothecaris om een specifiek feit te vinden, maar in plaats van een nette bibliotheek, gooi je hen in een gigantisch magazijn waar miljoenen dozen willekeurig opgestapeld liggen en je niet weet in welke doos het antwoord zit. De bibliothecaris kan misschien wel lezen, maar zonder kaart kan hij niet het juiste boek vinden. Dit is het grote probleem dat onderzoekers proberen op te lossen: hoe leren we deze AI-assistenten niet alleen om vragen te beantwoorden, maar om ook daadwerkelijk op zoek te gaan naar de juiste informatie in een chaotische oceaan van data, te begrijpen hoe verschillende stukken in elkaar passen, en vervolgens de berekeningen uit te voeren om ons een echt antwoord te geven?

Maak kennis met UrbanDS, een slim nieuw systeem ontworpen om de ultieme "data-detective" te zijn voor stad-gerelateerde problemen. De onderzoekers achter dit project realiseerden zich dat stadsdata een speciaal soort chaos is. Het komt van overal vandaan—verkeerssensoren, bevolkingsregisters, kaarten en bedrijfslogs—en al deze stukken zijn op complexe manieren met elkaar verbonden (zoals hoe de locatie van een weg relateert aan de mensen die er in de buurt wonen). Bestaande AI-tools falen hier meestal omdat ze verwachten dat de data op een zilveren dienblad aan hen wordt gepresenteerd. UrbanDS verandert het spel door te fungeren als een team van gespecialiseerde agenten die samenwerken. Eerst bouwen ze een gigantische, levende "kaart" (een graaf) van alle data. Eén team van agenten gaat door elk enkel bestand, leest het en schrijft een "cv" ervoor, waarin beschreven wordt wat erin zit en hoe het met andere bestanden verbonden is. Een ander team trekt lijnen tussen deze cv's om aan te geven welke datapartijen buren zijn in tijd, ruimte of betekenis.

Wanneer een mens een vraag stelt, zoals "Waar vinden er op dit moment verkeersopstoppingen plaats in de buurt van scholen?", kijkt een "Planner"-agent naar deze kaart. In plaats van te gokken, volgt deze de lijnen om de exacte verkeers- en schooldata te vinden die nodig is. Vervolgens schrijft een team van "Execution"-agenten de code om de getallen te verwerken en voert deze uit, waarbij ze hun voortgang met elkaar delen zoals een groep vrienden die aan een groepsopdracht werkt. Ten slotte schrijft een "Reporter"-agent de bevindingen op. Het team heeft dit systeem getest op een enorme uitdaging genaamd UrbanDS-Bench, die 94 verschillende datasets van 10 grote Chinese steden en bijna 500 verschillende taken omvatte. De resultaten waren indrukwekkend: UrbanDS loste deze moeilijke, data-zoekende puzzels aanzienlijk beter op dan andere top AI-tools, waarbij het ongeveer 70% van de antwoorden correct had vergeleken met de 63% van de op één na beste tool. Ze testten het zelfs in de echte wereld in Wuhan, waar het stadsplanners hielp bij het analyseren van werkelijke gemeentelijke data, wat bewees dat deze "kaart-gestuurde" aanpak niet alleen in een lab werkt, maar ook op de straten van een echte stad.

Technische Samenvatting: UrbanDS

Probleemstelling

Large Language Model (LLM) agents hebben veelbelovende resultaten getoond bij het automatiseren van data science-workflows, maar bestaande methoden kampen met aanzienlijke beperkingen in data-intensieve scenario's. Huidige benaderingen vertrouwen doorgaans op een beperkte set datasets die direct bij een taak worden geleverd. Echter, real-world toepassingen, met name binnen de urban computing, omvatten grootschalige, heterogene repositories met duizenden bestanden uit diverse domeinen (bijv. mobiliteit, transport, landgebruik, economie).

De kernuitdaging is tweeledig:

Dataset Ontdekking: Agents moeten relevante datasets identificeren uit een enorme pool waar bestandsnamen vaak ambigu of geanonimiseerd zijn, en waarbij de meeste data irrelevant is voor de specifieke query.
Complexe Integratie: Stedelijke datasets vertonen complexe spatiotemporele en semantische relaties. Agents moeten niet alleen de data vinden, maar ook begrijpen hoe ze deze heterogene bronnen kunnen koppelen en integreren (bijv. het matchen van een region_id in een populatiedataset met een id in een grensdataset) om downstream-analyses uit te voeren.

Bestaande benchmarks leveren vaak de benodigde datasets vooraf aan, waardoor het vermogen van een agent om databronnen te ontdekken en te verbinden binnen een ruisige, grootschalige repository niet wordt geëvalueerd.

Methodologie: UrbanDS Framework

Om deze uitdagingen aan te pakken, stellen de auteurs UrbanDS voor, een graph-gestuurd LLM multi-agent systeem dat specifiek is ontworpen voor data-intensieve stedelijke taken. Het systeem werkt in twee afzonderlijke stadia: Dataset Graph Constructie en Taakuitvoering.

1. Dataset Graph Constructie

Voordat een specifieke taak wordt uitgevoerd, organiseert UrbanDS de ruwe datarepository in een gestructureerde kennisgraaf ( $G = (V, E)$ ) om de kosten van het inspecteren van elk bestand voor elke query te vermijden.

Data Profiling Agent: Deze agent verkent elk dataset één keer met behulp van Python-code om een herbruikbare Dataset Skill te genereren. Deze skill vat de inhoud van de dataset samen, inclus** van schema, statistieken, spatiotemporele dekking en instructies voor gebruik.
Relation Agent: Deze agent identificeert relaties tussen datasets om de grafische randen ( $E$ $E$ ) te vormen. Het modelleert drie soorten relaties:
- Ruimtelijke & Temporele Relaties: Bepaald door overlappende geografische dekking en tijdsperioden gevonden in de dataset skills.
- Semantische Relaties: Geïdentificeerd via een Semantische Codeboek. Het systeem bouwt een incrementeel codeboek op van entiteitsidentificatoren (bijv. regio-ID's) tijdens het profileren. Een Relation Agent verifieert vervolgens de verbindingen tussen velden die aan hetzelfde code toegewezen zijn, om te bepalen of ze gekoppeld kunnen worden ondanks verschillende veldnamen.
Resultaat: Een dataset graaf waarbij knopen datasets vertegenwoordigen (met hun skills) en randen ruimtelijke, temporele of semantische verbindingen vertegenwoordigen.

2. Taakuitvoering

Wanneer een gebruikersquery wordt ontvangen, voert het systeem de volgende workflow uit:

Planner Agent: Haalt relevante datasets op uit de graaf. Het hanteert een progressieve retrieval strategie:
1. Het bekijkt eerst namen en korte beschrijvingen om veelbelovende kandidaten te selecteren.
2. Vervolgens leest het de volledige Dataset Skills van de kandidaten.
3. Het doorloopt grafische randen om naburige datasets te ontdekken die mogelijk relevant zijn, en verifieert elke keuze tegenover de bijbehorende skill voordat een Analysis Plan wordt gefinaliseerd.
Execution Agents: Meerdere agents voeren gezamenlijk het plan uit. Elke agent handelt een specifieke subtaak af door code te schrijven en uit te voeren. Ze delen een common memory die de voortgang van de uitvoering, tussenresultaten en logs bevat, waardoor opeenvolgende agents outputs kunnen hergebruiken zonder herberekening. Als het initiële plan onvoldoende data bevat, kunnen de agents aanvullende datasets uit de graaf ophalen.
Report & Revision Agents: Een Report Agent synthetiseert experimentele logs tot een definitief rapport. Een Revision Agent maakt iteratieve verfijning mogelijk op basis van gebruikersfeedback, waarbij het rapport of de artefacten worden bijgewerkt zonder de gehele taak opnieuw te starten.

Belangrijkste Bijdragen

UrbanDS Systeem: De voorgestelde multi-agent systeem die grootschalige stedelijke datasets organiseert in een graaf van herbruikbare skills en relaties, wat automatische dataset ontdekking, planning, uitvoering en rapportage mogelijk maakt.
UrbanDS-Bench: De constructie van een uitgebreide benchmark voor stedelijke data science. Deze bevat:
- 94 datasets uit 10 grote Chinese steden (dekking van geografische, mobiliteits- en sociaaleconomische data).
- 450 data-analyse taken (ruimtelijk, temporeel en spatiotemporeel) en 8 data modelling taken.
- Een "flat" datapool waarbij datasets geanonimiseerd zijn, waardoor agents gedwongen worden te vertrouwen op inhoudsinspectie in plaats van bestandsnamen.
Empirische Validatie: Uitgebreide experimenten die aantonen dat UrbanDS de huidige data science agents en algemene coding agents overtreft in data-intensieve scenario's.
Real-World Deployment: Succesvolle implementatie op het stedelijk operatieplatform van Dongxihu District, Wuhan, ter ondersteuning van praktische analyses over echt gemeentelijk data.

Experimentele Resultaten

De auteurs evalueerden UrbanDS tegenover baselines waaronder DS-Agent, Data Interpreter, DeepAnalyze, AutoGen en Claude Code op zowel UrbanDS-Bench als CoDA-Bench.

Prestaties op UrbanDS-Bench: UrbanDS behaalde een algehele nauwkeurigheid van 70,0%, waarmee het de sterkste baseline (Claude Code, 62,9%) met 11,2% versloeg. Het leidde in alle redeneercategorieën: Ruimtelijk (65,7%), Temporeel (83,6%) en Spatiotemporeel (73,9%).
Prestaties op CoDA-Bench: UrbanDS behaalde 46,2% nauwkeurigheid, een verbetering van 10,0% ten opzichte van Claude Code, wat de effectiviteit in algemene data ontdekkings-taken aantoont.
Data Modeling: UrbanDS behaalde de beste resultaten op alle acht data modeling taken. Opvallend genoeg behaalde het voor POI check-in voorspelling een $R^2$ van 0,464, terwijl alle baselines negatieve $R^2$ waarden produceerden, wat wijst op de superieure bekwaamheid om hulp-datasets te gebruiken voor modelbouw.
Ablatie-studie: Het verwijderen van Dataset Relations verminderde de algehele nauwkeurigheid met gemiddeld 13,3%. Het verwijderen van Dataset Skills veroorzaakte een grotere daling (gemiddeld 20,6%), met name in spatiotemporele taken, wat bevestigt dat gestructureerde kennis van de data-inhoud cruciaal is voor correcte integratie.
Schaalbaarheid: De prestaties van alle methoden daalden naarmate het aantal vereiste datasets toenam (taken die 4 of meer datasets vereisten, zagen een nauwkeurigheid onder de 53% voor alle methoden), hoewel UrbanDS de hoogste relatieve prestaties behield.

Betekenis en Claims

Het artikel claimt dat UrbanDS een kritiek gat in huidig LLM agent-onderzoek adresseert: het vermogen om te opereren in data-intensieve omgevingen waar de primaire bottleneck niet codegeneratie is, maar data ontdekking en integratie.

Voorbij Pre-gedefinieerde Inputs: In tegenstelling tot eerdere benchmarks die de benodigde datasets direct aanleveren, evalueert UrbanDS-Bench het vermogen van de agent om door een grote, heterogene repository te navigeren om de "naald in de hooiberg" te vinden.
Graph-Gestuurde Efficiëntie: Het systeem demonstreert dat het vooraf organiseren van data in een graaf van skills en relaties de context window belasting op LLM's aanzienlijk vermindert en de nauwkeurigheid van datasetselectie verbetert.
Praktisch Nut: De implementatie in Wuhan en de gebruikersstudie (die een 5,6x versnelling in analyse-tijd laat zien) suggereren dat het systeem niet slechts een theoretische verbetering is, maar een levensvatbaar instrument om real-world stedelijke data-analyse te versnellen.
Beperkingen: De auteurs merken bescheiden op dat het systeem zich momenteel richt op het uitvoeren van door de gebruiker gespecificeerde verzoeken. Het bezit nog niet de capaciteit om actief repositories te verkennen zonder vooraf gedefinieerde vragen of om nieuwe onderzoekshypothesen voor te stellen op basis van datapatronen. Toekomstig werk is gericht op het uitbreiden van het systeem naar deze meer open eindige mogelijkheden.