Household Movement Detection in Mixed-Format Occupancy Data Using LLM-Based Entity Resolution

Stel je voor dat je een gigantische, rommelige puzzel probeert op te lossen waarbij de stukjes de levens van mensen zijn, maar het plaatje wazig is. In de wereld van data science is er een taak genaamd "Entity Resolution" (entiteitsresolutie). Denk aan een superkrachtige detective die probeert uit te zoeken of "John Smith bij 123 Main St" en "J. Smith bij 123 Main Street" eigenlijk dezelfde persoon zijn. Meestal kijken detectives slechts naar twee stukjes tegelijk en vergelijken ze deze zij aan zij om te zien of ze overeenkomen. Maar wat als de puzzelstukjes gescheurd zijn, in verschillende talen zijn geschreven, of typefouten bevatten? Wat als de echte aanwijzing niet is dat twee stukjes op elkaar lijken, maar dat ze samen zijn verhuisd?

Hier wordt het verhaal interessant. Soms verhuizen mensen niet alleen; ze verhuizen als een groep, zoals een gezin dat met een vrachtwagen naar een nieuwe stad verhuist. Als je alleen naar de naam en het adres van één persoon kijkt, mis je misschien het feit dat zij deel uitmaken van een huishouden dat net is verhuisd. Deze paper duikt in dat specifieke mysterie: hoe vinden we deze "huishoudelijke bewegingen" wanneer de data een chaotische mix is van handgeschreven aantekeningen, computerfouten en verschillende formaten? De auteurs suggereren dat door een speciaal soort kunstmatige intelligentie (AI) te gebruiken die rommelige tekst kan lezen en vervolgens naar het "sociale netwerk" te kijken van wie met wie is verhuisd, we puzzels kunnen oplossen die traditionele methoden simpelweg niet kunnen kraken.

---

Het Mysterie van het Verhuizende Huishouden

Stel je voor dat je een detective bent die een familie probeert te volgen die net naar de andere kant van de stad is verhuisd. Je hebt een stapel oude, gekreukte briefjes die op een bureau zijn achtergelaten. Sommige briefjes zeggen "The Smiths verhuisden naar 5th Ave," andere zeggen "J. Smith & G. Smith bij 5th," en een derde is slechts een krabbel: "5th Ave, Apt 4." Het handschrift is slecht, de spelling is wild (de een zegt "St", een ander "Street" en een derde "Strt") en sommige briefjes missen datums.

Als je probeert deze briefjes twee-tegen-twee te matchen, kun je vastlopen. Je denkt misschien dat "J. Smith" en "G. Smith" vreemden zijn omdat hun namen niet precies op elkaar lijken, of omdat de adressen zo verschillend zijn opgeschreven. Je mist het grote plaatje: ze zijn een team, en ze zijn samen verhuisd.

Dit is het probleem dat de onderzoekers aan de University of Arkansas–Little Rock aanpakken. Ze noemen het Household Movement Detection (detectie van huishoudelijke bewegingen). In de echte wereld is data over waar mensen wonen vaak een puinhoop. Het is "mixed-format", wat betekent dat sommige records nette lijsten zijn, terwijl andere slechts een bende woorden in een enkel vakje zijn. Er zijn typefouten, ontbrekende stukjes en dubbele vermeldingen. Traditionele computerprogramma's, die als rigide robots werken, proberen records te matchen door ze één-op-één te vergelijken. Als de spelling slechts één letter afwijkt, zegt de robot: "Geen match!" en gooit de aanwijzing weg.

Maar de auteurs realiseerden zich dat huishoudens als een eenheid verhuizen. Als twee mensen vorige maand nog bij "2623 Fiddlestick Circle" woonden en nu beide bij "860105 Post Office Box" in een andere stad wonen, dan is dat een enorme aanwijzing dat ze aan elkaar gerelateerd zijn, zelfs als hun namen net even anders gespeld zijn of hun adressen er totaal niet hetzelfde uitzien. De uitdaging is om deze "indirecte links" te vinden in een zee van ruisende data zonder in de war te raken door valse alarmen.

Het Nieuwe Detective-team: AI, Embeddings en Grafen

Om dit op te lossen, bouwde het team een nieuw framework dat fungeert als een slimme, drie-staps detective-eenheid. Ze vertrouwden niet op slechts één hulpmiddel; ze combineerden drie krachtige technieken om de rommeligheid van echte data aan te pakken.

Stap 1: De AI-Lezer (LLM-gebaseerde NER)
Eerst moesten ze de rommelige aantekeningen begrijpen. Ze gebruikten een Large Language Model (LLM), een type AI dat getraind is om menselijke taal te begrijpen. Stel je deze AI voor als een super-leesassistent die naar een rommelige zin als "Terrie D Zlopez 2623 Fiddlestick Cir Lutz FL" kan kijken en direct zegt: "Oké, de naam is Terrie D Zlopez, en het adres is 2623 Fiddlestick Cir." In tegenstelling tot oudere tools die in de war raken door vreemde formattering, kan deze AI de chaos aan kunnen en namen en adressen extraheren, zelfs als ze aan elkaar geplakt zijn of vreemd gespeld zijn.

Stap 2: De Semantische Kaart (Embeddings)
Vervolgens zetten ze deze namen en adressen om in "semantische embeddings". Zie dit als het vertalen van elke naam en elk adres naar een geheime code (een lijst met getallen) die de betekenis vertegenwoordigt in plaats van alleen de spelling. In deze code kunnen "Fiddlestick Circle" en "Fiddlestick Cir" heel dicht bij elkaar liggen, ook al zien ze er verschillend uit. Dit stelt het systeem in staat om te beseffen dat twee adressen dezelfde plek zijn, zelfs als er een typefout of afkorting in staat.

Stap 3: Het Sociale Netwerk (Graph Reasoning)
Ten slotte bouwden ze een "graaf" (graph). Stel je een gigantisch web voor waarin elke persoon een stip is, en lijnen verbinden stippen die op elkaar lijken. Maar hier komt de magie: in plaats van alleen naar twee stippen te kijken, kijkt het systeem naar het hele web. Het vraagt: "Is een groep mensen van één cluster van stippen naar een ander cluster verhuisd?" Als twee mensen die bij Adres A waren, nu beide bij Adres B zijn, verbindt het systeem de stippen tussen Adres A en Adres B. Dit is "indirecte koppeling". Het zegt niet alleen "Persoon X komt overeen met Persoon Y"; het zegt "De groep die Persoon X en Persoon Y bevatte, is samen verhuisd."

De Proefrit: Synthetische Data en Echte Resultaten

Om te zien of dit nieuwe detective-team daadwerkelijk werkt, hebben de onderzoekers geen echte privégegevens van mensen gebruikt (wat een nachtmerrie voor de privacy zou zijn). In plaats daarvan gebruikten ze een "Synthetic Occupancy Generator" (SOG). Zie dit als een video game simulator die nepfamilies, nepadressen en nepverhuizingen creëert, maar daar alle echte wereldse rommel aan toevoegt: typefouten, ontbrekende informatie en dubbele records. Ze creëerden datasets gelabeld S8 tot en met S12, waarbij S12 de meest rommelige en moeilijkste was.

Ze testten hun nieuwe framework tegen een traditionele methode genaamd de "Data Washing Machine" (DWM), die records simpelweg twee-tegen-twee vergelijkt.

De resultaten waren veelbelovend. In deze simulaties vond het nieuwe framework 8% tot 15% meer correcte verbindingen (een metriek genaamd "recall") dan de oude methode. Het vond niet alleen meer matches; het vond de juiste matches. Terwijl de oude methode de huishoudelijke verhuizingen miste omdat de data te rommelig was, ving het nieuwe AI-gestuurde team ze wel op. De algemene score (de F1-score, die een balans vindt tussen alles vinden en accuraat zijn) steeg met 6% tot 8%.

In één testgeval zag de oude methode bijvoorbeeld twee mensen op verschillende adressen en dacht dat het vreemden waren. Het nieuwe framework zag dat ze vanuit een vorig adres samen waren verhuisd, herkende hen als een huishouden en verbond hen correct. Het slaagde er zelfs in om records te koppelen waar de naam van de één "Jorge" was en die van de ander "George", of waar het adres een typefout had zoals "Huston" in plaats van "Houston", omdat het bewijs van de "groepsverhuizing" te sterk was om te negeren.

Waarom dit ertoe doet (En wat het niet is)

Deze paper laat zien dat het bekijken van mensen als onderdeel van een groep een krachtige manier is om datapuzzels op te lossen. Door AI te gebruiken om rommelige tekst te lezen en grafenlogica om groepsbewegingen te zien, kunnen we informatie terugwinnen die voorheen verloren ging in de ruis.

De auteurs benadrukken echter voorzichtig wat het niet is. Ze hebben niet bewezen dat dit op elke mogelijke dataset in de echte wereld werkt; ze hebben het getest op gesimuleerde data die het echte leven nabootst. Ze wijzen er ook op dat als een huishouden slechts één persoon heeft die verhuist, of als een naam volledig verandert (zoals een achternaam na een huwelijk), het systeem nog steeds moeite kan hebben. Het is geen toverstaf die alles direct oplost.

Maar voor de rommelige, mixed-format data waar overheden en bedrijven dagelijks mee te maken krijgen, suggereert deze aanpak een nieuwe weg voorwaarts. In plaats van te proberen elke enkele typefout op te schonen voordat men begint, kunnen we de AI het vuile werk laten opknappen en zoeken naar de patronen van beweging. Het is een verschuiving van "twee stukjes matchen" naar "het hele plaatje begrijpen", en in de wereld van data is dat een behoorlijke sprong voorwaarts.