Hidden Errors in Big Data: The Case of Property Records

De Onzichtbare Glitch in de Grootste Databibliotheek ter Wereld

Stel je voor dat je een enorme puzzel probeert op te lossen, maar in plaats van de echte stukjes te gebruiken, gebruik je een fotokopie van een fotokopie die iemand anders heeft gemaakt. Dit is de wereld van "Big Data". Vandaag de dag vertrouwen wetenschappers, overheden en zelfs de kunstmatige intelligentiesystemen die onze steden aansturen op enorme bergen informatie om beslissingen te nemen. Ze gebruiken deze data om alles te achterhalen, van hoe ziektes behandeld moeten worden tot hoe de belasting op jouw huis moet worden geheven. Maar hier komt de crux: de meeste van deze data worden niet rechtstreeks door de wetenschappers verzameld. Het wordt gekocht van "databrokers"—bedrijven die informatie verzamelen uit duizenden verschillende bronnen, het opschonen en verkopen als een netjes, klaar voor gebruik pakketje.

De grote vraag die dit artikel stelt is: Wat als de fotokopie fout is?

Wanneer je een dataset koopt, vertrouw je erop dat de broker zijn werk perfect heeft gedaan. Maar wat als ze een paar stukjes hebben gemist? Wat als ze een getal verkeerd hebben overgenomen? Of wat als ze een vreemde truc hebben gebruikt om een ontbrekend getal te raden, en die truc het hele plaatje vertekend heeft? Dit staat bekend als de "Big Data Paradox": hoe meer data je hebt, hoe zekerder je je voelt, maar als die data gebrekkig is, is die zekerheid eigenlijk een valstrik. Je krijgt misschien een heel precies antwoord dat volledig misleidend is. Dit artikel duikt in een specifieke, hoogst relevante hoek van dit probleem: de data die wordt gebruikt om bij te houden waar huizen voor verkopen en hoeveel belasting ze verschuldigd zijn. Als deze data kapot is, kan dit betekenen dat de rijken minder belasting betalen dan ze zouden moeten, of dat de armen te veel betalen, en niemand zou het weten totdat het te laat is.

De Grote Huisprijs-Roof: Wanneer Databrokers het Fout Doen

In dit onderzoek traden de auteurs op als digitale detectives en auditeerden zij twee van de grootste "databrokers" in de Verenigde Staten: Cotality en ATTOM. Deze bedrijven zijn de reuzen van de vastgoedwereld; ze verkopen informatie over miljoenen woningen aan banken, overheden en onderzoekers. De auteurs besloten hun werk te controleren tegen de "ground truth" (de werkelijke feiten)—de originele, officiële registers die worden bijgehouden door de regering van Cook County in Illinois (inclusclusief Chicago). Beschouw de overheidsregisters als het originele, ondertekende bonnetje van de winkel, en de data van de brokers als de kopie die je krijgt van een externe app.

De detectives ontdekten dat de kopieën van de brokers verre van perfect waren. Ze ontdekten twee hoofdvormen van fouten die de berekeningen verpestten:

1. Het "Ontbrekende Stukje" Probleem (Dekkingsfouten)
Stel je voor dat je appels in een mand telt, maar de persoon die de lijst heeft gemaakt, is vergeten om 12% tot 15% van de appels op te schrijven. Dat is een "dekkingsfout". De auteurs ontdekten dat voor elke 100 echte woningverkopen die plaatsvonden, de brokers er ongeveer 12 tot 15 misten. Waarom? Omdat de brokers soms in de war raakten over wat een "huis" of een "echte verkoop" telde. Ze hadden misschien per ongelhad een woningverkoop gelabeld als een "executieverkoop" (wat een andere categorie is) of een verkoop volledig gemist omdat het adres net iets anders geschreven stond. Dit betekende dat de data niet alleen een beetje afweek; het miste een enorm deel van de populatie, waardoor het beeld van de woningmarkt incompleet was.

**2. Het "Raadspel" Probleem (Imputatiefouten)**ings
Soms hadden de brokers de werkelijke verkoopprijs van een huis niet bij de hand. In plaats van te zeggen "Ik weet het niet", probeerden ze het te raden met een wiskundige truc. Ze keken naar de "overdrachtsbelasting" (een kleine vergoeding die betaald wordt bij de verkoop van een huis) en probeerden terug te rekenen om de prijs te achterhalen. Maar hier ging het mis: verschillende steden hebben verschillende belastingtarieven. Als de broker het verkeerde belastingtarief van een stad raadde, zat de berekening er enorm naast.

De auteurs ontdekten dat voor ongeveer 1% tot 2% van de woningverkopen die zij controleerden, de prijs van de broker extreem afweek van de echte prijs—soms met honderdduizenden dollars! Nog vreemder nog: de fouten waren niet willekeurig. De brokers maakten vaak dezelfde fout bij dezelfde huizen. Bijvoorbeeld, als een huis werd verkocht voor $300.000, kon een broker het per ongeluk registreren als $200.000 (twee derde van de echte prijs) of $600.000 (dubbel de echte prijs). Het was als een stempelmachine die steeds weer het verkeerde nummer op de juiste plek drukte.

Het Domino-effect: Waarom Dit Belangrijk Is voor Jouw Portemonnee

Je denkt misschien: "Nou en, een paar huisprijzen kloppen niet. Wie boeit dat?" De auteurs laten zien dat dit veel uitmaakt, omdat deze cijfers worden gebruikt om iets te berekenen dat eigendomsbelasting-regressiviteit wordt genoemd.

Beschouw de onroerendezaakbelasting als een gezamenlijk diner waarbij iedereen een deel moet betalen op basis van wat hij heeft besteld. "Regressiviteit" is een chic woord voor wanneer de mensen die een goedkoop maaltijd hebben besteld, uiteindelijk een groter percentage van de rekening betalen dan de mensen die de dure biefstuk hebben besteld. In de echte wereld laten studies vaak zien dat arme buurten vaak tegen een hoger effectief tarief worden belast dan rijke buurten.

De auteurs gebruikten de data van de brokers om deze belastingeerlijkheid te berekenen. Het resultaat? De data van de brokers gaven een compleet ander antwoord dan de echte overheidsdata.

• De data van Cotality lieten het lijken alsof het belastingstelsel eerlijker was dan het in werkelijkheid was (het onderschatte de ongelijkheid).
• De data van ATTOM lieten het lijken alsof het belastingstelsel ongerechter was dan het in werkelijkheid was (het overschatte de ongelijkheid).

Omdat de data van de brokers deze verborgen fouten bevatten, verschoof de "waarheid" over wie wat betaalt drastisch, afhankelijk van welke data je kocht. Als een overheidsfunctionaris de verkeerde data gebruikt, kan hij denken dat het belastingstelsel in orde is terwijl het eigenlijk arme gezinnen benadeelt, of andersom.

De "Kopieer-Plak" Complottheorie

Een van de meest verrassende ontdekkingen was dat de twee grote brokers, Cotality en ATTOM, dezelfde fouten maakten. Ze misten dezelfde huizen en maakten dezelfde vreemde rekenfouten bij dezelfde transacties. Het blijkt dat deze bedrijven vaak data met elkaar delen. Het is also als twee nieuwsstations beide het laatste nieuws van hetzelfde persbureau krijgen, en dat persbureau een typefout heeft gemaakt. Beide stations rapporteren dan dezelfde verkeerde nieuwsserie, en niemand merkt dat het een fout is omdat ze het allebei met elkaar eens zijn.

De auteurs ontdekten dat voor de huizen waar de brokers de prijs fout kregen, 99,8% van de tijd beide brokers exact hetzelfde foute getal hadden. Dit is een groot probleem voor wetenschappers. Normaal gesproken, als twee verschillende bronnen het met elkaar eens zijn, denk je: "Geweldig, dit moet wel waar zijn!" Maar in dit geval was hun overeenstemming een valstrik. Ze waren beiden fout om dezelfde reden.

De Kern van het Verhaal

Dit artikel wijst niet alleen op een paar typefouten; het onthult een barst in het fundament van hoe wij de economie begrijpen. De auteurs concluderen dat we de "nette pakketjes" data die door brokers worden verkocht, niet blindelings kunnen vertrouwen. Omdat deze bedrijven niet altijd vertellen hoe ze hun getallen opschonen of raden, vliegen we blind.

De oplossing? We hebben open data nodig. Overheden hebben al de originele, correcte registers (de "ground truth"). De auteurs stellen dat onderzoekers en beleidsmakers, in plaats van te vertrouwen op dure, ondoorzichtige brokers, de gratis, publieke data direct moeten gebruiken. Als we niet kunnen zien hoe de data is gemaakt, kunnen we de conclusies die we eruit trekken niet vertrouwen. In een wereld waarin AI en Big Data de dienst uitmaken, is het belangrijkste wat we kunnen doen om ervoor te zorgen dat de data niet alleen groot is, maar ook juist.