Hidden Errors in Big Data: The Case of Property Records

Der unsichtbare Fehler im größten Datenarchiv der Welt

Stellen Sie sich vor, Sie versuchen, ein riesiges Puzzle zu lösen, aber anstatt die tatsächlichen Teile zu verwenden, benutzen Sie eine Fotokopie einer Fotokopie, die jemand anderes erstellt hat. Das ist die Welt von „Big Data“. Heute verlassen sich Wissenschaftler, Regierungen und sogar die künstlichen Intelligenzsysteme, die unsere Städte steuern, auf massive Haufen von Informationen, um Entscheidungen zu treffen. Sie nutzen diese Daten, um alles herauszufinden – von der Behandlung von Krankheiten bis hin zur Besteuerung Ihres Hauses. Aber hier ist der Haken: Die meisten dieser Daten werden nicht direkt von den Wissenschaftlern erhoben. Sie werden von „Datenbrokern“ gekauft – Unternehmen, die Informationen aus tausenden verschiedenen Quellen sammeln, bereinigen und als ordentliches, gebrauchsfertiges Paket verkaufen.

Die große Frage, die dieses Papier stellt, lautet: Was ist, wenn die Fotokopie falsch ist?

Wenn Sie einen Datensatz kaufen, vertrauen Sie darauf, dass der Broker seine Arbeit perfekt erledigt hat. Aber was, wenn er einige Teile übersehen hat? Was, wenn er eine Zahl falsch kopiert hat? Oder was, wenn er einen seltsamen Trick angewandt hat, um eine fehlende Zahl zu erraten, und dieser Trick das gesamte Bild verzerrt hat? Dies ist als das „Big-Data-Paradoxon“ bekannt: Je mehr Daten Sie haben, desto sicherer fühlen Sie sich, aber wenn diese Daten fehlerhaft sind, ist Ihr Vertrauen tatsächlich eine Falle. Sie könnten ein sehr präzises Ergebnis erhalten, das jedoch völlig irreführend ist. Dieses Papier taucht in eine spezifische, hochsensible Ecke dieses Problems ein: die Daten, die dazu verwendet werden, zu verfolgen, wie viel Häuser verkauft werden und wie viel Steuer sie schulden. Wenn diese Daten fehlerhaft sind, könnte das bedeuten, dass die Reichen weniger Steuern zahlen als sie sollten, oder dass die Armen zu viel bezahlen – und niemand würde es merken, bis es zu spät ist.

Der große Hauspreis-Raub: Wenn Datenbroker Fehler machen

In dieser Studie agierten die Autoren wie digitale Detektive und prüften zwei der größten „Datenbroker“ in den Vereinigten Staaten: Cotality und ATTOM. Diese Unternehmen sind die Giganten der Immobilienwelt; sie verkaufen Informationen über Millionen von Häusern an Banken, Regierungen und Forscher. Die Autoren beschlossen, ihre Arbeit gegen die „Ground Truth“ (die Wahrheit vor Ort) zu prüfen – die ursprünglichen, offiziellen Aufzeichnungen der Regierung von Cook County in Illinois (einschließlich Chicago). Betrachten Sie die Regierungsaufzeichnungen als die Originalrechnung aus dem Geschäft und die Daten der Broker als die Kopie, die man von einer Drittanbieter-App erhält.

Die Detektive fanden heraus, dass die Kopien der Broker weit davon entfernt waren, perfekt zu sein. Sie entdeckten zwei Hauptarten von Fehlern, die die Mathematik durcheinanderbrachten:

1. Das „Fehlendes-Teile“-Problem (Abdeckungsfehler)
Stellen Sie sich vor, Sie zählen Äpfel in einem Korb, aber die Person, die die Liste erstellt hat, hat vergessen, 12 % bis 15 % der Äpfel aufzuschreiben. Das ist ein „Abdeckungsfehler“. Die Autoren fanden heraus, dass für jeden 100 echten Hausverkäufe, die stattfanden, die Broker etwa 12 bis 15 davon übersehen hatten. Warum? Weil die Broker manchmal verwirrt darüber waren, was als „Haus“ oder „echter Verkauf“ galt. Sie könnten versehentlich einen Hausverkauf als „Zwangsversteigerung“ (eine andere Kategorie) bezeichnet oder einen Verkauf ganz übersehen haben, weil die Adresse leicht anders geschrieben war. Dies bedeutete, dass die Daten nicht nur ein wenig daneben lagen; es fehlte ihnen ein riesiger Teil der Bevölkerung, was das Bild des Immobilienmarktes unvollständig machte.

2. Das „Ratespiel“-Problem (Imputationsfehler)
Manchmal hatten die Broker keinen tatsächlichen Verkaufspreis eines Hauses. Anstatt zu sagen: „Ich weiß es nicht“, versuchten sie, ihn mithilfe eines mathematischen Tricks zu erraten. Sie schauten sich die „Transfersteuer“ an (eine kleine Gebühr, die beim Hausverkauf gezahlt wird) und versuchten, rückwärts zu rechnen, um den Preis zu ermitteln. Aber genau hier ging es schief: Unterschiedliche Städte haben unterschiedliche Steuersätze. Wenn der Broker den falschen Steuersatz der Stadt erraten hatte, war seine Rechnung massiv daneck.

Die Autoren fanden heraus, dass bei etwa 1 % bis 2 % der überprüften Hausverkäufe der Preis des Brokers massiv vom echten Preis abwich – manchmal um Hunderttausende von Dollar! Noch seltsamer war, dass die Fehler nicht zufällig waren. Die Broker machten oft exakt denselben Fehler bei exakt denselben Häusern. Wenn zum Beispiel ein Haus für 300.000 $ verkauft wurde, könnte ein Broker es versehentlich als 200.000 $ (zwei Drittel des echten Preises) oder als 600.000 $ (das Doppelte des echten Preises) erfasst haben. Es war wie eine Stempelmaschine, die immer wieder die falsche Zahl aufdrückte.

Der Domino-Eff Effekt: Warum das für Ihren Geldbeutel wichtig ist

Sie denken vielleicht: „Na und, ein paar Hauspreise sind falsch. Wen kümmert das?“ Die Autoren zeigen, dass dies sehr wichtig ist, da diese Zahlen verwendet werden, um etwas zu berechnen, das man Grundsteuer-Regressivität nennt.

Stellen Sie sich die Grundsteuer wie ein gemeinsames Abendessen vor, bei dem jeder seinen Anteil basierend auf dem bezahlten, was er bestellt hat. „Regressivität“ ist ein schickes Wort dafür, wenn die Menschen, die ein günstiges Essen bestellt haben, am Ende einen größeren Prozentsatz der Rechnung bezahlen als die Leute, die das teure Steak bestellt haben. In der realen Welt zeigen Studien oft, dass ärmere Nachbarschaften mit einer höheren effektiven Rate besteuert werden als wohlhabendere.

Die Autoren nutzten die Daten der Broker, um diese Steuergerechtigkeit zu berechnen. Das Ergebnis? Die Daten der Broker lieferten eine völlig andere Antwort als die echten Regierungsdaten.

• Cotalitys Daten ließen es so aussehen, als sei das Steuersystem gerechter, als es in Wirklichkeit war (sie unterschätzten die Ungerechtigkeit).
• ATTOMs Daten ließen es so aussehen, als sei das Steuersystem ungerechter, als es in Wirklichkeit war (sie überschätzten die Ungerechtigkeit).

Weil die Daten der Broker diese verborgenen Fehler aufwiesen, verschob sich die „Wahrheit“ darüber, wer was zahlt, dramatisch, je nachdem, welche Daten man kaufte. Wenn ein Regierungsvertreter die falschen Daten verwendet hätte, hätte er vielleicht gedacht, das Steuersystem sei in Ordnung, während es in Wirklichkeit arme Familien belastet – oder umgekehrt.

Die „Copy-Paste“-Verschwörung

Eine der überraschendsten Entdeckungen war, dass die beiden großen Broker, Cotality und ATTOM, dieselben Fehler machten. Sie übersehen dieselben Häuser und machten dieselben seltsamen Rechenfehler bei denselben Transaktionen. Es stellt sich heraus, dass diese Unternehmen oft Daten untereinander teilen. Es ist wie wenn zwei Nachrichtensender beide dieselbe Eilmeldung von einem gemeinsamen Nachrichtendienst erhalten hätten und dieser Nachrichtendienst einen Tippfehler gemacht hätte. Beide Sender würden dieselbe falsche Geschichte berichten, und niemand würde merken, dass es ein Fehler war, weil sie sich beide einig waren.

Die Autoren fanden heraus, dass in den Fällen, in denen die Broker den Preis falsch angaben, in 99,8 % der Fälle beide Broker exakt dieselbe falsche Zahl hatten. Das ist ein großes Problem für Wissenschaftler. Normalerweise denkt man bei der Übereinstimmung zweier verschiedener Quellen: „Großartig, das muss wahr sein!“ Aber in diesem Fall war ihre Übereinstimmung eine Falle. Sie waren beide aus demselben Grund falsch.

Das Fazteit

Dieses Papier weist nicht nur auf ein paar Tippfehler hin; es enthüllt einen Riss im Fundament dessen, wie wir die Wirtschaft verstehen. Die Autoren kommen zu dem Schluss, dass wir die „ordentlichen Pakete“ von Daten, die von Brokern verkauft werden, nicht blind vertrauen können. Da diese Unternehmen uns nicht immer sagen, wie sie ihre Zahlen bereinigen oder erraten, fliegen wir im Blindflug.

Die Lösung? Wir brauchen Open Data (offene Daten). Regierungen besitzen bereits die ursprünglichen, korrekten Aufzeichnungen (die „Ground Truth“). Die Autoren argumentieren, dass Forscher und politische Entscheidungsträger, anstatt sich auf teure, undurchsichtige Broker zu verlassen, statlich die kostenlosen, öffentlichen Daten direkt nutzen sollten. Wenn wir nicht sehen können, wie die Daten erstellt wurden, können wir die Schlussfolgerungen, die wir daraus ziehen, nicht vertrauen. In einer Welt, in der KI und Big Data das Ruder übernehmen, ist das Wichtigste, was wir tun können, sicherzustellen, dass die Daten nicht nur groß sind – sondern auch richtig.