Hidden Errors in Big Data: The Case of Property Records

Il glitch invisibile nella più grande biblioteca di dati al mondo

Immaginate di cercare di risolvere un enorme puzzle, ma invece di usare i pezzi reali, state usando una fotocopia di una fotocopia fatta da qualcun altro. Questo è il mondo dei "Big Data". Oggi, scienziati, governi e persino i sistemi di intelligenza artificiale che gestiscono le nostre città si affidano a enormi pile di informazioni per prendere decisioni. Usano questi dati per capire tutto, da come trattare le malattie a come tassare la vostra casa. Ma ecco il problema: la maggior parte di questi dati non viene raccolta direttamente dagli scienziati. Viene acquistata dai "data broker" — aziende che raccolgono informazioni da migliaia di luoghi diversi, le puliscono e le vendono come un pacchetto ordinato e pronto all'uso.

La grande domanda che questo articolo pone è: E se la fotocopia fosse sbagliata?

Quando acquistate un set di dati, vi fidate del fatto che il broker abbia svolto il proprio lavoro perfettamente. Ma cosa succederebbe se avessero saltato dei pezzi? E se avessero copiato male un numero? O se avessero usato un trucco strano per indovinare un numero mancante, e quel trucco avesse reso l'intera immagine distorta? Questo è noto come il "Paradosso dei Big Data": più dati hai, più ti senti sicuro, ma se quei dati sono difettosi, la tua sicurezza è in realtà una trappola. Potresti ottenere una risposta molto precisa che è però completamente fuorviante. Questo articolo approfondisce un angolo specifico e ad alto rischio di questo problema: i dati utilizzati per monitorare quanto costano le case e quanto debbano pagare di tasse. Se questi dati sono rotti, potrebbe significare che i ricchi pagano meno tasse di quelle che dovrebbero, o che i poveri ne pagano troppe, e nessuno se ne accorgerebbe finché non è troppo tardi.

La grande rapina sui prezzi delle case: quando i data broker sbagliano

In questo studio, gli autori hanno agito come detective digitali, analizzando due dei più grandi "data broker" negli Stati Uniti: Cotality e ATTOM. Queste aziende sono i giganti del mondo immobiliare; vendono informazioni su milioni di case a banche, governi e ricercatori. Gli autori hanno deciso di controllare il loro lavoro confrontandolo con la "verità di base" (ground truth) — i registri ufficiali originali conservati dal governo della Contea di Cook, in Illinois (che include Chicago). Pensate ai registri governativi come alla ricevuta originale e firmata dal negozio, e ai dati dei broker come alla copia che ottenete da un'app di terze parti.

I detective hanno scoperto che le copie dei broker erano tutt'altro che perfette. Hanno scoperto due tipi principali di errori che stavano mandando in tilt la matematica:

1. Il problema del "pezzo mancante" (Errori di copertura)
Immaginate di contare le mele in un cesto, ma la persona che ha fatto la lista si è dimenticata di segnare il 12% o il 15% delle mele. Questo è un "errore di copertura". Gli autori hanno scoperto che per ogni 100 vere vendite di case avvenute, i broker ne mancavano circa 12 o 15. Perché? Perché i broker a volte si confondevano su cosa contasse come "casa" o come "vendita reale". Avrebbero potuto etichettare accidentalmente la vendita di una casa come "pignoramento" (che è una categoria diversa) o mancare del tutto una vendita perché l'indirizzo era scritto in modo leggermente diverso. Ciò significava che i dati non erano solo un po' imprecisi; mancava un enorme pezzo della popolazione, rendendo l'immagine del mercato immobiliare incompleta.

2. Il problema del "gioco d'azzardo" (Errori di imputazione)
A volte, i broker non avevano il prezzo di vendita effettivo di una casa. Inveve di dire "non lo so", cercavano di indovinarlo usando un trucco matematico. Guardavano la "tassa di trasferimento" (una piccola commissione pagata quando una casa viene venduta) e cercavano di calcolare a ritroso il prezzo. Ma è qui che le cose sono andate male: diverse città hanno diverse aliquote fiscali. Se il broker avesse indovinato la percentuale fiscale della città sbagliata, il suo calcolo sarebbe stato sballato di una cifra enorme.

Gli autori hanno scoperto che per circa l'1% o il 2% delle vendite di case controllate, il prezzo indicato dal broker era drasticamente diverso dal prezzo reale — a volte con uno scarto di centinaia di migliaia di dollari! Ancora più strano, gli errori non erano casuali. I broker spesso commettevano lo stesso identico errore sulle stesse identiche case. Per esempio, se una casa veniva venduta per 300.000 dollari, un broker poteva accidentalmente registrarla come 200.000 dollari (due terzi del prezzo reale) o 600.000 dollari (il doppio del prezzo reale). Era come una macchina per timbri che continuava a premere il numero sbagliato ancora e ancora.

L'effetto domino: perché questo conta per il tuo portafoglio

Potreste pensare: "E allora, se alcuni prezzi delle case sono sbagliati, chi se ne importa?". Gli autori dimostrano che questo è importante perché questi numeri vengono usati per calcolare quella che viene chiamata regressività dell'imposta sulla proprietà.

Pensate alla tassa sulla proprietà come a una cena di gruppo dove tutti dovrebbero pagare una quota in base a ciò che hanno ordinato. La "regressività" è una parola sofisticata per descrivere quando le persone che hanno ordinato un pasto economico finiscono per pagare una percentuale del conto più alta rispetto a chi ha ordinato un bifeff steak costoso. Nel mondo reale, gli studi mostrano spesso che i quartieri più poveri sono tassati a un tasso effettivo più alto rispetto a quelli ricchi.

Gli autori hanno usato i dati dei broker per calcolare questa equità fiscale. Il risultato? I dati dei broker davano una risposta completamente diversa rispetto ai dati reali del governo.

• I dati di Cotality facevano sembrare il sistema fiscale più equo di quanto non fosse in realtà (sottostimando l'ingiustizia).
• I dati di ATTOM facevano sembrare il sistema fiscale più ingiusto di quanto non fosse in realtà (sovrastimando l'ingiustizia).

Poiché i dati dei broker presentavano questi errori nascosti, la "verità" su chi paga cosa cambiava drasticamente a seconda del dato che acquistavate. Se un funzionario governativo avesse usato i dati sbagliati, avrebbe potuto pensare che il sistema fiscale fosse perfetto quando in realtà stava danneggiando le famiglie povere, o viceversa.

La cospirazione del "Copia e Incolla"

Una delle scoperte più sorprendenti è stata che i due grandi broker, Cotality e ATTOM, stavano commettendo gli stessi errori. Perdevano le stesse case e commettevano gli stessi strani errori matematici sulle stesse transazioni. Si scopre che queste aziende spesso condividono i dati tra loro. È come se due stazioni televisive ricevessero entrambe la notizia dell'ultima ora dallo stesso servizio stampa, e quel servizio stampa avesse fatto un errore di battitura. Entrambe le stazioni riporterebbero la stessa notizia errata, e nessuno si accorgerebbe dell'errore perché concordavano entrambi su di esso.

Gli autori hanno scoperto che per le case in cui i broker avevano sbagliato il prezzo, il 99,8% delle volte, entrambi i broker avevano lo stesso identico numero errato. Questo è un grosso problema per gli scienziati. Di solito, se due fonti diverse concordano, pensi: "Ottimo, deve essere vero!". Ma in questo caso, il loro accordo era una trappola. Erano entrambi sbagliati per lo stesso motivo.

In sintesi

Questo articolo non si limita a segnalare alcuni errori di battitura; rivela una crepa nelle fondamenta di come comprendiamo l'economia. Gli autori concludono che non possiamo fidarci ciecamente dei "pacchetti ordinati" di dati venduti dai broker. Poiché queste aziende non dicono sempre come puliscono o come ipotizzano i loro numeri, stiamo volando alla cieca.

La soluzione? Abbiamo bisogno di dati aperti (open data). I governi possiedono già i record originali e corretti (la "verità di base"). Gli autori sostengono che, invece di affidarsi a broker costosi e opachi, i ricercatori e i decisori politici dovrebbero utilizzare direttamente i dati pubblici e gratuiti. Se non possiamo vedere come i dati sono stati creati, non possiamo fidarci delle conclusioni che ne traiamo. In un mondo in cui l'IA e i Big Data stanno prendendo il comando, la cosa più importante che possiamo fare è assicurarci che i dati non siano solo grandi, ma anche giusti.