Hidden Errors in Big Data: The Case of Property Records

Le bug invisible de la plus grande bibliothèque de données au monde

Imaginez que vous essayiez de résoudre un puzzle géant, mais qu'au lieu d'utiliser les pièces réelles, vous utilisiez une photocopie d'une photocopie faite par quelqu'un d'autre. C'est le monde du « Big Data ». Aujourd'hui, les scientifiques, les gouvernements et même les systèmes d'intelligence artificielle qui dirigent nos villes s'appuient sur des masses gigantesques d'informations pour prendre des décisions. Ils utilisent ces données pour déterminer tout, de la manière de traiter les maladies à la façon de taxer votre maison. Mais voici le piège : la majeure partie de ces données n'est pas collectée directement par les scientifiques. Elle est achetée auprès de « courtiers en données » (data brokers) — des entreprises qui rassemblent des informations provenant de milliers d'endroits différents, les nettoient et les vendent sous forme de paquets propres et prêts à l'emploi.

La grande question que pose ce document est la suivante : Et si la photocopie était fausse ?

Lorsque vous achetez un ensemble de données, vous faites confiance au fait que le courtier a fait son travail parfaitement. Mais et s'il avait manqué des morceaux ? Et s'il avait mal recopié un chiffre ? Ou s'il avait utilisé une astuce bizarre pour deviner un chiffre manquant, et que cette astuce avait déformé toute l'image ? C'est ce qu'on appelle le « paradoxe du Big Data » : plus vous avez de données, plus vous vous sentez confiant, mais si ces données sont erronées, votre confiance est en réalité un piège. Vous pourriez obtenir une réponse très précise qui est totalement trompeuse. Ce document plonge dans un recoin spécifique et à enjeux élevés de ce problème : les données utilisées pour suivre le prix de vente des maisons et le montant de leurs taxes. Si ces données sont brisées, cela pourrait signifier que les riches paient moins d'impôts qu'ils ne le devraient, ou que les pauvres en paient trop, et que personne ne le saurait avant qu'il ne soit trop tard.

Le grand braquage des prix de l'immobilier : quand les courtiers en données se trompent

Dans cette étude, les auteurs ont agi comme des détectives numériques, auditant deux des plus grands « courtiers en données » aux États-Unis : Cotality et ATTOM. Ces entreprises sont les géants du secteur immobilier ; elles vendent des informations sur des millions de maisons aux banques, aux gouvernements et aux chercheurs. Les auteurs ont décidé de vérifier leur travail par rapport à la « vérité de terrain » (ground truth) — les registres officiels originaux tenus par le gouvernement du comté de Cook, dans l'Illinois (qui comprend Chicago). Considérez les registres du gouvernement comme le reçu original et signé du magasin, et les données des courtiers comme la copie que vous obtenez via une application tierce.

Les détectives ont découvert que les copies des courtiers étaient loin d'être parfaites. Ils ont découvert deux types principaux d'erreurs qui faussaient les calculs :

1. Le problème de la « pièce manquante » (Erreurs de couverture)
Imaginez que vous comptiez les pommes dans un panier, mais que la personne qui a fait la liste a oublié de noter 12 % à 15 % des pommes. C'est une « erreur de couverture ». Les auteurs ont découvert que pour chaque 100 ventes de maisons réelles ayant eu lieu, les courtiers en manquaient environ 12 à 15. Pourquoi ? Parce que les courtiers se confondaient parfois sur ce qui constituait une « maison » ou une « vente réelle ». Ils pouvaient accidentellement étiqueter la vente d'une maison comme une « saisie immobilière » (qui est une catégorie différente) ou manquer une vente entière parce que l'adresse était écrite légèrement différemment. Cela signifiait que les données n'étaient pas seulement un peu décalées ; il manquait une énorme partie de la population, rendant l'image du marché immobilier incomplète.

2. Le problème du « jeu de devinettes » (Erreurs d'imputation)
Parfois, les courtiers n'avaient pas le prix de vente réel d'une maison. Au lieu de dire « je ne sais pas », ils essayaient de le deviner en utilisant une astuce mathématique. Ils regardaient la « taxe de transfert » (une petite taxe payée lors de la vente d'une maison) et essayaient de remonter à rebours pour déterminer le prix. Mais c'est là que cela partait mal : les villes ont des taux de taxe différents. Si le courtier devinait le mauvais taux de la ville, son calcul était totalement faux.

Les auteurs ont découvert que pour environ 1 % à 2 % des ventes de maisons vérifiées, le prix du courtier était radicalement différent du prix réel — parfois avec un écart de centaines de milliers de dollars ! Plus étrange encore, les erreurs n'étaient pas aléatoires. Les courtiers faisaient souvent exactement la même erreur sur les mêmes maisons. Par exemple, si une maison s'était vendue 300 000 $, un courtier pourrait accidentellement l'enregistrer à 200 000 $ (les deux tiers du prix réel) ou à 600 000 $ (le double du prix). C'était comme une machine à tamponner qui pressait sans cesse le mauvais chiffre, encore et encore.

L'effet domino : pourquoi cela importe pour votre portefeuille

Vous pourriez penser : « Alors, quelques prix de maisons sont faux. Qu'est-ce que ça peut faire ? » Les auteurs montrent que cela compte énormément car ces chiffres sont utilisés pour calculer ce qu'on appelle la régressivité de la taxe foncière.

Considérez la taxe foncière comme un dîner de groupe où chacun est censé payer une part basée sur ce qu'il a commandé. La « régressivité » est un mot savant pour déser quand les personnes qui ont commandé le repas le moins cher finissent par payer un pourcentage plus élevé de l'addition que celles qui ont commandé le steak coûteux. Dans le monde réel, des études montrent souvent que les quartiers plus pauvres sont taxés à un taux effectif plus élevé que les quartiers riches.

Les auteurs ont utilisé les données des courtiers pour calculer cette équité fiscale. Le résultat ? Les données des courtiers donnaient une réponse complètement différente des données réelles du gouvernement.

• Les données de Cotality faisaient paraître le système fiscal plus juste qu'il ne l'est réellement (sous-estimant l'injustice).
• Les données d'ATTOM faisaient paraître le système fiscal plus injuste qu'il ne l'est réellement (surestimant l'injustice).

Parce que les données des courtiers comportaient ces erreurs cachées, la « vérité » sur qui paie quoi changeait radicalement selon la donnée que vous achetiez. Si un responsable gouvernemental utilisait les mauvaises données, il pourrait penser que le système fiscal est correct alors qu'il nuit en réalité aux familles pauvres, ou vice versa.

La conspiration du « Copier-Coller »

L'une des découvertes les plus surprenantes a été que les deux grands courtiers, Cotality et ATTOM, commettaient les mêmes erreurs. Ils manquaient les mêmes maisons et faisaient les mêmes erreurs mathématiques bizarres sur les mêmes transactions. Il s'avère que ces entreprises partagent souvent des données entre elles. C'est comme si deux stations d'information rapportaient toutes deux la même nouvelle de dernière minute provenant du même service de presse, et que ce service de presse avait fait une faute de frappe. Les deux stations rapporteraient la même fausse information, et personne ne réaliserait l'erreur parce qu'elles seraient d'accord l'une avec l'autre.

Les auteurs ont découvert que pour les maisons où les courtiers s'étaient trompés de prix, 99,8 % du temps, les deux courtiers avaient exactement le même mauvais chiffre. C'est un problème majeur pour les scientifiques. Habituellement, si deux sources différentes sont d'accord, on se dit : « Super, cela doit être vrai ! ». Mais dans ce cas, leur accord était un piège. Elles étaient toutes les deux dans l'erreur pour la même raison.

Conclusion

Ce document ne se contente pas de pointer du doigt quelques fautes de frappe ; il révèle une fissure dans les fondations de notre compréhension de l'économie. Les auteurs concluent que nous ne pouvons pas faire aveuglément confiance aux « paquets propres » de données vendus par les courtiers. Parce que ces entreprises ne nous disent pas toujours comment elles nettoient ou devinent leurs chiffres, nous naviguons à vue.

La solution ? Nous avons besoin de données ouvertes (open data). Les gouvernements possèdent déjà les registres originaux et corrects (la « vérité de terrain »). Les auteurs soutiennent qu'au lieu de compter sur des courtiers coûteux et opaques, les chercheurs et les décideurs politiques devraient utiliser directement les données publiques et gratuites. Si nous ne pouvons pas voir comment les données ont été fabriquées, nous ne pouvons pas faire confiance aux conclusions que nous en tirons. Dans un monde où l'IA et le Big Data dirigent la danse, la chose la plus importante que nous puissions faire est de nous assurer que les données ne sont pas seulement volumineuses, mais qu'elles sont aussi exactes.