Hidden Errors in Big Data: The Case of Property Records

El fallo invisible en la biblioteca de datos más grande del mundo

Imagina que estás intentando resolver un rompecabezas gigante, pero en lugar de usar las piezas reales, estás usando una fotocopia de una fotocopia que alguien más hizo. Este es el mundo del "Big Data". Hoy en día, los científicos, los gobiernos e incluso los sistemas de inteligencia artificial que gestionan nuestras ciudades dependen de enormes pilas de información para tomar decisiones. Utilizan estos datos para averiguar desde cómo tratar enfermedades hasta cómo gravar tu vivienda. Pero aquí está el truco: la mayor parte de estos datos no son recolectados directamente por los científicos. Se compran a "corredores de datos" (data brokers), empresas que reúnen información de miles de lugares diferentes, la limpian y la venden como un paquete ordenado y listo para usar.

La gran pregunta que plantea este artículo es: ¿Qué pasa si la fotocopia está mal?

Cuando compras un conjunto de datos, estás confiando en que el corredor hizo su trabajo perfectamente. Pero, ¿y si omitió algunas piezas? ¿Y si copió mal un número? ¿O qué tal si usó un truco extraño para adivinar un número faltante, y ese truco hizo que toda la imagen se viera distorsionada? Esto se conoce como la "Paradoja del Big Data": cuanto más datos tienes, más seguro te sientes, pero si esos datos son defectuosos, tu confianza es en realidad una trampa. Podrías obtener una respuesta muy precisa que sea completamente engañosa. Este artículo se sumerge en un rincón específico y de alto riesgo de este problema: los datos utilizados para rastrear por cuánto se venden las casas y cuánto deben de impuestos. Si estos datos están rotos, podría significar que los ricos pagan menos impuestos de los que deberían, o que los pobres pagan demasiado, y nadie lo sabría hasta que sea demasiado tarde.

El gran robo de los precios de la vivienda: Cuando los corredores de datos se equivocan

En este estudio, los autores actuaron como detectives digitales, auditando a dos de los mayores "corredores de datos" en los Estados Unidos: Cotality y ATTOM. Estas empresas son los gigantes del mundo inmobiliario; venden información sobre millones de hogares a bancos, gobiernos e investigadores. Los autores decidieron contrastar su trabajo con la "verdad fundamental" (ground truth), los registros oficiales originales mantenidos por el gobierno del condado de Cook en Illinois (que incluye Chicago). Piensa en los registros del gobierno como el recibo original firmado en la tienda, y en los datos de los corredores como la copia que obtienes de una aplicación de terceros.

Los detectives descubrieron que las copias de los corredores estaban lejos de ser perfectas. Encontraron dos tipos principales de errores que estaban arruinando las matemáticas:

1. El problema de la "pieza faltante" (Errores de cobertura)
Imagina que estás contando las manzanas en una cesta, pero la persona que hizo la lista olvidó anotar entre el 12% y el 15% de las manzanas. Eso es un "error de cobertura". Los autores descubrieron que, por cada 100 ventas reales de casas que ocurrían, los corredores estaban omitiendo entre 12 y 15 de ellas. ¿Por qué? Porque los corredores a veces se confundían sobre qué contaba como una "casa" o una "venta real". Podrían haber etiquetado accidentalmente la venta de una casa como una "ejecución hipotecaria" (que es una categoría diferente) o haber pasado por alto una venta por completo debido a que la dirección estaba escrita de forma ligeramente distinta. Esto significaba que los datos no solo estaban un poco desviados; faltaba una gran parte de la población, haciendo que la imagen del mercado inmobiliario estuviera incompleta.

2. El problema del "juego de adivinanzas" (Errores de imputación)
A veces, los corredores no tenían el precio de venta real de una casa. En lugar de decir "no lo sé", intentaban adivinarlo usando un truco matemático. Miraban el "impuesto de transferencia" (una pequeña tasa pagada cuando se vende una casa) e intentaban calcular hacia atrás para determinar el precio. Pero aquí es donde todo salía mal: diferentes pueblos tienen diferentes tasas impositivas. Si el corredor adivinaba la tasa impositiva del pueblo equivocado, su cálculo fallaría por una cantidad enorme.

Los autores descubrieron que, para aproximadamente el 1% al 2% de las ventas de casas que revisaron, el precio del corredor era radicalmente distinto del precio real, ¡a veces con una diferencia de cientos de miles de dólares! Lo más extraño es que los errores no eran aleatorios. Los corredores a menudo cometían exactamente el mismo error en las mismas casas. Por ejemplo, si una casa se vendía por $300,000, un corredor podría registrarla accidentalmente como $200,000 (dos tercios del precio real) o $600,000 (el doble del precio real). Era como una máquina de sellado que seguía presionando el número equivocado una y otra vez.

El efecto dominó: Por qué esto importa para tu bolsillo

Podrías pensar: "Bueno, algunos precios de casas están mal. ¿A quién le importa?". Los autores demuestran que esto importa mucho porque estos números se utilizan para calcular algo llamado regresividad del impuesto sobre la propiedad.

Piensa en el impuesto sobre la propiedad como una cena grupal donde todos deben pagar una parte basada en lo que pidieron. La "regresividad" es una palabra elegante para cuando las personas que pidieron una comida barata terminan pagando un porcentaje mayor de la cuenta que las personas que pidieron el filete caro. En el mundo real, los estudios suelen mostrar que los barrios más pobres son gravados con una tasa efectiva más alta que los barrios ricos.

Los autores utilizaron los datos de los corredores para calcular esta equidad fiscal. ¿El resultado? Los datos de los corredores dieron una respuesta completamente diferente a la de los datos reales del gobierno.

• Los datos de Cotality hacían que pareciera que el sistema fiscal era más justo de lo que realmente era (subestimando la injusticia).
• Los datos de ATTOM hacían que pareciera que el sistema fiscal era más injusto de lo que realmente era (sobreestimando la injusticia).

Debido a que los datos de los corredores tenían estos errores ocultos, la "verdad" sobre quién paga qué cambiaba drásticamente dependiendo de qué datos compraras. Si un funcionario gubernamental utilizaba los datos incorrectos, podría pensar que el sistema fiscal es adecuado cuando en realidad está perjudicando a las familias pobres, o viceversa.

La conspiración del "copiar y pegar"

Uno de los descubrimientos más sorprendentes fue que los dos grandes corredores, Cotality y ATTOM, estaban cometiendo los mismos errores. Omitían las mismas casas y cometían los mismos errores matemales extraños en las mismas transacciones. Resulta que estas empresas suelen compartir datos entre sí. Es como si dos estaciones de noticias obtuvieran ambas sus noticias de última hora de la misma agencia de noticias, y esa agencia tuviera una errata. Ambas estaciones informarían la misma historia errónea, y nadie se daría cuenta de que era un error porque ambas estuvieron de acuerdo.

Los autores descubrieron que, en las casas donde los corredores erraron el precio, el 99.8% de las veces, ambos corredores tenían exactamente el mismo número incorrecto. Esto es un gran problema para los científicos. Normalmente, si dos fuentes distintas coinciden, piensas: "¡Genial, esto debe ser verdad!". Pero en este caso, su acuerdo era una traga. Ambos estaban equivocados por la misma razón.

Conclusión

Este artículo no solo señala algunos errores tipográficos; revela una grieta en los cimientos de cómo entendemos la economía. Los autores concluyen que no podemos confiar ciegamente en los "paquetes ordenados" de datos que venden los corredores. Debido a que estas empresas no siempre nos dicen cómo limpian o adivinan sus números, estamos volando a ciegas.

¿La solución? Necesitamos datos abiertos. Los gobiernos ya poseen los registros originales y correctos (la "verdad fundamental"). Los autores argumentan que, en lugar de depender de corredores costosos y opacos, los investigadores y los responsables de políticas deberían utilizar directamente los datos públicos y gratuitos. Si no podemos ver cómo se crearon los datos, no podemos confiar en las conclusiones que extraemos de ellos. En un mundo donde la IA y el Big Data están al mando, lo más importante que podemos hacer es asegurarnos de que los datos no solo sean grandes, sino también correctos.