Hidden Errors in Big Data: The Case of Property Records

O Glitch Invisível na Maior Biblioteca de Dados do Mundo

Imagine que você está tentando resolver um quebra-cabeça gigante, mas em vez de usar as peças reais, está usando uma fotocópia de uma fotocópia que outra pessoa fez. Este é o mundo do "Big Data". Hoje, cientistas, governos e até mesmo os sistemas de inteligência artificial que gerem as nossas cidades dependem de montanhas massivas de informações para tomar decisões. Eles usam esses dados para descobrir tudo, desde como tratar doenças até como tributar a sua casa. Mas aqui está o problema: a maior parte desses dados não é coletada diretamente pelos cientistas. Ela é comprada de "corretores de dados" (data brokers) — empresas que reúnem informações de milhares de lugares diferentes, limpam esses dados e os vendem como um pacote organizado e pronto para uso.

A grande questão que este artigo faz é: E se a fotocópia estiver errada?

Quando você compra um conjunto de dados, você está confiando que o corretor fez o seu trabalho perfeitamente. Mas e se eles perderam algumas peças? E se copiaram um número errado? Ou e se usaram um truque estranho para adivinhar um número que faltava, e esse truque fez com que toda a imagem parecesse distorcida? Isso é conhecido como o "Paradoxo do Big Data": quanto mais dados você tem, mais confiante se sente, mas se esses dados forem falhos, a sua confiança é, na verdade, uma armadilha. Você pode obter uma resposta muito precisa que é completamente enganosa. Este artigo mergulha em um canto específico e de alto risco deste problema: os dados usados para rastrear por quanto as casas são vendidas e quanto imposto elas devem. Se esses dados estiverem quebrados, isso pode significar que os ricos estão pagando menos impostos do que deveriam, ou que os pobres estão pagando demais, e ninguém sequer saberá disso até que seja tarde demais.

O Grande Assalto aos Preços das Casas: Quando os Corretores de Dados Erram

Neste estudo, os autores atuaram como detetives digitais, auditando dois dos maiores "corretores de dados" nos Estados Unidos: Cotality e ATTOM. Estas empresas são os gigantes do setor imobiliário; elas vendem informações sobre milhões de casas para bancos, governos e pesquisadores. Os autores decidiram verificar o trabalho deles contra a "verdade fundamental" (ground truth) — os registros originais e oficiais mantidos pelo governo do Condado de Cook, em Illinois (que inclui Chicago). Pense nos registros do governo como o recibo original e assinado da loja, e nos dados dos corretores como a cópia que você recebe de um aplicativo de terceiros.

Os detetives descobriram que as cópias dos corretores estavam longe de serem perfeitas. Eles descobriram dois tipos principais de erros que estavam estragando a matemática:

1. O Problema da "Peça Faltante" (Erros de Cobertura)
Imagine que você está contando as maçãs em uma cesta, mas a pessoa que fez a lista esqueceu de anotar de 12% a 15% das maçãs. Isso é um "erro de cobertura". Os autores descobriram que, para cada 100 vendas reais de casas que ocorreram, os corretores estavam perdendo cerca de 12 a 15 delas. Por quê? Porque os corretores às vezes se confundiam sobre o que contava como uma "casa" ou uma "venda real". Eles poderiam ter rotulado acidentalmente uma venda de casa como uma "execução hipotecária" (foreclosure, que é uma categoria diferente) ou perdido uma venda inteira porque o endereço foi escrito de forma ligeiramente diferente. Isso significava que os dados não estavam apenas um pouco errados; eles estavam perdendo uma enorme parte da população, tornando a imagem do mercado imobiliário incompleta.

2. O Problema do "Jogo de Adivinhação" (Erros de Imputação)
Às vezes, os corretores não tinham o preço de venda real de uma casa. Em vez de dizer "não sei", eles tentavam adivinhá-lo usando um truque matemático. Eles olhavam para o "imposto de transferência" (uma pequena taxa paga quando uma casa é vendida) e tentavam calcular de trás para frente para descobrir o preço. Mas é aqui que as coisas davam errado: diferentes cidades têm diferentes taxas de imposto. Se o corretor adivinhasse a taxa de imposto da cidade errada, a matemática dele estaria errada por uma margem enorme.

Os autores descobriram que, para cerca de 1% a 2% das vendas de casas que verificaram, o preço do corretor era drasticamente diferente do preço real — às vezes com uma diferença de centenas de milhares de dólares! Mais estranho ainda, os erros não eram aleatórios. Os corretores frequentemente cometiam o exato mesmo erro nas mesmas casas. Por exemplo, se uma casa fosse vendida por \300.000, um corretor poderia acidentalmente registrá-la como \200.000 (dois terços do preço real) ou $600.000 (o dobro do preço real). Era como uma máquina de carimbar que continuava pressionando o número errado repetidamente.

O Efeito Dominó: Por Que Isso Importa para o Seu Bolso

Você pode pensar: "Então, alguns preços de casas estão errados. Quem se importa?". Os autores mostram que isso importa muito porque esses números são usados para calcular algo chamado regressividade do imposto sobre a propriedade.

Pense no imposto sobre a propriedade como um jantar em grupo onde todos devem pagar uma parte baseada no que pediram. "Regressividade" é uma palavra sofisticada para quando as pessoas que pediram uma refeição barata acabam pagando uma porcentagem maior da conta do que as pessoas que pediram o bife caro. No mundo real, estudos frequentemente mostram que bairros mais pobres são tributados a uma taxa efetiva mais alta do que os bairhos ricos.

Os autores usaram os dados dos corretores para calcular essa justiça tributária. O resultado? Os dados dos corretores deram uma resposta completamente diferente dos dados reais do governo.

• Os dados da Cotality fizeram parecer que o sistema tributário era mais justo do que realmente era (subestimando a injustiça).
• Os dados da ATTOM fizeram parecer que o sistema tributário era mais injusto do que realmente era (superestimando a injustiça).

Como os dados dos corretores possuíam esses erros ocultos, a "verdade" sobre quem está pagando o quê mudava dramaticamente dependendo de qual dado você comprava. Se um funcionário do governo usasse os dados errados, ele poderia pensar que o sistema tributário está bem quando, na verdade, está prejudicando famílias pobres, ou vice-versa.

A Conspiração do "Copiar e Colar"

Uma das descobertas mais surpreendentes foi que os dois grandes corretores, Cotality e ATTOM, estavam cometendo os mesmos erros. Eles perdiam as mesmas casas e cometiam os mesmos erros matemáticos estranhos nas mesmas transações. Acontece que essas empresas frequentemente compartilham dados entre si. É como se duas emissoras de notícias recebessem a mesma notícia urgente de uma agência de notícias, e essa agência tivesse um erro de digitação. Ambas as emissoras reportariam a mesma história errada, e ninguém perceberia que era um erro porque ambas concordavam entre si.

Os autores descobriram que, para as casas onde os corretores erraram o preço, 99,8% das vezes, ambos os corretores tinham exatamente o mesmo número errado. Isso é um grande problema para os cientistas. Normalmente, se duas fontes diferentes concordam, você pensa: "Ótimo, isso deve ser verdade!". Mas, neste caso, o acordo deles era uma armadilha. Ambos estavam errados pelo mesmo motivo.

A Conclusão

Este artigo não aponta apenas alguns erros de digitação; ele revela uma rachadura nos alicerces de como entendemos a economia. Os autores concluem que não podemos confiar cegamente nos "pacotes organizados" de dados vendidos pelos corretores. Como essas empresas nem sempre nos dizem como limpam ou adivinham seus números, estamos voando às cegas.

A solução? Precisamos de dados abertos. Os governos já possuem os registros originais e corretos (a "verdade fundamental"). Os autores argumentam que, em vez de depender de corretores caros e opacos, pesquisadores e formuladores de políticas devem usar os dados gratuitos e públicos diretamente. Se não pudermos ver como os dados foram feitos, não podemos confiar nas conclusões que tiramos deles. Em um mundo onde a IA e o Big Data estão comandando o espetáculo, a coisa mais importante que podemos fazer é garantir que os dados não sejam apenas grandes — mas também corretos.