Household Movement Detection in Mixed-Format Occupancy Data Using LLM-Based Entity Resolution

Imagine que você está tentando resolver um quebra-cabeça gigante e bagunçado onde as peças são as vidas das pessoas, mas a imagem está embaçada. No mundo da ciência de dados, existe uma tarefa chamada "Resolução de Entidades". Pense nisso como um detetive superpoderoso tentando descobrir se "John Smith na Rua Principal, 123" e "J. Smith na Rua Principal, 123" são, na verdade, a mesma pessoa. Normalmente, os detetives apenas olham para duas peças de cada vez, comparando-as lado a lado para ver se combinam. Mas e se as peças do quebra-cabeça estiverem rasgadas, escritas em língagens diferentes ou tiverem erros de digitação? E se a pista real não for que duas peças se parecem, mas sim que elas se moveram juntas?

É aqui que a história fica interessante. Às vezes, as pessoas não se movem apenas sozinhas; elas se movem como um grupo, como uma família carregando um caminhão para uma nova cidade. Se você olhar apenas para o nome e o endereço de uma pessoa, pode perder o fato de que ela faz parte de uma residência que acabou de se mudar. Este artigo mergulha nesse mistério específico: como encontramos esses "movimentos de residência" quando os dados são uma mistura caótica de notas manuscritas, falhas de computador e formatos diferentes? Os autores sugerem que, ao usar um tipo especial de inteligência artificial (IA) que consegue ler textos bagunçados e, em seguida, observar a "rede social" de quem se mudou com quem, podemos resolver quebra-cabeças que os métodos tradicionais simplesmente não conseguem decifrar.

---

O Mistério da Residência em Movimento

Imagine que você é um detetive tentando rastrear uma família que acabou de se mudar para o outro lado da cidade. Você tem uma pilha de notas velhas e amassadas deixadas sobre uma mesa. Algumas notas dizem "Os Smiths mudaram-se para a 5ª Ave", outras dizem "J. Smith & G. Smith na 5ª" e uma terceira apenas rabisca "5ª Ave, Apt 4". A letra é ruim, a ortografia é selvagem (uma diz "St", outra "Street" e uma terceira "Strt") e algumas notas estão sem datas.

Se você tentar combinar essas notas duas a duas, poderá ficar travado. Você pode pensar que "J. Smith" e "G. Smith" são estranhos porque seus nomes não se parecem exatamente ou porque os endereços estão escritos de formas muito diferentes. Você perde a visão macro: eles são um time, e se mudaram juntos.

Este é o problema que os pesquisadores da Universidade de Arkansas–Little Rock estão enfrentando. Eles o chamam de Detecção de Movimento de Residência. No mundo real, os dados sobre onde as pessoas vivem são frequentemente uma bagunça. São de "formato misto", o que significa que alguns registros são listas organizadas, enquanto outros são apenas um amontoado de palavras em uma única caixa. Existem erros de digitação, partes faltando e entradas duplicadas. Programas de computador tradicionais, que são como robôs rígidos, tentam combinar registros comparando-os um a um. Se a ortografia estiver errada por uma única letra, o robô diz: "Não há correspondência!" e descarta a pista.

Mas os autores perceberam que as residências se movem como uma unidade. Se duas pessoas estavam na "Rua Fiddlestick Circle, 2623" no mês passado e agora estão ambas na "Post Office Box 860105" em outra cidade, essa é uma pista enorme de que elas são relacionadas, mesmo que seus nomes sejam escritos de forma ligeiramente diferente ou que seus endereços pareçam nada parecidos. O desafio é encontrar esses "elos indiretos" em um mar de dados ruidosos sem se confundir com alarmes falsos.

A Nova Equipe de Detetives: IA, Embeddings e Grafos

Para resolver isso, a equipe construiu um novo framework que atua como um esquadrão de detetives inteligente de três etapas. Eles não confiaram apenas em uma ferramenta; combinaram três técnicas poderosas para lidar com a bagunça dos dados do mundo real.

Etapa 1: O Leitor de IA (NER Baseado em LLM)
Primeiro, eles precisavam dar sentido às notas bagunçadas. Eles usaram um Grande Modelo de Linguagem (LLM), que é um tipo de IA treinada para entender a linguagem humana. Imagine esta IA como um assistente de leitura super-eficiente que pode olhar para uma frase confusa como "Terrie D Zlopez 2623 Fiddlestick Cir Lutz FL" e dizer instantaneamente: "Ok, o nome é Terrie D Zlopez e o endereço é 2623 Fiddlestick Cir". Diferente das ferramentas antigas que se confundem com formatações estranhas, esta IA consegue lidar com o caos, extraindo nomes e endereços mesmo que estejam amontoados ou escritos de forma estranha.

Etapa 2: O Mapa Semântico (Embeddings)
Em seguida, eles transformaram esses nomes e endereços em "embeddings semânticos". Pense nisso como traduzir cada nome e endereço em um código secreto (uma lista de números) que representa seu significado, e não apenas sua grafia. Neste código, "Fiddlestick Circle" e "Fiddlestick Cir" podem estar muito próximos um do outro, mesmo que pareçam diferentes. Isso permite que o sistema perceba que dois endereços são o mesmo lugar, mesmo que um tenha um erro de digitação ou uma abreviação.

Etapa 3: A Rede Social (Raciocínio de Grafo)
Finalmente, eles construíram um "grafo". Imagine uma grande teia onde cada pessoa é um ponto, e linhas conectam pontos que são semelhantes. Mas aqui está a magia: em vez de apenas olhar para dois pontos, o sistema observa a teia inteira. Ele pergunta: "Um grupo de pessoas se mudou de um aglomerado de pontos para outro?". Se duas pessoas estavam no Endereço A e agora estão ambas no Endereço B, o sistema conecta os pontos entre o Endereço A e o Endereço B. Isso é "vinculação indireta". O sistema não diz apenas "Pessoa X combina com Pessoa Y"; ele diz "O grupo que incluía a Pessoa X e a Pessoa Y se mudou junto".

O Teste de Campo: Dados Sintéticos e Resultados Reais

Para ver se esse novo esquadrão de detetives realmente funciona, os pesquisadores não usaram dados privados de pessoas reais (o que seria um pesadelo de privacidade). Em vez disso, eles usaram um "Gerador de Ocupação Sintética" (SOG). Pense nisso como um simulador de videogame que cria famílias falsas, endereços falsos e mudanças falsas, mas adiciona toda a bagunça do mundo real: erros de digitação, informações ausentes e registros duplicados. Eles criaram conjuntos de dados rotulados de S8 a S12, sendo o S12 o mais bagunçado e difícil.

Eles testaram seu novo framework contra um método antigo chamado "Máquina de Lavar Dados" (DWM), que apenas compara registros dois a dois.

Os resultados foram promissores. Nessas simulações, o novo framework encontrou de 8% a 15% mais conexões corretas (uma métrica chamada "recall") do que o método antigo. Ele não apenas encontrou mais correspondências; ele encontrou as correspondências certas. Enquanto o método antigo perdia as mudanças de residência porque os dados eram muito bagunçados, o novo time impulsionado por IA as capturava. A pontuação geral (chamada de F1-score, que equilibra encontrar tudo com ser preciso) aumentou de 6% a 8%.

Por exemplo, em um caso de teste, o método antigo viu duas pessoas em endereços diferentes e pensou que eram estranhas. O novo framework viu que elas haviam se mudado juntas de um endereço anterior, reconheceu-as como uma residência e as vinculou corretamente. O sistema até conseguiu vincular registros onde o nome de uma pessoa era escrito como "Jorge" e o da outra como "George", ou onde o endereço tinha um erro de digitação como "Huston" em vez de "Houston", porque a evidência da "mudança em grupo" era forte demais para ser ignorada.

Por Que Isso Importa (E o Que Não É)

Este artigo mostra que olhar para as pessoas como parte de um grupo é uma maneira poderosa de resolver quebra-cabeças de dados. Ao usar IA para ler textos bagunçados e lógica de grafos para ver movimentos de grupos, podemos recuperar informações que antes eram perdidas no ruído.

No entanto, os autores fazem questão de notar o que isso não é. Eles não provaram que isso funciona para todos os conjuntos de dados possíveis no mundo real; eles o testaram em dados simulados que imitam a vida real. Eles também apontam que, se uma residência tiver apenas uma pessoa se mudando, ou se um nome mudar completamente (como uma mudança de sobrenome após o casamento), o sistema ainda pode ter dificuldades. Não é uma varinha mágica que resolve tudo instantaneamente.

Mas para os dados de formato misto e bagunçados que governos e empresas lidam diariamente, essa abordagem sugere um novo caminho. Em vez de tentar limpar cada erro de digitação antes de começar, podemos deixar a IA lidar com a bagunça e procurar pelos padrões de movimento. É uma mudança de "combinar duas peças" para "entender a imagem completa", e no mundo dos dados, isso é um salto considerável.