Household Movement Detection in Mixed-Format Occupancy Data Using LLM-Based Entity Resolution

Imagina que estás intentando resolver un rompecabezas gigante y desordenado donde las piezas son las vidas de las personas, pero la imagen es borrosa. En el mundo de la ciencia de datos, existe una tarea llamada "Resolución de Entidades". Piensa en esto como un detective con superpoderes tratando de averiguar si "John Smith en 123 Main St" y "J. Smith en 123 Main Street" son en realidad la misma persona. Usualmente, los detectives solo miran dos piezas a la vez, comparándolas lado a lado para ver si coinciden. Pero, ¿qué pasa si las piezas del rompecabezas están rotas, escritas en diferentes idiomas o tienen errores tipográficos? ¿Qué pasa si la pista real no es que dos piezas se parezcan, sino que se movieron juntas?

Aquí es donde la historia se pone interesante. A veces, las personas no solo se mueven solas; se mueven como un grupo, como una familia empacando un camión para mudarse a una nueva ciudad. Si solo miras el nombre y la dirección de una persona, podrías perderte el hecho de que es parte de un hogar que acaba de reubicarse. Este artículo se sumerge en ese misterio específico: ¿cómo encontramos estos "movimientos de hogares" cuando los datos son una mezcla caótica de notas manuscritas, fallos informáticos y formatos distintos? Los autores sugieren que, al utilizar un tipo especial de inteligencia artificial (IA) que puede leer texto desordenado y luego observar la "red social" de quién se mudó con quién, podemos resolver acertijos que los métodos de la vieja escuela simplemente no pueden descifrar.

---

El Misterio del Hogar en Movimiento

Imagina que eres un detective tratando de rastrear a una familia que acaba de mudarse al otro lado de la ciudad. Tienes una pila de notas viejas y arrugadas dejadas sobre un escritorio. Algunas notas dicen "Los Smith se mudaron a 5th Ave", otras dicen "J. Smith y G. Smith en 5th", y una tercera solo garabatea "5th Ave, Apt 4". La letra es mala, la ortografía es dispar (una dice "St", otra "Street" y una tercera "Strt"), y algunas notas no tienen fechas.

Si intentas emparejar estas notas de dos en dos, podrías quedarte estancado. Podrías pensar que "J. Smith" y "G. Smith" son extraños porque sus nombres no se parecen exactamente o porque las direcciones están escritas de forma muy diferente. Te pierdes el panorama general: ellos son un equipo, y se mudaron juntos.

Este es el problema que los investigadores de la Universidad de Arkansas–Little Rock están abordando. Lo llaman Detección de Movimiento de Hogares. En el mundo real, los datos sobre dónde vive la gente suelen ser un desastre. Son de "formato mixto", lo que significa que algunos registros son listas ordenadas, mientras que otros son solo un revoltijo de palabras en una sola casilla. Hay errores tipográficos, piezas faltantes y entradas duplicadas. Los programas informáticos tradicionales, que son como robots rígidos, intentan emparejar registros comparándolos uno a uno. Si la ortografía falla por una sola letra, el robot dice: "¡No hay coincidencia!" y desecha la pista.

Pero los autores se dieron cuenta de que los hogares se mueven como una unidad. Si dos personas estaban en "2623 Fiddlestick Circle" el mes pasado y ahora ambos están en "860105 Post Office Box" en una ciudad diferente, esa es una pista enorme de que están relacionados, incluso si sus nombres están escritos con ligeras diferencias o si sus direcciones se ven totalmente distintas. El desafío es encontrar estos "vínculos indirectos" en un mar de datos ruidosos sin confundirse con falsas alarmas.

El Nuevo Equipo de Detectives: IA, Embeddings y Grafos

Para resolver esto, el equipo construyó un nuevo marco de trabajo que actúa como un escuadrón de detectives inteligente de tres pasos. No se limitaron a una sola herramienta; combinaron tres técnicas poderosas para manejar el desorden de los datos del mundo real.

Paso 1: El Lector de IA (NER basado en LLM)
Primero, necesitaban dar sentido a las notas desordenadas. Utilizaron un Modelo de Lenguaje Grande (LLM), un tipo de IA entrenada para entender el lenguaje humano. Imagina esta IA como un asistente de lectura súper capaz que puede mirar una frase desordenada como "Terrie D Zlopez 2623 Fiddlestick Cir Lutz FL" e instantáneamente decir: "Bien, el nombre es Terrie D Zlopez, y la dirección es 2623 Fiddlestick Cir". A diferencia de las herramientas antiguas que se confunden con formatos extraños, esta IA puede manejar el caos, extrayendo nombres y direcciones incluso si están amontonados o mal escritos.

Paso 2: El Mapa Semántico (Embeddings)
Después, convirtieron estos nombres y direcciones en "embeddings semánticos". Piensa en esto como traducir cada nombre y dirección en un código secreto (una lista de números) que representa su significado en lugar de solo su ortografía. En este código, "Fiddlestick Circle" y "Fiddlestick Cir" podrían estar muy cerca el uno del otro, aunque se vean diferentes. Esto permite que el sistema se dé cuenta de que dos direcciones son el mismo lugar, incluso si una tiene un error tipográfico o una abreviatura.

Paso 3: La Red Social (Razonamiento de Grafos)
Finalmente, construyeron un "grafo". Imagina una red gigante donde cada persona es un punto, y las líneas conectan los puntos que son similares. Pero aquí está la magia: en lugar de solo mirar dos puntos, el sistema observa toda la red. Se pregunta: "¿Se movió un grupo de personas de un grupo de puntos a otro?". Si dos personas estaban en la Dirección A y ahora ambas están en la Dirección B, el sistema conecta los puntos entre la Dirección A y la Dirección B. Esto es "vinculación indirecta". No solo dice "La Persona X coincide con la Persona Y"; dice "El grupo que incluía a la Persona X y a la Persona Y se mudó junto".

La Prueba de Manejo: Datos Sintéticos y Resultados Reales

Para ver si este nuevo escuadrón de detectives realmente funciona, los investigadores no usaron datos privados de personas reales (lo que sería una pesadilla de privacidad). En su lugar, utilizaron un "Generador de Ocupación Sintética" (SOG). Piensa en esto como un simulador de videojuegos que crea familias falsas, direcciones falsas y mudanzas falsas, pero añade todo el desorden del mundo real: errores tipográficos, información faltante y registros duplicados. Crearon conjuntos de datos etiquetados de S8 a S12, siendo S12 el más desordenado y difícil.

Pusieron a prueba su nuevo marco de trabajo contra un método de la vieja escuela llamado "Máquina de Lavado de Datos" (DWM), que simplemente compara registros de dos en dos.

Los resultados fueron prometedores. En estas simulaciones, el nuevo marco de trabajo encontró entre un 8% y un 15% más de conexiones correctas (una métrica llamada "recall") que el método antiguo. No solo encontró más coincidencias; encontró las coincidencias correctas. Mientras que el método antiguo perdía las mudanzas de los hogares porque los datos eran demasiado desordenados, el nuevo equipo impulsado por IA las capturó. La puntuación general (llamada F1-score, que equilibra el encontrar todo con la precisión) aumentó entre un 6% y un 8%.

Por ejemplo, en un caso de prueba, el método antiguo vio a dos personas en direcciones diferentes y pensó que eran extraños. El nuevo marco de trabajo vio que se habían mudado juntos desde una dirección previa, los reconoció como un hogar y los vinculó correctamente. Incluso logró vincular registros donde el nombre de una persona era "Jorge" y el de la otra "George", o donde la dirección tenía un error como "Huston" en lugar de "Houston", porque la evidencia de la "mudanza en grupo" era demasiado fuerte para ignorarla.

Por Qué Esto Importa (Y Qué No Es)

Este artículo demuestra que observar a las personas como parte de un grupo es una forma poderosa de resolver acertijos de datos. Al usar la IA para leer texto desordenado y la lógica de grafos para ver movimientos grupales, podemos recuperar información que antes se perdía en el ruido.

Sin embargo, los autores son cuidadosos al señalar lo que esto no es. No demostraron que esto funcione para todos los conjuntos de datos posibles en el mundo real; lo probaron en datos simulados que imitan la vida real. También señalan que si un hogar tiene solo una persona mudándose, o si un nombre cambia por completo (como un cambio de apellido tras el matrimonio), el sistema aún podría tener dificultades. No es una varita mágica que lo arregla todo instantáneamente.

Pero para los datos de formato mixto y desordenados que los gobiernos y las empresas manejan a diario, este enfoque sugiere un nuevo camino a seguir. En lugar de intentar limpiar cada error tipográfico antes de empezar, podemos dejar que la IA maneje el desorden y busque los patrones de movimiento. Es un cambio de "emparejar dos piezas" a "entender la imagen completa", y en el mundo de los datos, eso es un salto bastante grande.