Household Movement Detection in Mixed-Format Occupancy Data Using LLM-Based Entity Resolution

당신이 거대하고 엉망진창인 퍼즐을 풀고 있다고 상상해 보세요. 그 퍼즐 조각들은 사람들의 삶이고, 완성된 그림은 흐릿합니다. 데이터 과학의 세계에는 "엔티티 해상도(Entity Resolution)"라고 불리는 작업이 있습니다. 이것은 마치 "123 메인 스트리트에 사는 존 스미스(John Smith)"와 "123 메인 스트리트의 J. 스미스(J. Smith)"가 실제로 동일 인물인지 알아내려는 초능력을 가진 탐정의 역할과 같습니다. 보통의 탐정들은 두 개의 조각을 가져와서 나란히 놓고 서로 일치하는지 비교하며 하나씩 살펴봅니다. 하지만 만약 퍼즐 조각이 찢어져 있거나, 다른 언어로 적혀 있거나, 오타가 있다면 어떻게 될까요? 만약 진짜 단서가 두 조각이 비슷하게 생겼다는 것이 아니라, 두 조각이 함께 움직였다는 사실이라면 어떨까요?

여기서 이야기는 흥미로워집니다. 때때로 사람들은 혼자 움직이지 않습니다. 마치 가족이 트럭에 짐을 싣고 새로운 도시로 이사하는 것처럼 그룹으로 움직입니다. 만약 당신이 한 사람의 이름과 주소만 본다면, 그들이 방금 이사를 마친 가구의 일원이라는 사실을 놓칠 수도 있습니다.

이 논문은 바로 이 특정 미스터리를 파고듭니다. 데이터가 손으로 쓴 메모, 컴퓨터 오류, 그리고 다양한 형식이 뒤섞인 혼돈 상태일 때, 어떻게 이러한 "가구 이동(household movements)"을 찾아낼 수 있을까요? 저자들은 난잡한 텍텍스트를 읽을 수 있는 특수한 종류의 인공지능(AI)을 사용하고, 그 후 누가 누구와 함께 움직였는지에 대한 "사회적 네트워크"를 살펴봄으로써, 기존의 고전적인 방식으로는 결코 풀 수 없는 퍼즐을 해결할 수 있다고 제안합니다.

---

이동하는 가구의 미스터리

당신이 마을 건너편으로 막 이사한 가족을 추적하려는 탐정이라고 상상해 보세요. 당신의 책상 위에는 구겨진 오래된 메모 더미가 쌓여 있습니다. 어떤 메모에는 "스미스 가족이 5번가로 이사함"이라고 적혀 있고, 다른 메모에는 "5번가에 있는 J. 스미스 & G. 스미스"라고 적혀 있으며, 세 번째 메모에는 단순히 "5번가, 4호"라고 휘갈겨 써져 있습니다. 필체는 엉망이고, 철자는 제멋대로입니다(어떤 것은 "St", 어떤 것은 "Street", 또 다른 것은 "Strt"라고 되어 있음). 또한 날짜가 빠진 메모도 있습니다.

만약 당신이 이 메모들을 두 개씩 짝지어 비교하려고 한다면, 당신은 막다른 길에 다다를 수 있습니다. "J. Smith"와 "G. Smith"의 이름이 정확히 일치하지 않거나 주소가 너무 다르게 적혀 있다는 이유로, 당신은 그들이 타인이라고 생각할지도 모릅니다. 당신은 큰 그림을 놓치고 있는 것입니다. 그들은 하나의 팀이며, 함께 움직였다는 사실을 말이죠.

이것이 바로 아칸소 대학교 리틀록 캠퍼스의 연구진이 다루고 있는 문제입니다. 그들은 이를 **가구 이동 탐지(Household Movement Detection)**라고 부릅니다. 현실 세계에서 사람들이 어디에 사는지에 대한 데이터는 종종 엉망입니다. 이는 "혼합 형식(mixed-format)"인데, 즉 어떤 기록은 깔끔한 목록 형태이지만, 어떤 기록은 단일 칸 안에 단어들이 뒤섞인 혼란스러운 형태입니다. 오타, 누락된 정보, 중복된 항목들이 존재합니다. 경직된 로봇과 같은 전통적인 컴퓨터 프로그램들은 기록을 일대일으로 비교하여 매칭을 시도합니다. 만약 철자가 글자 하나라도 틀리면, 로봇은 "불일치!"라고 외치며 그 단서를 버려버립니다.

하지만 저자들은 가구가 하나의 단위로 움직인다는 점을 깨달았습니다. 만약 두 사람이 지난달에는 "2623 Fiddlestick Circle"에 있었고, 지금은 다른 도시에 있는 "860105 Post Office Box"에 함께 있다면, 이는 그들이 서로 관련이 있다는 아주 강력한 단서가 됩니다. 설령 이름의 철자가 약간 다르거나 주소가 전혀 다르게 보이더라도 말입니다. 과제는 노이즈가 가득한 데이터의 바다 속에서, 잘못된 알람(false alarms)에 혼동되지 않고 이러한 "간접적인 연결(indirect links)"을 찾아내는 것입니다.

새로운 탐정 팀: AI, 임베딩, 그리고 그래프

이를 해결하기 위해, 연구팀은 스마트한 3단계 탐정 부대처럼 작동하는 새로운 프레임워크를 구축했습니다. 그들은 단순히 하나의 도구에 의존하지 않고, 현실 세계의 무질서함을 처리하기 위해 세 가지 강력한 기술을 결합했습니다.

1단계: AI 독해기 (LLM 기반 NER)
먼저, 엉망인 메모를 이해해야 했습니다. 그들은 인간의 언어를 이해하도록 훈련된 AI인 대규모 언어 모델(LLM)을 사용했습니다. 이 AI를 난잡한 문장인 "Terrie D Zlopez 2623 Fiddlestick Cir Lutz FL"를 보고 즉시 "좋아, 이름은 Terrie D Zlopez이고, 주소는 2623 Fiddlestick Cir이야"라고 말해주는 초능력을 가진 독해 조수라고 상상해 보세요. 이 AI는 기이한 형식을 접해도 당황하지 않고, 이름과 주소가 뒤섞여 있거나 철자가 이상하게 적혀 있어도 정보를 추출해 낼 수 있습니다.

2단계: 의미론적 지도 (임베딩)
다음으로, 그들은 이 이름과 주소를 "의미론적 임베딩(semantic embeddings)"으로 변환했습니다. 이것은 모든 이름과 주소를 단순히 철자가 아닌 그 '의미'를 나타내는 비밀 코드(숫자 리스트)로 번역하는 과정이라고 생각하면 됩니다. 이 코드 안에서는 "Fiddlestick Circle"과 "Fiddlestick Cir"이 비록 겉모습은 달라도 매우 가까운 위치에 있게 됩니다. 이를 통해 시스템은 오타나 약어가 있더라도 두 주소가 같은 장소임을 인식할 수 있습니다.

3단계: 사회적 네트워크 (그래프 추론)
마지막으로, 그들은 "그래프"를 구축했습니다. 모든 사람이 하나의 점(dot)이고, 유사한 점들을 연결하는 선들이 있는 거대한 웹을 상상해 보세요. 하지만 여기서 마법이 일어납니다. 시스템은 단순히 두 점만 보는 것이 아니라 전체 웹을 봅니다. 시스템은 "사람들의 그룹이 한 점의 클러스터에서 다른 클러스터로 이동했는가?"라고 묻습니다. 만약 주소 A에 있던 두 사람이 이제 모두 주소 B에 있다면, 시스템은 주소 A와 주소 B 사이의 점들을 연결합니다. 이것이 바로 "간접적 연결(indirect linkage)"입니다. 시스템은 단순히 "사람 X가 사람 Y와 일치한다"라고 말하는 것이 아니라, "X와 Y를 포함한 그룹이 함께 이동했다"라고 말하는 것입니다.

테스트 주행: 합성 데이터와 실제 결과

이 새로운 탐정 부대가 실제로 작동하는지 확인하기 위해, 연구진은 개인 정보 보호 문제가 발생할 수 있는 실제 사람의 데이터를 사용하지 않았습니다. 대신, 그들은 "합성 점유 생성기(Synthetic Occupancy Generator, SOG)"를 사용했습니다. 이것은 가짜 가족, 가짜 주소, 가짜 이동을 만들어내되, 오타, 누락된 정보, 중복 기록과 같은 실제 세상의 무질서함을 모두 포함하는 비디오 게임 시뮬레이터라고 생각하면 됩니다. 그들은 S8부터 S12까지의 데이터셋을 만들었으며, S12가 가장 지저도 어렵고 복잡한 데이터였습니다.

그들은 자신들의 새로운 프레임워크를 기록을 두 개씩 비교하기만 하는 고전적인 방식인 "데이터 세척기(Data Washing Machine, DWM)"와 비교 실험했습니다.

결과는 유망했습니다. 이 시뮬레이션에서 새로운 프레임워크는 기존 방식보다 8%에서 15% 더 많은 정확한 연결(재현율, recall이라 불리는 지표)을 찾아냈습니다. 단순히 더 많은 매칭을 찾은 것이 아니라, '올바른' 매칭을 찾아낸 것입니다. 기존 방식은 데이터가 너무 지저분해서 가구의 이동을 놓쳤지만, 새로운 AI 기반 팀은 그것을 잡아냈습니다. 전체적인 점수(모든 것을 찾는 것과 정확성을 균형 있게 맞춘 지표인 F1-score)도 6%에서 8% 상승했습니다.

예를 들어, 한 테스트 케이스에서 기존 방식은 서로 다른 주소에 있는 두 사람을 보고 그들을 타인이라고 생각했습니다. 하지만 새로운 프레임워크는 그들이 이전 주소에서 함께 이동했다는 것을 포착했고, 그들을 하나의 가구로 인식하여 올로 연결했습니다. 심지어 한 사람의 이름은 "Jorge"이고 다른 사람은 "George"로 적혀 있거나, 주소에 "Houston" 대신 "Huston"과 같은 오타가 있는 경우에도, "그룹 이동"의 증거가 무시하기에는 너무 강력했기에 성공적으로 연결해 냈습니다.

이것이 중요한 이유 (그리고 그렇지 않은 이유)

이 논문은 사람을 그룹의 일부로 바라보는 것이 데이터 퍼즐을 푸는 강력한 방법임을 보여줍니다. AI를 사용하여 지저한 텍스트를 읽고 그래프 로직을 통해 그룹의 움직임을 파악함으로써, 우리는 노이즈 속에 묻혀 사라졌던 정보를 복구할 수 있습니다.

하지만 저자들은 이 기술이 무엇이 아닌지에 대해서도 주의를 기울였습니다. 그들은 이 방식이 세상의 모든 가능한 데이터셋에서 작동한다는 것을 증명한 것이 아니라, 실제 삶을 모사한 시뮬레이션 데이터에서 테스트했다는 점을 명시했습니다. 또한, 만약 가구에 이동하는 사람이 한 명뿐이거나, 결혼 등으로 인해 성(surname)이 완전히 바뀌는 경우에는 시스템이 여전히 어려움을 겪을 수 있다고 지적했습니다. 이것은 모든 것을 즉각적으로 해결하는 마법 지팡이는 아닙니다.

그러나 정부와 기업들이 매일 다루는 복잡하고 혼합된 형식의 데이터를 고려할 때, 이 접근 방식은 새로운 방향을 제시합니다. 모든 오타를 먼저 수정하려고 애쓰는 대신, AI가 혼란을 처리하고 움직임의 패턴을 찾도록 만드는 것입니다. 이것은 "두 조각을 맞추는 것"에서 "전체 그림을 이해하는 것"으로의 전환이며, 데이터의 세계에서 이는 매우 큰 도약입니다.