위대한 디지털 대청소: 왜 '하나의 정답'은 결코 통하지 않는가

모든 책이 바닥에 쏟아져 있는 거대하고 혼란스러운 도서관의 사서가 되었다고 상상해 보세요. 어떤 책들은 똑같은 복사본이고, 어떤 것들은 약간 다른 판본이며, 어떤 것들은 서로 다른 저자가 쓴 비슷한 제목의 책들입니다. 당신의 임무는 모든 고유한 이야기가 정확히 하나의 선반을 갖도록, 그리고 서로 다른 두 이야기가 하나로 뒤섞이지 않도록 분류하는 것입니다. 컴퓨터의 세계에서 이것을 **엔티티 해상도(Entity Resolution)**라고 부릅니다. 이는 한 데이터베이스의 "J. Smith"와 다른 데이터베이스의 "John Smith"가 사실 동일 인물임을 파악하는 동시에, 제빵사 "J. Smith"와 은행원 "J. Smith"는 서로 다른 사람임을 구별해내는 과정입니다.

이것이 왜 중요할까요? 우리의 디지털 세상은 이러한 연결 관계를 기반으로 구축되었기 때문입니다. 만약 은행이 두 계좌가 동일 인물의 것임을 알지 못한다면, 사기 경보를 놓칠 수 있습니다. 만약 병원이 환자의 기록을 연결하지 못한다면, 잘못된 약을 처방할 수도 있습니다. 수년간 과학자들은 어떤 지저륙한 데이터 더미를 보더라도 마법처럼 완벽하게 분류해낼 수 있는 단 하나의 컴퓨터 프로그램, 즉 "마법 지팡이"를 만들기 위해 노력해 왔습니다. 하지만 이 논문의 저자들이 발견했듯이, 현실 세계는 매우 복잡하며, 단 하나의 마법 지팡이가 모든 작업에 통할 수는 없습니다. 그들은 스스로의 실수를 통해 배우는 더 똑똑하고 셀프 서비스가 가능한 시스템을 구축하기 위한 여정을 떠났고, 그 과정에서 데이터 청소를 대하는 방식을 바꾸어 놓을 세 가지 큰 비밀을 발견했습니다.

---

셀프 서비스 데이터 디톡스

월마트(Walmart)의 팀은 새로운 종류의 데이터 정화 파이프라인을 구축했습니다. 이것을 정보의 '셀프 서비스 세차장'이라고 생각하면 됩니다. 인간 전문가가 모든 자동차(또는 데이터 레코드)를 일일이 손으로 닦는 대신, 데이터를 집어넣으면 시스템이 스스로 최적의 세척 방법을 찾아내는 방식입니다. 하지만 그들이 864개의 레코드로 구성된 작은 레스토랑 목록부터 500만 개의 레코드가 쌓인 거대한 산에 이르기까지, 여섯 가지 서로 다른 유형의 데이터로 이 시스템을 테스트했을 때, 그들의 "하나의 정답(one-size-fits-all)" 접근 방식이 세 가지 구체적이고 놀라운 방식으로 실패한다는 것을 발견했습니다.

다음은 그들의 실험 이야기를 통해 배운 세 가지 큰 교훈입니다.

교훈 1: 매치메이커들의 "토너먼트"

첫 번째 큰 놀라움은 단 하나의 컴퓨터 알고리즘이 모든 분야에서 최고일 수는 없다는 점이었습니다.

당신이 범죄를 해결할 탐정을 고용한다고 상상해 보세요. 당신에게는 세 명의 탐정이 있습니다:

1. DeepMatcher: 행간을 읽고 미묘한 힌트를 이해하는 데 탁ual합니다 (예: "J. Smith"와 "John Smith"의 철자가 달라도 동일 인물임을 알아채는 능력).
2. LightGBM: 정확한 사실과 숫자를 좋아하는 예리한 눈을 가진 탐정입니다 (예: 전화번호나 우편번호를 완벽하게 일치시키는 능력).
3. GAT: 거대한 사회적 네트워크 속에서 사람들이 서로 어떻게 연결되어 있는지 살펴보는 탐정입니다.

저자들은 "가장 좋은 탐정을 골라 모든 사건에 투입하면 되지 않을까?"라고 생각했습니다. 하지만 여섯 가지 데이터셋을 대상으로 토너먼트를 진행한 결과는 충격적이었습니다. 어떤 데이터셋에서는 "정확한 사실"을 중시하는 탐정(LightGBM)이 승리했습니다. 또 다른 데이터셋에서는 "미묘한 힌트"를 읽는 탐정(DeepMatcher)이 왕좌를 차지했습니다. "사회적 네트워크" 탐정(GAT)은 그들의 특정 테스트에서 단 한 번도 승리하지 못했습니다.

해결책: 어떤 탐정이 최고인지 추측하는 대신, 팀은 토너먼트를 실행하는 시스템을 구축했습니다. 이 시스템은 세 명의 탐정이 모두 주어진 특정 데이터로 퍼즐을 풀게 한 뒤, 자동으로 승자를 뽑습니다. 마치 리얼리티 TV 쇼처럼, 그 특정 에피소드에서 최고의 성과를 낸 사람이 직업을 얻는 방식입니다. 이를 통해 팀은 특정 알고리즘을 그것이 설계되지 않은 데이터에 억지로 맞추려다 수개월을 허비하는 일을 방지할 수 있습니다.

교론 2: 정밀도(Precision)와 재현율(Recall)에는 서로 다른 도구가 필요하다

두 번째 교훈은 두 가지 서로 다른 목표에 관한 것입니다: 정밀도(서로 다른 두 사람을 실수로 합치지 않는 것)와 재현율(실제로는 같은 사람인 두 사람을 놓치지 않는 것)입니다.

팀은 이 두 목표가 완전히 다른 방식으로 무너진다는 것을 발견했으며, 단순한 "볼륨 조절기"(단순한 임계값 설정)로는 이를 해결할 수 없다는 것을 알아냈습니다.

• 재현율 문제 (매칭 누락): 데이터가 너무 이상하거나 레코드가 너무 빈약할 때(예: 주소 없이 이름만 있는 레스토렉 레코드) 시스템이 매칭을 놓치는 경우가 발생합니다. 시스템의 "검색 엔진(blocker)"이 애초에 해당 쌍을 찾아내지 못한 것입니다. 쌍을 아예 찾지 못했다면, 매칭 점수를 아무리 조정해도 해결할 수 없습니다.

  • 해결책: 다양한 검색 팀이 필요합니다. 저자들은 "퍼지(fuzzy)" 검색과 엄격한 "정확한 일치(exact match)" 검색을 모두 사용하는 등 다양한 검색 전략을 혼합하여 잠재적인 매칭이 빠져나가지 않도록 했습니다.

• 정밀도 문제 (오탐지 매칭): 때때로 시스템이 너무 의욕이 앞설 때가 있습니다. 단순히 공통된 요소 하나(예: 흔한 도시 이름)를 공유한다는 이유로 두 레코드를 동일 인물로 간주합니다. 이는 위험한데, 만약 두 명의 다른 사람을 실수로 합치게 되면 나중에 수정하기 매우 어려운 "쓰레기 데이터의 거대 클러스터"를 만들게 되기 때문입니다.

  • 해결책: 단순한 추측이 아닌 강력한 규칙이 필요합니다. 팀은 "거부(veto)" 규칙을 추가했습니다. 예를 들어, 두 레코드의 전화번호가 다르면 나머지 데이터가 아무리 비슷해 보이더라도 시스템은 즉시 "매치 안 됨(NO MATCH)"이라고 선언하도록 프로그래밍되었습니다. 이는 학습하는 컴퓨터가 스스로 알아내기 어려운 안전 가드레일 역할을 합니다.

교훈 3: 한 번의 잘못된 연결이 가져오는 "도미노 효과"

세 번째이자 아마도 가장 위험한 교훈은 작은 실수 하나가 전체 데이터베이스를 파괴할 수 있다는 점입니다.

종이 클립 체인을 만든다고 상상해 보세요. 클립 A를 B에 연결하고, B를 C에 연결하면, 당신은 A, B, C가 모두 연결되어 있다고 가정합니다. 이를 "이행적 폐쇄(transitive closure)"라고 합니다. 데이터 정화에서도 레코드 1이 레코드 2와 일치하고, 레코드 2가 레코드 3과 일치한다고 판단하면, 시스템은 레코드 1과 레코드 3도 일치한다고 가정합니다.

저자들은 매우 무서운 시나리오를 발견했습니다: 정보가 매우 적은 레코드("희소한" 레코드)가 가교(bridge) 역할을 할 수 있다는 점입니다.

• 포틀랜드의 "사쿠라 스시"(레코드 A)와 시애틀의 "사쿠라 스시"(레코드 B)가 있다고 가정해 봅시다. 이 둘은 서로 다른 곳입니다.
• 그런데 주소 없이 오직 "사쿠라 스시"라고만 적힌 매우 빈약한 세 번째 레코드(레코드 C)가 있습니다.
• 시스템은 "포틀랜드 스시"가 "빈약한 스시"와 일치한다고 생각하고, 동시에 "시애틀 스시"도 "빈약한 스시"와 일치한다고 생각할 수 있습니다.
• 도미노 효과 때문에, 시스템은 이들을 모두 하나의 체인으로 묶어 포틀랜드와 시애틀의 위치를 하나의 거대하고 잘못된 클러스터로 합쳐버립니다.

해결책: 팀은 이 도미노 효과를 맹목적으로 신뢰하는 것을 멈췄습니다. 그들은 "검증된 병합(Verified Merge)" 단계를 도입했습니다. 시스템이 두 그룹의 레코드를 병합하기 전에, 최종적이고 엄격한 확인 과정을 거치도록 강제합니다. 각 그룹에서 몇 개의 "대표" 레코드를 뽑아 탐정에게 묻습니다. "이들이 정말로 같은 것인가?" 만약 단 한 쌍이라도 "아니오"라고 답하면, 병합은 차단됩니다. 이를 통해 단 하나의 잘못된 연결이 수백 개의 관련 없는 레코드를 하나의 엉망진창인 덩어리로 만드는 것을 막을 수 있습니다.

요약

저자들은 단순히 더 나은 도구를 만든 것이 아니라, 게임의 규칙을 바꿨습니다. 그들은 복잡한 현실 세계에서는 다음과 같음을 보여주었습니다:

1. 단 하나의 알고리즘에 도박하지 마십시오. 토너먼트를 열고 데이터가 승자를 결정하게 하십시오.
2. 하나의 조절기만 사용하지 마십시오. 실수를 막기 위한 강력한 규칙과 숨겨진 매칭을 찾기 위한 다양한 검색 방법을 사용하십시오.
3. 체인을 맹신하지 마십시오. 하나의 오류가 모든 것을 망치는 것을 막기 위해 모든 큰 병합을 검증하십시오.

이 세 가지 규칙을 따름으로써, 팀은 자신들(그리고 다른 데이터 과학자들)을 수개월간의 헛된 실험으로부터 구했으며, 때로는 컴퓨터가 할 수 있는 가장 똑똑한 일이 '두 번째 의견'을 구하는 법을 아는 것임을 증명했습니다.