💬 NLP

Structure-Guided Entity Resolution: Fine-Tuning LLMs for Robust Name Matching in Complex Linguistic Contexts

본 논문은 복잡한 다국어 개인 이름 매칭에서 최첨단 정확도를 달성하고 현재 드림 11 플랫폼의 KYC 규정 준수를 위해 대규모로 배포 중인 대규모 언어 모델을 위한 구조 기반 엔티티 해결 (SGER) 이라는 두 단계 커리큘럼 미세 조정 프레임워크를 소개합니다.

원저자: Shivam Chourasia, Hitesh Kapoor, Nilesh Patil

게시일 2026-05-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shivam Chourasia, Hitesh Kapoor, Nilesh Patil

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두 사람의 이름을 매칭하려고 한다고 상상해 보세요. 하지만 이름들이 혼란스럽고 지저분하게 쓰여 있습니다. 한 사람은 "Rajesh Kumar"로, 다른 사람은 "Kumar Rajesh"로, 세 번째 사람은 공백이 없는 "RajeshKumar"로, 네 번째 사람은 친근한 호칭이 추가된 "Rajeshbhai"로 나열될 수 있습니다. 지역, 언어, 심지어 기록한 직원의 입력 방식에 따라 이름이 달라지는 인도처럼 다양한 국가에서는 이것이 컴퓨터에게 악몽과 같습니다.

이 논문은 SGER(Structure-Guided Entity Resolution, 구조 유도 엔티티 해결)라는 새로운 시스템을 소개하며, 이 문제를 교묘한 두 단계 훈련 방법으로 해결합니다. 작동 원리를 간단히 설명하면 다음과 같습니다:

문제: "지저분한 이름" 퍼즐

"고객 확인 (KYC)" 절차—회사가 게임을 하거나 계좌를 개설하기 전에 사용자의 신원을 확인하는 과정—에서 컴퓨터는 종종 실패합니다.

구식 방법: 전통적인 컴퓨터는 두 이름 사이의 다른 글자 수를 세는 것과 같은 간단한 규칙을 사용합니다. 이는 퍼즐 조각의 모양을 무시하고 색상만 보고 퍼즐을 풀려는 것과 같습니다. 누군가 "Subham" 대신 "Shubham"이라고 쓰면 컴퓨터는 혼란에 빠집니다.
신식 방법 (LLM): 대규모 언어 모델 (AI) 은 똑똑하지만, "이 두 이름이 같은 사람인가요?"라고 단순히 물어보면 때로는 틀리게 추측합니다. 왜냐하면 그들은 이름의 문법을 먼저 배우지 않았기 때문입니다. 그들은 구조와 답을 동시에 배우려 하는데, 이는 학생에게 논문을 쓰면서 동시에 수학 문제를 풀라고 요구하는 것과 같습니다.

해결책: AI 를 위한 두 단계 "학교"

저자들은 Llama 3라는 시스템을 기반으로 AI 모델에게 가르칠 커리큘럼 (수업 계획) 을 두 가지 명확한 단계로 만들었습니다. 새로운 직원을 훈련시키는 것과 같다고 생각하세요:

1 단계: "이름 건축가" 수업
AI 가 이름을 매칭하기 전에, 먼저 이름을 분해하도록 가르칩니다.

과제: "Kirtan Singh Rathore"와 같은 지저분한 이름을 AI 에게 줍니다.
수업 내용: AI 는 이름: Kirtan, 중간 이름: Singh, 성: Rathore라고 명시하는 깔끔하고 구조화된 목록 (JSON 파일과 같은) 을 출력해야 합니다.
비유: 자동차를 만들기 전에 뒤죽박죽인 레고 블록 더미를 "바퀴", "창문", "벽"으로 분류하는 법을 아이에게 가르치는 상황을 상상해 보세요. AI 는 순서에 상관없이 "Singh"가 종종 중간 이름이나 성이며 "Rathore"가 성임을 배우게 됩니다.

2 단계: "탐정" 수업
이제 AI 가 이름이 어떻게 구성되는지 이해했으므로, 탐정 역할로 승진합니다.

과제: 두 개의 이름 (예: "Rajeshk"와 "Rajesh Kumar") 을 주고 "이들이 같은 사람인가요?"라고 묻습니다.
장점: AI 는 1 단계에서 이름을 분해하는 방법을 이미 알고 있으므로, 결정을 내리는 동안 구조를 추측할 필요가 없습니다. 오직 매칭에만 집중할 수 있습니다.
결과: "Rajeshk"가 단순히 "Rajesh Kumar"의 오타이거나 약어임을 알아내는 데 놀라울 정도로 정확해집니다.

결과: 초정밀 시스템

이 팀은 세계에서 가장 복잡하고 다양한 이름 규칙을 가진 곳으로 알려진 인도에서 50,000 개의 실제 사례로 이 시스템을 테스트했습니다.

구식 방법: 약 57% 에서 85% 의 정확도를 보였습니다.
표준 AI(두 단계 훈련 없이) 약 91% 의 정확도를 보였습니다.
SGER(새로운 시스템) 99.02% 의 정확도를 달성했습니다.

이는 이름이 오타가 나거나 순서가 바뀌거나 공백이 빠져 있더라도, 두 이름이 같은 사람에게 속하는지 거의 완벽하게 판단할 수 있음을 의미합니다.

실제 영향: Dream11

이것은 단순한 이론이 아니라 이미 작동하고 있습니다. 이 시스템은 2 억 5 천만 명 이상의 사용자를 보유한 세계 최대의 판타지 스포츠 플랫폼인 Dream11에 배포되었습니다.

이전: 컴퓨터가 확신이 서지 않을 때는 인간에게 수동으로 확인을 요청해야 했습니다. 이는 느리고 비용이 많이 들었습니다.
이후: AI 가 거의 모든 것을 자동으로 처리합니다.
혜택: 이 회사에서는 더 이상 인간에게 이러한 사례를 확인하게 할 필요가 없으므로 연간 50 만 달러 이상을 절약할 수 있으며, 합법적인 사용자는 기다림 없이 즉시 인증을 받을 수 있습니다.

요약

이 논문은 AI 를 인도처럼 이름 매칭과 같은 구체적이고 지저분한 작업에 적합하게 만들려면, 단순히 데이터를 던져주는 것이 아니라 먼저 게임의 규칙(이름이 어떻게 구조화되는지) 을 가르치고, 그 다음에 게임을 하는 방법(이름을 매칭하는 것) 을 가르쳐야 한다고 주장합니다. 이 "커리큘럼" 접근 방식은 좋은 AI 를 거의 완벽한 수준으로 끌어올려 글로벌 기업에게 큰 골칫거리를 해결해 주었습니다.

기술 요약: 구조 기반 엔티티 해결 (SGER)

문제 정의

언어적, 문화적으로 복잡한 환경, 특히 인도식 신원 데이터 내에서의 엔티티 해결 (ER) 은 고객 확인 (KYC) 준수를 위해 상당한 과제를 제시합니다. 안정적인 키와 달리, 이러한 맥락의 이름은 다양한 문화적 관례, 스크립트 간 (예: 데바나가리에서 라틴 문자로) 일관성 없는 음역, 그리고 빈번한 데이터 입력 오류 (오타, 병합된 토큰, 공백 누락) 로 인해 변이됩니다. 편집 거리, Jaro-Winkler, 음성 부호화 같은 전통적인 방법론은 이러한 구조적 모호함에 어려움을 겪어 높은 수준의 거짓 양성 및 거짓 음성률을 초래합니다. 대규모 언어 모델 (LLM) 은 가능성을 제시하지만, 표준 파인튜닝은 종종 모델이 이름 구조와 분류 경계를 동시에 학습하도록 강요하여 구조적 패턴이 강력하지만 암시적인 도메인에서 최적이지 않은 성능을 초래합니다.

방법론: 구조 기반 엔티티 해결 (SGER)

저자들은 LLM(특히 Meta 의 Llama 3 8B) 을 2 단계 커리큘럼 학습 전략을 사용하여 파인튜닝하는 새로운 프레임워크인 SGER 를 제안합니다. 이 접근법은 구조적 이해를 이진 매칭 작업과 분리하여 이름에 대한 견고한 내부 표현을 구축합니다.

시스템 아키텍처

베이스 모델: 정확도, 비용 효율성, 오픈 소스 재현 가능성의 균형을 위해 선택된 Llama 3 8B.
학습 메커니즘: 혼합 정밀도 (fp16) 를 사용하여 저랭크 적응 (LoRA)(랭크 4, 알파 8) 을 적용한 지도 학습 파인튜닝 (SFT).

1 단계: 이름 구조 이해

목표: 모델에게 이름의 "내부 문법"을 가르치는 것.
작업: 원시 이름 문자열 (예: "Kirtan Singh Rathore") 을 first_name, middle_name, last_name을 포함하는 구조화된 JSON 객체로 매핑.
데이터: 지역 및 언어적 다양성을 커버하기 위해 합성 변형으로 증강된 약 10,000 개의 수동 주석 인도 이름 데이터셋.
결과: 모델은 쌍을 매칭하기 전에 이름 구성 요소를 식별하고 구조적 변형 (예: "SinghKirtan"을 병합된 형태로 인식) 을 처리하는 법을 학습합니다.

2 단계: 이진 이름 매칭

목표: 두 이름 변형이 동일한 개인을 지칭하는지 여부를 결정하는 다운스트림 작업을 수행.
초기화: 1 단계 체크포인트에서 학습 시작.
작업: 이름 쌍을 기반으로 한 이진 분류 ("예" 또는 "아니오").
프롬프트 설계: 실제 세계의 모호성 (약어, 재배열된 구성 요소, 경칭) 을 반영하도록 위험 운영 팀과 함께 제작된 지시 사항 및 퓨샷 (few-shot) 예제 포함.
데이터 증강: 견고성을 보장하기 위해 컴퓨터 비전에서 영감을 받은 세 가지 전략을 사용하여 원래 20,000 쌍이었던 학습 데이터를 50,000 개 이상의 예제로 확장:
1. 쌍 스와핑: 순서 불변성을 보장.
2. 구성 요소 순열: 이름 부분을 섞어 유효하지만 새로운 구조적 예제 생성.
3. 무작위 공백 제거: 토큰을 병합하여 데이터 입력 오류 시뮬레이션 (예: "Kirtan Singh" $\to$ "KirtanSingh").

주요 기여

커리큘럼 기반 프레임워크: 이 논문은 복잡하고 실제적인 환경에서 이름 기반 엔티티 해결을 위해 특별히 맞춤화된 2 단계 커리큘럼 학습 프레임워크의 첫 번째 경험적 검증을 제시합니다. 이는 구조 학습과 분류를 분리하는 것이 단일 단계 파인튜닝에 비해 우수한 성능을 산출함을 보여줍니다.
최첨단 성능: SGER 는 50,000 개의 실제 인도 KYC 쌍으로 구성된 홀드아웃 세트에서 99.02% 정확도와 0.994 F1 점수를 달성합니다.
**프로덕션 배포:**该系统은 2.5 억 명 이상의 사용자를 보유한 Dream11 의 프로덕션 파이프라인에 완전히 배포되어 분당 최대 10,000 건의 요청을 처리하며 P99 지연 시간은 120 밀리초입니다.

결과 및 비교 분석

저자들은 분리된 검증 세트에서 SGER 를 다섯 가지 베이스라인과 비교 평가했습니다:

Levenshtein 유사도: 0.726 F1 (구조적 변형에 어려움을 겪음).
BERT (파인튜닝): 0.806 F1.
GPT-4o (퓨샷): 0.911 F1.
LLM (퓨샷, Llama 3 8B): 0.839 F1.
LLM (단일 단계 SFT): 0.946 F1.
LLM (SFT + 증강): 0.973 F1.
SGER (2 단계 + 증강): 0.994 F1.

Ablation 연구 결과:

데이터 증강: 모델이 표면 패턴을 암기하는 것을 방지하고 "롱 테일" 왜곡에 대한 일반화를 개선하여 F1 을 0.946 에서 0.973 으로 향상.
커리큘럼 학습: 1 단계 구조 사전 학습의 추가는 특히 여러 동시 왜곡 (예: 약어, 재배열, 병합된 이름) 을 가진 쌍의 성능을 안정화하여 최종적으로 0.994 로 끌어올림.

오류 분석:
잔여 오류 (<1%) 는 주로 다음에서 비롯됩니다:

모호한 음성 사례: 일관성 없는 음역으로 인해 철자가 다르지만 음성이 유사한 이름 (예: "Saurabh" 대 "Sorab").
복합 오류 사례: 공백 손실, 순서 반전, OCR 손상 등이 동시에 발생하는 경우 (예: "SubhamKshr" 대 "KishoreShubham").

중요성 및 영향

이 논문은 커리큘럼 가이드 학습이 규모에 따른 견고하고 고정밀 매칭을 가능하게 함으로써 복잡하고 다국어 도메인에서의 엔티티 해결에 대한 새로운 기준을 설정한다고 주장합니다.

운영적 영향: 이 시스템의 배포는 모호한 사례에 대한 수동 검토 (이전에는 제 3 자 벤더로 라우팅됨) 의 필요성을 제거하여 연간 50 만 달러 이상의 비용 절감을 실현했습니다.
준수: 시스템은 99.95% 의 정밀도를 달성하여 KYC 워크플로우에서 거짓 연결 및 관련 규제 리스크를 크게 감소시킵니다.
확장성: 이 접근법은 특수 엔티티 해결 작업이 반드시 거대한 모델을 필요로 하지 않음을 입증합니다. 구조화된 커리큘럼에 의해 안내될 때, modest 한 8B 파라미터 모델로도 거의 완벽한 정확도를 달성할 수 있습니다.

저자들은 인도 KYC 데이터에 초점을 맞추었지만, 이 방법론은 글로벌 전자상거래 및 국경 간 사기 탐지와 같이 풍부한 언어적 다양성, 불규칙한 이름 관례, 그리고 노이즈가 많은 입력을 특징으로 하는 다른 환경에도 광범위하게 적용 가능하다고 결론지었습니다.