A System for Name and Address Parsing with Large Language Models

기술 요약: 대규모 언어 모델을 이용한 성명 및 주소 파싱 시스템

문제 정의
비정형 인적 사항 및 주소 텍스트를 구조화된 데이터로 신뢰성 있게 변환하는 작업은 대규모 정보 시스템에서 여전히 중요한 병목 구간으로 남아 있다. 전통적인 규칙 기반 및 확률적 방법론은 정제된 입력값에 대해서는 우수한 성능을 보이지만, 실제 환경에서 흔히 발생하는 노이즈가 섞인 데이터, 다국어 데이터, 또는 일관되지 않은 형식(예: 구분자 누락, 오타, 혼합 언어 등)에 직면했을 때 실패하는 경우가 많다. 반대로, 신경망 모델과 대규모 언어 모델(LLM)은 개선된 강건성을 제공하지만, 결정론적 제어, 재현성, 그리고 출력 스키마에 대한 엄격한 준수 능력이 부족하여 생성된 데이터의 구조적 또는 논리적 오류를 초래하곤 한다. 기존 문헌들은 종종 도메인 특화 미세 조정(fine-tuning)에 의존하는데, 이는 국가나 형식에 따른 적응성을 제한하거나, 필드 간 일관성을 보장하기 위한 사후 생성 검증 레이어가 부족하다는 한계가 있다.

방법론
저자들은 모델 미세 조정 없이도 자유 형식의 텍스트를 일관된 17개 필드 스키마로 변환하도록 설계된, 프롬프트 기반의 검증 중심 프레임워크를 제안한다. 이 시스템은 AWS Bedrock을 통해 Claude 4.0 Sonnet 모델을 사용하여 4단계 파이프라인으로 작동하며, 재현성을 보장하기 위해 고정된 디코딩 파라미터를 사용한다:

1. 입력 정규화(Input Normalization): 파일 또는 자유 텍스트로부터 추출된 원시 텍스트는 변동성을 줄이기 위해 전처리를 거친다. 여기에는 유니코드 정규화(NFKC), 제로 너비 문자 제거, 공백 압축, 약어 확장(예: "Ave"를 "Avenue"로 확장)이 포함된다. 방향 토큰은 표준 세트로 매핑되며, 서수 접미사 또한 정규화된다.
2. 프롬프트 조립(Prompt Assembly): 컴팩트한 템플릿 기반 프롬프트가 LLM을 안내한다. 이 프롬프트에는 특정 역할 정의, 엄격한 17개 필드 순서, 명시적 규칙(예: "데이터를 임의로 생성하지 말 것", "알 수 없는 값은 빈 문자열 사용") 및 엣지 케이스(예: 하이픈이 포함된 숫자, 전/후 방향 지시어)를 다루는 퓨샷(few-shot) 예시가 포함된다. 프롬프트는 모델이 '생성 모드'가 아닌 '추출 모드'를 유지하도록 설계되었다.
3. 제약 조건이 있는 추론(Constrained Inference): 모델은 16개 단위의 고정된 배치로 레코드를 처리한다. 일관성보다 창의성을 배제하기 위해 디코딩 파라미터(Temperature: 0.30, Top-p: 0.90)를 엄격히 제어한다. 중단 시퀀스(Stop sequences)는 출력이 정확히 레코드 경계에서 종료되도록 보장한다. 만약 구조적 체크(예: 잘못된 필드 개수)에 실패할 경우, 더 엄격한 제약 조건을 적용한 단일 재시도가 수행된다.
4. 엄격한 검증 및 내보내기(Strict Validation and Export): 생성 후 결정론적 검증 레이어가 작동한다. 이 레이어는 다음 사항을 강제한다:
   • 스키마 체크: 정확한 필드 개수 및 데이터 유형 검증.
   • 정규화(Canonicalization): 값을 허용된 집합(예: USPS 주 코드, 긴 형태의 거리 유형)으로 매핑.
   • 필드 간 규칙: 우편번호와 주(state)의 호환성 등 실세계 제약 조건 강제.
     레코드 중 검증에 실패한 항목은 보조 검토를 위해 구체적인 사유와 함께 플래그가 지정된다. 규칙 통과 여부와 토큰 희소성을 기반으로 경량화된 신뢰도 점수가 생성된다.

주요 기여

• 미세 조정이 필요 없는 파이프라인: 본 시스템은 대규모 주석 데이터나 도메인 특화 모델 재학습 없이도 구조화된 프롬프팅을 통해 높은 파싱 정확도를 달 달성한다.
• 결정론적 검증 레이어: LLM 생성 이후에 엄격한 규칙 기반 검증 단계를 통합함으로써, 생성형 모델의 유연성과 규칙 기반 접근법의 신뢰성을 결합하여 스키마 준수 및 논리적 일관성을 보장한다.
• 재현성 및 투명성: 연구 전반에 걸쳐 고정된 실험 파라미터(배치 크기, 디코딩 설정, 프롬프트 템플릿)를 사용하여, LLM 기반 추출 연구에서 흔히 나타나는 재현성 결여 문제를 해결하였다.
• 노이즈에 대한 강건성: 본 프레임워크는 벤치마크 전용의 깨끗한 데이터에만 의존하는 것이 아니라, 다국어 데이터 및 불완전한 레코드를 포함한 이질적이고 노이즈가 많은 입력을 처리하도록 특별히 설계되었다.

결과
1,500개의 고유한 인적 사항-주소 레코드(미국, 푸에르토리코, 국제 데이터 및 합성 노이즈 데이터 포함) 코퍼스를 대상으로 평가한 결과, 시스템은 다음과 같은 성과를 보였다:

• 전체 정확도: 99.8%의 행 단위 정확도(exact-row accuracy)를 기록하였으며, 이는 패턴 기반 베이스라인(99.34%) 대비 0.46%포인트 향상된 수치이며 에러율을 약 23% 감소시킨 결과이다.
• 필드 수준 성능: 핵심 필드(성명, 거리 번호, 주)는 천장치에 가까운 정확도(99.7%~99.9%)를 달성했다. 방향 지시어나 유닛 마커와 같이 전통적으로 변동성이 큰 필드조차 99% 이상의 정확도를 유지했다.
• 자동화: 시스템은 수동 개입 없이도 과거에 예외 발생 가능성이 높았던 레코드의 94%를 자동으로 처리했다.
• 신뢰도 보정: 예측된 신뢰도 점수는 경험적 정확도와 잘 일치했다. 신뢰도가 90% 이상인 레코드의 정확도는 99.9%에 달해, 다운스트림 프로세스가 검증이 필요한 소수의 저신뢰 레코드(4%)에만 집중할 수 있도록 하였다.
• 오류 분석: 잔여 0.2%의 에러율은 주로 패턴 인식을 방해하는 불규칙한 포맷팅(45%)과 비정형 텍스트에서의 레코드 분리 실패(35%)에 기인하였다.

의의 및 주장
본 논문은 구조화된 프롬프팅과 결정론적 검증을 결합하는 것이 구조화된 정보 추출을 위한 강력하고 해석 가능하며 확장 가능한 솔루션을 제공한다고 주장한다. 저자들은 이 접근 방식이 학습 집약적이거나 도메인 특화된 모델에 대한 실질적인 대안을 제시하며, 정밀도, 일관성, 재현성이 필수적인 프로덕션 환경에서 LLM 기반 추출 시스템을 더욱 실행 가능하게 만든다고 단언한다. 본 연구는 재학습 없이도 높은 신뢰성을 달성할 수 있음을 입증함으로써, 규모 있는 배포가 가능한 비용 효율적인 구조화 데이터 추출 경로를 제시한다.