💻 computer science

From NER to Business Process Automation: Comparative Evaluation of CNN, LSTM, and Transformer Models for Address Intelligence

본 연구는 비즈니스 프로세스 자동화에서의 주소 추출을 위해 다섯 가지 신경망 아키텍처(WordCNN, WordLSTM, BERT, DistilBERT, ELECTRA)를 비교 평가하며, ELECTRA가 가장 높은 정확도와 효율성을 달나오는 동시에 더 가벼운 모델들이 지연 시간에 민감한 애플리케이션을 위한 실행 가능한 대안이 될 수 있음을 입증한다.

원저자: Saurabh Kumar Srivastava, Vikas Jalodia, Divya Srivastava

게시일 2026-09-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Saurabh Kumar Srivastava, Vikas Jalodia, Divya Srivastava

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매일 기업들은 배송 패키지부터 학생 등록 관리까지, 산더로 쌓인 종이와 디지털 기록들을 처리합니다. 이 업무의 핵심적인 부분은 주소를 읽는 일입니다. 인간은 지저ck한 손글씨 메모나 타이핑된 텍스트 한 줄을 보고도 도시, 주, 우편번호를 즉각적으로 알아낼 수 있지만, 컴퓨터는 종종 어려움을 겪습니다. 기계에게 문자열이란 의미가 없는 단순히 문자의 나열일 뿐입니다. 기업들이 소프트웨어가 사람의 도움 없이 업무를 처리하도록 하는 업무 자동화를 실현하려면, 이러한 비정형 텍스트 라인을 깔끔하고 조직화된 데이터로 변환하는 방법이 필요합니다. 여기서 '개체명 인식(Named Entity Recognition)'이라 불리는 인공지능의 한 분야가 등장합니다. 이것을 문장을 스캔하여 특정 단어를 '도시', '주', 또는 '국가'라고 태그를 다는 디지털 형광펜이라고 생각해보십시오. 엔지니어들의 과제는 주소가 서로 다른 출처에서 오고 매우 다르게 보일 때도, 이를 빠르고 정확하게 하이라이트할 수 있는 적절한 종류의 디지털 두뇌를 찾는 것입니다.

인도 베넷 대학교(Bennett University)의 연구진은 이 구체적인 퍼즐을 풀기 위해 나섰습니다. 그들은 인간의 뇌가 패턴으로부터 학습하는 방식을 모방하도록 설계된 다섯 가지 가장 인기 있는 신경망 유형 중 어떤 것이 주소를 분해하는 데 가장 적합한지를 알고 싶어 했습니다. 그들은 세 가지 뚜렷한 모델 계열을 테스트했습니다. 국소적인 작은 패턴을 찾는 모델, 문장처럼 텍-스트를 읽으며 단어의 순서를 추적하는 모델, 그리고 문장의 전체 맥락을 한 번에 이해하는 가장 최신의 강력한 유형입니다. 연구진은 단순히 어떤 모델이 정답을 가장 많이 맞혔는지만을 본 것이 아닙니다. 그들은 각 모델이 결정을 내리는 데 걸리는 시간도 측정했는데, 이는 비즈니스 자동화의 실제 세계에서 속도 또한 정확도만큼이나 중요하기 때문입니다. 그들은 항공우주 공급업체의 기록과 미국의 방대한 공립학교 명단이라는 두 가지 매우 다른 실제 데이터 세트를 사용하여 이 시스템들을 테스트했습니다.

연구는 이 모델들에게 수천 개의 주소 라인을 입력하는 것으로 시작되었습니다. 연구진은 공정한 테스트를 보장하기 위해 주의를 기울였습니다. 그들은 모델이 일부 주소로 학습하고, 이전에 본 적 없는 완전히 다른 주소들로 테스트를 받도록 데이터를 나누어, 컴퓨터가 단순히 정답을 암기하는 것을 방과했습니다. 또한 모델이 학습할 데이터가 부족할 때와 풍부할 때 각각 어떻게 학습하는지 이해하기 위해, 때로는 데이터의 절반만 제공하고, 때로는 전체 세트를 제공하는 등 다양한 조건에서 모델을 테스트했습니다. 목표는 정보가 부족할 때와 풍부할 때 각 시스템이 어떻게 학습할 수 있는지 이해하는 것이었습니다. 목표는 비즈니스 운영 속도를 늦추지 않으면서도 지저분한 현실의 비즈니스 데이터를 처리할 수 있는 시스템을 찾는 것이었습니다.

결과는 상충 관계(trade-offs)에 대한 명확한 그림을 보여주었습니다. 텍text를 순차적으로 읽는 방식에 의존하는 LSTM 네트워크 모델은 잘 작동했으며, 단순한 로컬 패턴 기반 모델보다 단어 간의 관계를 이해하는 데 더 뛰어났습니다. 그러나 가장 강력한 결과는 문장의 전체 맥락을 한 번에 이해하도록 설계된 트랜스포머(transformer) 기반 모델에서 나왔습니다. 이 중 ELECTRA라는 이름의 모델이 가장 효율적인 것으로 나타났습니다. 연구진이 모델에게 전체 양의 데이터를 제공했을 때, ELECTRA는 항공우주 데이터에 대해 99.4%, 학교 데이터에 대해 99.6%의 정확도로 주소 구성 요소를 식별해 냈습니다.

ELECTRA가 특히 가치 있었던 점은 높은 점수뿐만 아니라 그 속도였습니다. 가장 유명하고 강력한 모델인 BERT는 유사한 정확도를 달了지만, 각 주소를 처리하는 데 훨씬 더 오랜 시간이 걸렸습니다. 테스트에서 ELECTRA는 BERT보다 약 6배 빨랐으며, 다른 모델이 300밀리초 이상 걸린 것에 비해 약 56밀리초 만에 작업을 완료했습니다. 이 차이는 수천 개의 기록을 실시간으로 처리해야 하는 기업들에게 매우 중요합니다. 연구진은 더 단순하고 빠른 모델들이 매우 표준화된 주소에는 충분히 괜찮았지만, 데이터가 복잡해질 경우 고급 시스템의 정밀도를 따라잡을 수 없다는 것을 발견했습니다. 반대로, 가장 강력한 시스템들은 ELECTRA와 같은 모델을 선택하지 않는 한 고용량 작업에는 너무 느린 경우가 많았습니다.

또한 이 연구는 더 많은 데이터가 모든 모델을 개선하는 데 도움이 되지만, 고급 트랜스포머 모델이 가장 큰 혜택을 받는다는 것을 보여주었습니다. 연구진이 모델에게 단 50%가 아닌 100%의 가용 데이터를 제공했을 때, 상위 모델들의 정확도는 더욱 높아졌으나 단순한 모델들의 상승 폭은 더 완만했습니다. 이는 가장 까다로운 주소 파싱 작업의 경우, 빠른 버전인 ELECTRA를 사용하는 조건 하에 고급 모델의 추가적인 계산 능력이 투자할 가치가 있다는 것을 시사합니다. 연구진은 이러한 결과가 북미 주소 형식을 주로 따르는 테스트된 구조화된 데이터에 특화되어 있다고 언급했습니다. 그들은 만약 모델이 지저ck한 손글씨 메모나 다른 규칙을 가진 다른 국가의 주소를 읽어야 한다면 결과가 달라질 수 있다고 경고했습니다.

궁극적으로 이 연구는 데이터 처리를 자동화하려는 기업들에게 실질적인 가이드를 제공합니다. 이는 모든 상황에 적합한 단 하나의 "최고" 모델은 존재하지 않는다는 것을 보여줍니다. 만약 회사가 수백만 개의 표준화된 주소를 빠르게 처리해야 한다면, 더 단순하고 가벼운 모델이 적절한 선택이 될 수 있습니다. 만약 주소가 복잡하고 깊은 이해가 필요하다면 트랜스포머 모델이 필요합니다. 그러나 높은 정확도와 빠른 속도라는 두 마리 토끼를 모두 잡고자 한다면, ELECTRA가 이 비교에서 명확한 승자로 떠올랐습니다. 이 연구는 인공지능이 이제 이러한 작업들을 거의 완벽한 정확도로 처리할 수 있지만, 성공적인 자동화의 핵심은 정밀도와 속도의 균형을 맞추며 특정 작업에 맞는 적절한 도구를 선택하는 데 있음을 확인시켜 줍니다.

기술 요약: NER에서 비즈니스 프로세스 자동화(BPA)까지

문제 정의
비즈니스 프로세스 자동화(BPA)는 물류, 고객 관리 및 기록 검증을 위해 비정형 텍스트 주소를 구조화된 구성 요소(도시, 주, 국가, 우편번호)로 변 변환하는 작업에 점점 더 의존하고 있다. 명명된 개체 인식(NER)은 이 작업을 위한 표준적인 접근 방식이지만, 기존 문헌에는 서로 다른 이질적 신경망 아키텍처를 일관된 실험 조건 하에서 통제된 비교 평가를 수행한 연구가 부족하다. 이전 연구들은 종종 단일 모델, 특정 도메인 또는 개별 지표에 집중하여, 다양한 데이터 가용성 체제(data availability regimes)에서 CNN, LSTM, 그리고 트랜스포머 기반 모델들이 예측 정확도와 계산 효율성(추론 지연 시간) 측면에서 어떻게 비교되는지에 대한 이해의 공백을 남겨두고 있다.

방법론
본 연구는 다섯 가지 신경망 아키텍처인 WordCNN, WordLSTM, BERT, DistilBERT, ELECTRA에 대한 비교 평가를 수행한다. 모델들은 두 가지 이질적인 데이터셋을 대상으로 테스트되었다:

OASIS: 국제 항공우주 품질 그룹(International Aerospace Quality Group)의 항공우주 공급업체 기록 12,059건.
USA Public Schools (USDS): 미국 교육 통계 센터(National Center for Education Statistics)의 학교 기록 102,370건.

실험 설계:

태스크: 네 가지 엔티티(City, State, Country, Postal Code)의 토큰 수준 추출.
데이터 체제: 실험은 사용 가능한 전체 레코드의 50%, 80%, 100% 조건 하에서 수행되었다.
분할: 지리적 중복을 최소 최소화하기 위해 우편번호를 기준으로 레코드를 그룹화하는 그룹 인지 홀드아웃 분할(80:20)을 사용하였다.
전처리: 외부 지식을 도입하는 것을 방지하기 위해 자동 철자 교정을 사용하지 않는 보수적인 전처리를 적용하였다. CNN/LSTM에는 단어 수준 토큰화를 사용하였고, 트랜스포머에는 WordPiece 토크나이저를 사용하였다.
평가 지표: 성능은 정밀도(Precision), 재현율(Recall), F1-score, 정확도(Accuracy), ROC-AUC 및 추론 지연 시간(Inference Latency)을 사용하여 측정되었다. 통계적 유의성은 반복 측정 ANOVA, 프리드먼 검정(Friedman tests) 및 Holm-조정된 쌍체 t-검정(Holm-adjusted paired t-tests)을 통해 평가되었다.
환경: 실험은 NVIDIA Tesla T4 GPU가 장착된 Google Colab 환경에서 실행되었다.

핵심 기여

통제된 벤치마킹: 본 연구는 동일한 전처리 및 분할 프로토콜 하에서 주소 파싱을 위한 CNN, LSTM, 트랜스포머 아키텍처의 직접적인 비교를 제공함으로써, BPA 문헌 내의 교차 아키텍처 벤치마크 부재 문제를 해결한다.
효율성-정확도 트레이드오프 분석: 정확도에만 초점을 맞춘 연구와 달리, 본 연구는 예측 성능과 추론 지연 시간을 함께 평가하여 자원이 제한된 BPA 환경에서의 모델 선택에 대한 실질적인 가이드를 제공한다.
데이터 가용성 영향: 본 연구는 데이터 양(50% ~ 100%)에 따라 모델 성능이 어떻게 확장되는지를 정량화하여, 다양한 아키텍처 계열에 따른 추가 학습 데이터의 한계 효용에 대한 통찰을 제공한다.
실무 지침: 본 연구는 운영 요구 사항(예: 높은 처리량 vs 최대 정확도)에 기반한 구체적인 모델 선택 권장 사항을 도출한다.

결과

예측 성능: 트랜스포머 기반 모델은 모든 데이터셋과 데이터 체제에서 WordCNN 및 WordLSTM보다 일관되게 우수한 성능을 보였다.
- ELECTRA는 가장 높은 정확도를 달로 달성하였으며, 100% 데이터 체제에서 OASIS에서는 99.4%, USA Public Schools에서는 **99.6%**에 도달했다.
- BERT는 그 뒤를 바짝 쫓았으나(OASIS 99.2%, USDS 99.5%), 지연 시간이 현저히 높았다.
- WordLSTM은 WordCNN보다 일관되게 우수한 성능을 보였으며, 이는 양방향 순차적 문맥(bidirectional sequential context)이 주소 구성 요소에 있어 완만한 이점을 제공함을 시사한다.
계산 효율성 (지연 시간):
- WordCNN은 약 2.9–4.0 ms의 추론 시간을 기록하여 가장 빠른 모델이었다.
- ELECTRA는 트랜스포머 중 최적의 균형을 제공하였으며, 추론 시간은 ~56 ms로 BERT보다 약 5.7배에서 5.9배 빠름을 보였다.
- BERT는 가장 높은 지연 시간(~316–334 ms)을 나타냈다.
- DistilBERT는 BERT에 비해 지연 시간을 줄이면서도 높은 정확도를 유지하는 중간 단계의 옵션을 제공하였다.
통계적 유의성: 반복 측정 ANOVA 및 프리드먼 검정 결과, 모델 아키텍처가 정확도에 유의미한 영향을 미치는 것으로 확인되었다 ( $p < 0.001$ ). Holm-조정된 쌍별 비교는 ELECTRA의 성능이 다른 모든 아키텍처와 유의미하게 다르다는 것을 보여주었다.

의의 및 주장
본 논문은 자신의 주요 기여가 주소 추출을 위한 예측 성능과 계산 효율성 사이의 트레이드오프를 격리하여 평가한 통제된 평가라는 점임을 주장한다. 저자들은 다음과 같이 단언한다:

ELECTRA는 높은 정확도와 낮은 지연 시간이 모두 요구되는 프로덕션 규모의 자동화에 최적의 선택이다.
WordCNN은 약간의 정확도 감소를 감수하더라도 속도가 중요한 고용량 워크플로우에서 실행 가능한 경량화된 대안이다.
BERT는 문맥적 이해가 가장 중요하고 지연 시간이 덜 중요한 맥락에서 강력한 베이스라인으로 남는다.

저자들은 높은 성능 지표(천장에 근접한 점수)가 평가된 데이터셋(북미 주소 관례)의 통제되고 구조화된 특성에 특화된 것임을 명시적으로 밝힌다. 이들은 추가적인 검증 없이 이 결과를 노이즈가 많거나 다국어이거나 분포 외(out-of-distribution)의 운영 주소에 직접 확장 적용하는 것에 대해 주의를 당부한다. 본 연구는 특정 모델의 보편적 우월성을 주장하는 것이 아니라, 특정 배포 제약 조건(정확도 vs 지연 시간 vs 데이터 가용성)에 따라 아키텍처를 선택하기 위한 프레임워크를 제공하는 것을 목적으로 한다.

유사한 논문