AI Appeals Processor: A Deep Learning Approach to Automated Classification of Citizen Appeals in Government Services

1. 문제 정의 (Problem Statement)

전 세계 정부 기관들은 시민들의 민원 (Appeals) 처리량이 급증하고 있으며, 특히 전자 제출 건수가 크게 증가하고 있습니다. 그러나 기존 처리 방식은 다음과 같은 심각한 한계를 가지고 있습니다.

• 비효율성: 수동 처리 시 민원 1 건당 평균 20 분이 소요됩니다.
• 낮은 정확도: 분류 정확도가 약 **67%**에 불과하여, 민원 유형 (불만, 신청, 제안) 및 주제 영역을 잘못 분류하는 경우가 많습니다.
• 병목 현상: 이러한 비효율성은 공공 서비스 제공의 병목 현상을 초래하며, 규제 준수 및 신속한 대응을 어렵게 만듭니다.
• 러시아어 특이성: 러시아어는 풍부한 굴절 형태 (morphological complexity) 와 도메인별 전문 용어를 가지고 있어, 기존 NLP 기법 적용에 추가적인 어려움이 존재합니다.

2. 방법론 (Methodology)

이 논문은 AI Appeals Processor라는 마이크로서비스 기반 시스템을 제안하며, 자연어 처리 (NLP) 와 딥러닝 기술을 통합하여 민원을 자동 분류하고 라우팅합니다.

시스템 아키텍처

• 구조: 프론트엔드 (JavaScript), 백엔드 서버, AI 모듈 (Python/TensorFlow), 관계형 데이터베이스, 외부 문서 관리 시스템 (DMS) 연동 레이어로 구성된 마이크로서비스 아키텍처.
• 배포: Docker 컨테이너화 및 Kubernetes 오케스트레이션을 통해 수평 확장 (Horizontal Scaling) 가능.
• 데이터 처리 파이프라인:
  1. 전처리: 소문자 변환, 특수문자 제거, 토큰화, 러시아어 정지 단어 제거, pymorphy2 를 활용한 어간 추출 (Lemmatization).
  2. 특징 추출: TF-IDF 벡터화 또는 Word2Vec 임베딩 (128 차원).
  3. 분류: 추출된 특징을 기반으로 민원 유형 예측 (LSTM 기반 모델 사용).
  4. 후처리: 분류 결과 저장 및 운영자 검토를 위한 알림 발송.

실험 설정 및 모델 비교

10,000 건의 실제 러시아어 민원 데이터셋 (불만, 신청, 제안 3 가지 유형) 을 사용하여 6 가지 접근법을 비교 평가했습니다.

1. Baseline: 수동 분류 (인간 운영자).
2. BoW + SVM: 단어 카운트 기반 + 서포트 벡터 머신.
3. TF-IDF + SVM: TF-IDF 특징 + SVM.
4. fastText: 문자 n-gram 기반 지도 학습 분류기.
5. Word2Vec + LSTM: Word2Vec 임베딩을 단방향 LSTM 에 입력.
6. BERT: 다국어 BERT (bert-base-multilingual-cased) 미세 조정 (Fine-tuning).

3. 주요 기여 (Key Contributions)

1. 포괄적 평가: 10,000 건의 러시아어 민원 데이터셋을 기반으로 5 가지 머신러닝 접근법의 성능을 종합적으로 평가.
2. 프로덕션-ready 아키텍처: NLP 분류를 정부 문서 관리 시스템과 통합한 마이크로서비스 구조 제시.
3. 도메인별 벤치마크: 7 가지 주제 영역 (주거, 의료, 교육 등) 에 대한 분류 성능 분석.
4. 인간 - AI 협업 (Human-in-the-loop): 운영자가 검증한 데이터를 통해 모델을 반복적으로 재학습 (Retraining) 하여 성능을 지속적으로 개선하는 피드백 사이클 구현.

4. 실험 결과 (Results)

분류 성능

• 최적 모델: Word2Vec + LSTM 아키텍처가 78% 의 정확도를 기록하여 수동 기준 (67%) 보다 11%p 향상되었습니다.
• BERT 의 한계: BERT 는 82% 로 가장 높은 정확도를 보였으나, 학습 시간 (240 분) 과 계산 자원 요구량이 Word2Vec+LSTM(95 분) 보다 훨씬 컸습니다.
• 선택 이유: 정확도와 계산 효율성 사이의 최적 균형을 위해 Word2Vec + LSTM이 프로덕션 환경에 선택되었습니다.
• 도메인별 성능: '주거 및 유틸리티' (F1-Score 84%) 와 '의료' (80%) 등 전문 용어가 명확한 분야는 분류 성능이 높았으나, '기타' 분야는 71% 로 낮았습니다.

처리 시간 및 효율성

• 처리 시간 단축: 평균 처리 시간이 22.5 분에서 10.25 분으로 54% 단축되었습니다.
• ML 추론 시간: 텍스트 전처리 및 모델 예측만으로는 민원 1 건당 2 초 미만이 소요되며, 전체 시간의 대부분은 운영자의 검토 및 라우팅에 사용됩니다.

확장성 (Scalability)

• 동시 부하 테스트: 20 개의 동시 요청 시 처리 시간은 25% 만 증가하여 (10.25 분 → 12.8 분), 시스템이 안정적으로 작동함을 입증했습니다.
• 병목 지점: ML 추론이 아닌 운영자 검토 단계 (고정된 인력 풀) 에서 지연이 발생함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: 이 시스템은 정확도 향상과 처리 시간 단축을 동시에 달성하여 정부 서비스의 디지털 전환을 가속화합니다.
• 지속적 개선: 'Human-in-the-loop' 방식을 통해 운영자가 수정한 데이터를 재학습에 활용함으로써, 초기 78% 의 정확도를 프로덕션 환경에서 지속적으로 개선할 수 있음을 입증했습니다.
• 자원 효율성: 고비용의 트랜스포머 모델 (BERT) 대신 경량의 LSTM 기반 모델을 선택함으로써, 제한된 IT 자원을 가진 정부 기관에서도 실용적으로 배포 가능한 솔루션을 제시했습니다.
• 향후 과제: 더 큰 데이터셋 확보, 세분화된 하위 카테고리 분류, 러시아어 특화 트랜스포머 모델 (RuBERT 등) 도입, 그리고 다양한 행정 분야로의 확장 등이 향후 연구 과제로 제시되었습니다.

이 논문은 복잡한 러시아어 민원 데이터를 딥러닝으로 처리하여 공공 서비스의 효율성을 획기적으로 높일 수 있는 구체적인 기술적 로드맵을 제시한다는 점에서 의의가 큽니다.