Content-Based Smart E-Mail Dispatcher Using Large Language Models

기술 요약: 대규모 언어 모델을 이용한 콘텐츠 기반 스마트 이메일 디스패처

문제 정의
본 논문은 대규모 조직, 특히 공학 대학의 맥락에서 발생하는 대량의 이메일을 수동으로 처리하는 데 따르는 비효율성과 인지적 부담을 다룹다. 이메일은 여전히 보편적이지만, 학과 수신함에 들어온 학술 통지 및 회람을 특정 학생 WhatsApp 그룹으로 수동으로 읽고 전달하는 과정은 직원들에게 오류가 발생하기 쉽고, 시간이 많이 소요되며, 스트레스를 주는 작업으로 설명된다. 현재의 수동 워크플로우는 직원이 다양한 콘텐츠를 읽고, 해석하고, 이를 적절한 배치(학번 및 프로그램별로 정의됨)로 라우팅해야 하는 병목 현상을 초래하며, 이 과정에는 자동화가 결여되어 있다. 기존의 자동화 솔루션은 종종 제목의 단순 키워드 매칭이나 특정 계정으로부터의 이메일 전달에 의존하며, 정확한 라우팅에 필요한 뉘앙스를 처리할 수 있는 의미론적 콘텐츠 분석에는 실패한다.

방법론
제안된 솔루션은 대규모 언량 모델(LLM)과 에이전트 기반 프레임워크를 활용하여 이메일의 분류 및 라우팅을 자동화하는 "콘텐츠 기반 스마트 이메일 디스패처(SEDS)"이다. 이 시스템은 세 단계의 과정을 통해 작동한다:

1. 데이터 캡처: 시스템은 이메일 메시지와 그 첨부 파일을 수집한다. 개발 단계에서는 이 데이터를 오프라인으로 읽으며, 배포 시에는 이메일 수신함에 직접 연결된다.
2. 콘텐츠 분석: 이것이 핵심적인 계산 단계이다. 시스템은 AI 에이전트 프레임워크(Langchain 라이브러리 활용)를 사용하여 에이전트가 API를 통해 LLM에 질의하도록 한다. 에이전트는 프롬프트 엔지니어링을 사용하여 이메일의 텍textual 콘텐츠와 첨부 파일을 분석한다. 프롬프트는 이메일 내용, 지침 및 컨텍스트를 제공하여 LLM이 메시지의 의미론적 관련성을 결정할 수 있게 한다.
3. 디스패칭(전송): LLM의 분석을 바탕으로, 에이전트는 특정 대상 WhatsApp 그룹(예: 특정 학생 배치 또는 교수진 그룹)을 식별하고 메시지와 첨부 파일을 해당 그룹에 자동으로 게시한다.

이 시스템은 레이블이 지정된 데이터셋 없이 작동하도록 설계되었으며, 대신 LLM의 내재된 문맥 이해 능력과 제로샷(zero-shot) 또는 퓨샷(few-shot) 분류 능력에 의존한다. 검증에 사용된 데이터셋은 학생 및 교수진과 관련된 1,000개 이상의 엄선된 이메일로 구성되었다.

주요 기여

• LLM 기반 라우팅: 본 논문은 특정 조직 그룹으로 이메일을 라우팅하기 위해 키워드 기반 필터링을 넘어 의미론적 콘텐츠 분석으로 나아가는 메커니즘을 소개한다.
• 에이전트 기반 아키텍처: 구현에는 멀티 에이전트 프레임워크를 사용하여, 한 에이전트가 이메일 카테고리를 식별하면 후속 에이전트들이 커스텀 구축된 디스패처 도구로 특정 라우팅 작업을 처리한다.
• 데이터셋 프리(Dataset-Free) 운영: 시스템은 전통적인 머신러닝 접근 방식의 흔한 장애물인 레이블이 지정된 학습 데이터셋을 생성하기 위한 광범위한 수동 작업이 필요하지 않다는 점이 강조된다.
• 동적 구조 처리: 매년 추가되는 새로운 배치(batch)와 같이 정적인 규칙 기반 또는 클러스터링 기반 시스템을 복잡하게 만드는 동적인 그룹 구조 문제를 해결한다.

결과
저자들은 Gemini, ChatGPT, DeepSeek, Perplexity AI의 네 가지 서로 다른 LLM 플랫폼을 사용하여 시스템을 평가하였다. 성능 지표는 모델이 추가되거나 누락된 그룹 없이 모든 올바른 대상 그룹을 식별하는 것으로 정의된 엄격한 분류 정확도였다.

• Gemini는 **93.5%**의 가장 높은 정확도를 달성했다.
• ChatGPT가 **92%**로 근소한 차이로 뒤를 이었다.
• Perplexity와 DeepSeek는 각각 **82.5%**와 **80%**를 기록했다.

오분류 분석 결과, 오류는 주로 "채점 및 재채점"에 관한 회람에서 발생하였으며, 모델이 가끔 교수진 전용 콘텐츠를 학생 그룹과 공유하도록 잘못 권고하는 경우가 있었다. 그러나 시스템은 특정 연도가 없는 배치 시리즈를 언급하는 회람을 올바른 대상으로 성공적으로 매핑하였다.

의의 및 주장
본 논문은 이 시스템이 기관 이메일 관리를 자동화하는 데 있어 중요한 진전임을 주장한다. 트랜스포머 기반 모델과 비지도 학습 기법을 통합함으로써, 시스템은 의미론적 이해 및 비정형 데이터 처리와 관련된 문제를 해결한다. 저자들은 시스템이 다음과 같은 성과를 거두었다고 단언한다:

• 생산성 향 향상: 수동 작업과 직원의 인지적 부하를 크게 줄여, 직원이 고순위 과업에 집중할 수 있도록 한다.
• 적시성 확보: 정보의 흐름을 원활하게 하여 학생들이 선호하는 통신 채널(WhatsApp)을 통해 학술 업데이트를 신속하게 받을 수 있도록 한다.
• 오류 감소: 자동화를 통해 수동 전달 시 발생하는 인간의 실수를 최소화한다.
• 다양성: PDF, 이미지, Word 문서를 포함한 다양한 형식을 처리할 수 있다.

저자들은 이 연구를 미래 혁신의 "디딤돌"로 규정하며, 향후 버전에서는 알림을 간결하게 제공하기 위해 이메일 내용을 요약하는 기능에 집중할 것이라고 언급했다. 또한, 레이블 데이터의 필요성과 멀티 레이블 선택(여러 대상 그룹) 및 동적인 그룹 추가를 처리하는 어려움 때문에 LLM을 전통적인 머신러닝이나 딥러닝 모델로 대체하는 것은 어려울 것이라고 명시적으로 밝혔다.