CBRS: Cognitive Blood Request System with Bilingual Dataset and Dual-Layer Filtering for Multi-Platform Social Streams

1. 문제 정의 (Problem Statement)

• 소셜 미디어의 정보 과부하: 긴급한 헌혈 요청 게시물이 소셜 미디어 (Facebook, Telegram, Discord 등) 에 매일 수천 건씩 올라오지만, 방대한 양의 일상적인 게시물 속에 묻혀 있어 실제 기증자들이 발견하기 어렵습니다.
• 비구조화된 데이터와 언어적 장벽: 요청 메시지는 비정형적이며, 방언, 은어, 축약어, 그리고 영어와 벵골어 (및 로마자 표기 벵골어) 가 혼재된 다중 언어 환경에서 작성됩니다. 기존 저자원 언어 (Low-resource language) 를 위한 데이터셋이 부족하여 효과적인 자동화 시스템 구축이 어렵습니다.
• 오류의 비대칭성 (Asymmetric Error): 긴급한 요청을 놓치는 것 (False Negative) 은 생명과 직결되므로 치명적이지만, 불필요한 요청을 필터링하는 것 (False Positive) 은 추가 처리 부하만 발생시킵니다. 따라서 높은 정밀도 (Precision) 보다는 높은 재현율 (Recall) 을 유지하면서도 비용을 절감해야 하는 딜레마가 존재합니다.
• 기존 시스템의 한계: 수동 입력에 의존하거나 단일 모델 기반의 시스템은 실시간 대응 속도와 확장성, 그리고 비용 효율성 측면에서 한계가 있습니다.

2. 방법론 (Methodology)

저자들은 인지적 혈액 요청 시스템 (CBRS) 을 제안하며, 이는 크게 세 가지 핵심 구성 요소로 이루어져 있습니다.

A. 다국어 이중 레이어 필터링 아키텍처 (Dual-Layered Filtering, DLF)

비용 효율성을 극대화하기 위해 2 단계 필터링 구조를 도입했습니다.

1. Layer 1 (경량 분류기):
   • 기술: TF-IDF 특징 추출과 비대칭 가중치 (Asymmetric Weighting) 를 적용한 로지스틱 회귀 (LogReg) 모델을 사용합니다.
   • 목적: 대량의 메시지 스트림에서 혈액 요청과 관련된 게시물만 빠르게 선별합니다.
   • 전략: False Negative 를 최소화하기 위해 양의 클래스 (혈액 요청) 에 높은 패널티를 부여하여 재현율 (Recall) 을 극대화합니다. 이로 인해 1 단계에서 False Positive 가 다소 증가할 수 있으나, 이는 2 단계에서 처리되므로 전체 시스템 비용에 미치는 영향은 미미합니다.
2. Layer 2 (LLM 기반 정제 및 파싱):
   • 기술: GPT-4o-mini 와 같은 대규모 언어 모델 (LLM) 을 사용합니다.
   • 목적: 1 단계에서 통과한 메시지 중 실제 혈액 요청이 아닌 것 (예: 감사 인사, 과거 요청 완료 등) 을 제거하고, 요청 내용을 구조화된 JSON 형식으로 파싱합니다.
   • 비용 최적화: 1 단계에서 불필요한 메시지를 걸러내어 LLM API 호출 횟수를 획기적으로 줄여 운영 비용을 절감합니다.

B. 구조화된 파싱 (Structured Parsing)

• 모델: LoRA (Low-Rank Adaptation) 를 사용하여 Llama-3.2-3B 모델을 미세 조정 (Fine-tuning) 했습니다.
• 입력: 비정형 텍스트를 blood_group, bags_needed, patient_info, location, contact 등 미리 정의된 JSON 스키마로 변환합니다.
• 프롬프트 엔지니어링: Few-shot prompting 기법을 사용하여 모델이 정확한 JSON 구조를 따르도록 유도합니다.

C. 다중 플랫폼 통합 및 지리적 알림

• Telegram 과 Discord 와 같은 플랫폼에 봇을 통합하여 실시간으로 메시지를 모니터링합니다.
• 기증자의 등록 정보 (혈액형, 위치, 마지막 헌혈일) 를 기반으로 지리적 근접성 (Geo-location) 을 고려하여 적합한 기증자에게만 알림을 전송합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 다국어 데이터셋 (CBRS Dataset):
   • 벵골어, 영어, 로마자 표기 벵골어 (Transliterated Bengali) 로 구성된 11,000 건의 혈액 요청 메시지로 구성된 데이터셋을 구축했습니다.
   • 실제 소셜 미디어의 언어적 다양성 (방언, 슬랭) 을 반영했으며, 'Adversarial Negatives' (혈액 관련 단어가 있지만 요청이 아닌 난해한 음성) 를 포함하여 모델의 강건성을 높였습니다.
2. 비용 효율적 이중 레이어 필터링 시스템 (CBRS):
   • 저비용 경량 모델과 고성능 LLM 을 결합하여 정확도와 비용 효율성을 동시에 달성한 아키텍처를 제안했습니다.
3. LoRA 기반 경량 파서 성능 입증:
   • 3B 파라미터 규모의 Llama-3.2 모델을 LoRA 로 미세 조정하여, 제로샷 (Zero-shot) 환경에서 92% 의 정확도를 달성했습니다. 이는 베이스 모델 대비 41.54% 향상되었으며, GPT-4o-mini 등의 Few-shot 성능을 능가합니다.
4. 실제 환경 평가:
   • 30 개 이상의 활성 그룹 (Telegram, Discord) 에서 인간 평가를 수행하여 시스템의 실용성과 사용자 만족도를 검증했습니다.

4. 실험 결과 (Results)

• 필터링 성능: 제안된 DLF 시스템은 필터링 작업에서 99% 의 정확도 (Accuracy) 와 정밀도 (Precision) 를 달성하여 기존 경량 분류기 및 SOTA 방법들을 능가했습니다.
• 파싱 성능:
  • LoRA 미세 조정된 Llama-3.2-3B 모델은 **제로샷 정확도 92%**를 기록했습니다.
  • 다른 대형 모델 (GPT-4o-mini, Gemini-2.0 등) 의 Few-shot 성능보다 우수한 결과를 보였습니다.
  • 토큰 효율성: 기존 LLM 들이 평균 3,000 개의 입력 토큰을 사용하는 반면, 제안된 모델은 지시어와 예시 없이 메시지만 전달하여 평균 78.5 개의 입력 토큰만 사용하여 35 배의 토큰 사용량 감소 효과를 거두었습니다.
• 비용 절감: 이중 레이어 필터링을 통해 LLM 호출 횟수를 줄여, 단일 레이어 (전체 메시지를 LLM 에 직접 전달) 대비 33.33% ~ 47.37% 의 운영 비용 절감 효과를 확인했습니다.
• 사용자 평가: 114 명의 참여자를 대상으로 한 설문조사에서, 시스템 도입 후 헌혈 요청에 대한 응답 속도가 개선되었고, 사용자 인터페이스 (슬래시 명령어 등) 에 대한 만족도가 높게 나타났습니다.

5. 의의 및 결론 (Significance)

이 연구는 저자원 언어 환경과 긴급한 의료 수요가 공존하는 상황에서, 비용 효율적이고 확장 가능한 AI 기반 정보 추출 시스템의 가능성을 입증했습니다.

• 실용적 가치: 소셜 미디어의 비정형 데이터를 실시간으로 구조화하여 생명 구호 활동 (헌혈) 의 속도를 높이고, 기증자와 수혜자 간의 매칭 효율성을 극대화합니다.
• 기술적 기여: 대규모 LLM 의 고비용 문제를 해결하기 위해 경량 모델과 LLM 을 계층적으로 결합한 아키텍처 설계와, 저자원 언어를 위한 고품질 데이터셋 구축은 향후 재난 및 응급 상황 관련 NLP 연구에 중요한 기준이 됩니다.
• 확장성: 이 프레임워크는 다른 언어와 플랫폼으로 확장 가능하며, 의료 정보 추출 및 응급 대응 시스템의 표준으로 자리 잡을 잠재력을 가지고 있습니다.

요약하자면, CBRS 는 데이터의 부족과 비용의 제약이라는 두 가지 주요 장벽을 극복하고, 정교한 필터링과 경량화된 LLM 파싱을 통해 실시간 혈액 수급 문제를 해결하는 혁신적인 솔루션입니다.