A Dynamic Fusion Model for Consistent Crisis Response

1. 문제 정의 (Problem Statement)

• 위기 상황에서의 소통 필요성: 재난 발생 시 피해자들은 소셜 미디어를 통해 정보와 지원을 요청하며, 정부 기관이나 NGO 의 신속하고 정확한 대응이 필수적입니다.
• LLM 기반 자동 응답의 한계: 대규모 언어 모델 (LLM) 을 활용한 자동 응답 시스템이 도입되고 있지만, 기존 연구들은 주로 응답의 '품질' (유용성, 사실성) 에 집중했습니다.
• 핵심 간과 요소: 응답의 일관성 (Consistency):
  • 다양한 사용자나 상황에 따라 응답의 스타일 (전문성, 실행 가능성, 관련성) 이 일정하지 않으면 피해자들의 신뢰가 떨어지고 혼란을 초래할 수 있습니다.
  • 예를 들어, 어떤 사용자에게는 구체적인 전화번호와 행동 지침을 제공하면서, 다른 사용자에게는 모호한 조언만 하는 경우, 조직의 신뢰성이 훼손됩니다.
  • 기존 연구는 일반 대화 시스템의 '페르소나 일관성'이나 '사실적 일관성'을 다뤘으나, 위기 소통의 핵심 차원 (전문성, 실행 가능성, 관련성) 을 모두 아우르는 스타일적 일관성을 평가하고 개선하는 방법은 부재했습니다.

2. 제안 방법론 (Methodology)

저자들은 일관된 위기 응답을 생성하기 위해 **동적 융합 프레임워크 (Dynamic Fusion Framework)**를 제안했습니다. 이 방법은 여러 생성 모델의 강점을 통합하여 최적의 응답을 도출하는 2 단계 프로세스를 따릅니다.

A. 일관성 평가 지표 (Consistency Metric)

응답의 일관성을 정량화하기 위해 다음 세 가지 차원을 정의하고 그 분산 (Variance) 을 측정합니다.

1. 전문성 (Professionalism): 신뢰할 수 있고 권위 있는 어조 및 정보 제공.
2. 실행 가능성 (Actionability): 사용자가 즉시 따라 할 수 있는 구체적인 지침 (전화번호, 웹사이트 등) 포함.
3. 관련성 (Relevance): 사용자의 요청과 얼마나 밀접하게 연결되어 있는지.

• 일관성 점수 (Consistency Score): 세 차원에서의 점수 분산 (Variation) 을 계산하여 1 - Variation으로 정의합니다. 점수가 높을수록 모든 응답이 균일한 품질을 유지함을 의미합니다.

B. 융합 프레임워크 (Fusion Framework)

단일 모델의 불안정성을 보완하고 일관성을 높이기 위해 다음과 같은 단계를 거칩니다.

1. 후보 응답 생성 (Candidate Generation):
   • Instructional Prompt (IP): LLM 의 추론 능력을 활용한 프롬프트 기반 생성.
   • Retrieval-Augmented Generation (RAG): FEMA(미국 연방재난관리청) 와 같은 공신력 있는 외부 지식 베이스를 검색하여 사실 기반 정보를 보강한 생성.
2. 다차원 평가 (Multi-dimensional Evaluation):
   • 생성된 후보 응답들을 LLM(GPT-4o mini 등) 을 사용하여 전문성, 실행 가능성, 관련성 점수로 평가합니다.
3. 지향성 융합 생성 (Fusion-based Generation):
   • 평가 점수를 활용하여 두 응답의 강점을 결합하는 새로운 응답을 생성합니다.
   • Fusion w/ Eval & Weight Instruct (최고 성능 방법): 각 차원 (예: 전문성 40%, 실행 가능성 40%, 관련성 20%) 에 가중치를 부여하고, LLM 에게 점수를 기반으로 강점을 통합하라는 구조화된 지시 (Structured Instructions) 를 제공합니다. 이를 통해 모델이 특정 차원을 우선시하거나 균형을 맞추도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 평가 지표 제안: 위기 소통의 맥락에서 '일관성 (Consistency)'을 전문성, 실행 가능성, 관련성이라는 세 가지 차원의 균일성으로 정의하고 이를 측정하는 새로운 메트릭을 도입했습니다.
2. 융합 프레임워크 개발: 단일 모델의 한계를 극복하고, 다양한 생성 방법 (IP, RAG) 의 장점을 통합하여 일관성이 높은 고품질 응답을 생성하는 프레임워크를 제안했습니다.
3. 광범위한 실험 및 검증: Llama-3.1-8B 와 Mistral-8B 등 다양한 오픈소스 LLM 을 활용하여 Hurricane(허리케인) 데이터셋으로 실험했으며, 지진 및 태풍 등 다른 위기 상황으로의 일반화 (Generalization) 가능성도 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 허리케인 Harvey, Irma, Maria 로 인한 2017 년 트위터 (X) 데이터 (지리 태그가 포함된 100 만 개 이상의 포스트 중 정보 요구가 있는 540 개 샘플 사용).
• 성능 비교:
  • 제안된 Fusion w/ Eval & Weight Instruct 방법이 모든 베이스라인 (단일 프롬프트, RAG, 선택 기반 등) 을 압도했습니다.
  • Llama 모델 기준: 전체 품질 (Overall Quality) 0.95, 일관성 점수 0.94 를 기록하여 기존 최고 성능 (0.84~0.88) 대비 크게 향상되었습니다.
  • Mistral 모델 기준: 역시 Fusion 방법이 일관성 (0.92) 과 품질 (0.95) 에서 최상의 성능을 보였습니다.
• 일관성 분석:
  • Fusion 방법은 응답 간 분산을 최소화하면서도 전문성과 실행 가능성을 동시에 극대화했습니다.
  • 3 회 이상의 반복 융합 (Iteration) 을 수행해도 성능이 더 이상 크게 향상되지 않아, 1~3 회 내의 융합이 최적임을 확인했습니다.
• 크로스-크라이시스 (Cross-Crisis) 일반화: 허리케인 데이터로 학습/검증된 모델이 지진 및 태풍 데이터에서도 높은 일관성 (0.96) 과 품질을 유지하여 프레임워크의 견고성을 입증했습니다.
• 인간 평가: 전문가 (PhD 학생) 에 의한 평가에서 Fusion 응답은 다른 방법론에 비해 **사용자 선호도 (0.86)**와 **일관성 (0.86)**에서 압도적인 우위를 보였습니다.

5. 의의 및 결론 (Significance)

• 신뢰 회복: 위기 상황에서 일관된 톤과 품질의 응답을 제공함으로써 피해자들의 신뢰를 높이고 혼란을 줄일 수 있습니다.
• 확장성: 수동으로 프롬프트를 세밀하게 조정하는 Few-shot 학습 방식에 비해, 동적 융합 방식은 다양한 위기 시나리오와 사용자 요구에 더 유연하고 확장 가능하게 적용됩니다.
• 실용성: RAG 를 통해 FEMA 와 같은 공신력 있는 정보를 통합함으로써 LLM 의 환각 (Hallucination) 을 줄이고 사실적 정확성을 보장합니다.
• 향후 과제: 실시간 데이터 통합 및 더 다양한 생성 모델의 후보군 확보를 통해 시스템의 적응성을 더욱 높일 계획입니다.

이 논문은 위기 소통 분야에서 '응답의 품질'뿐만 아니라 '응답의 일관성'이 얼마나 중요한지를 강조하고, 이를 해결하기 위한 체계적인 AI 기반 솔루션을 제시했다는 점에서 중요한 의의를 가집니다.