Large Language Models for Causal Relations Extraction in Social Media: A Validation Framework for Disaster Intelligence

기술 요약: 소셜 미디어의 인과 관계 추출을 위한 대규모 언어 모델

문제 제기
재난 지능은 상황 인식에 크게 의존하며, 이는 종종 NOAA 와 같은 기관의 사후 보고서가 가진 사후적이고 노동 집약적인 특성으로 인해 저해됩니다. 반면 소셜 미디어는 위험, 영향 및 인프라 장애에 관한 실시간 크라우드 소싱 데이터를 제공하지만, 이러한 게시물에서 유효한 인과 관계를 추출하는 것은 본질적으로 어렵습니다. 소셜 미디어 콘텐츠는 일반적으로 비공식적이고 단편적이며 문맥에 의존하며, 인과성은 명시적으로 진술되기보다 암시되는 경우가 많습니다. 전통적인 규칙 기반 방법은 이러한 암시적 관계를 포착하지 못하며, 기존 자연어 처리 (NLP) 접근법은 종종 빠르게 진화하는 재난 상황에 잘 일반화되지 않는 경직된 인간 주석 템플릿에 의존합니다. 대규모 언어 모델 (LLM) 이 노이즈가 있는 텍스트를 추론하고 명시되지 않은 관계를 추론할 수 있는 잠재력을 제공하지만, 특정 게시물에 존재하는 증거가 아닌 내부 사전 지식을 기반으로 그럴듯한 인과 연결을 생성할 수 있다는 치명적인 위험이 있습니다. 핵심 연구 질문은 LLM 이 재난 관련 소셜 미디어 게시물에서 유효한 인과 관계를 효과적으로 추출할 수 있는지 여부입니다.

방법론
이를 해결하기 위해 저자는 LLM 이 생성한 인과 그래프를 전문가 기반 참조 그래프와 비교하는 검증 프레임워크를 제안합니다. 방법론은 세 가지 주요 구성 요소로 이루어집니다:

1. 실제 인과 그래프 (Ground-Truth Causal Graphs) 구축:
   특정 재난에 대한 기존 인과 그래프가 없으므로, 저자는 "일치 및 기록 (match-and-record)" 접근법을 사용하여 이를 구축합니다. 그들은 위험, 노출, 취약성 및 영향 간의 인과 경로를 나타내는 일반적인 영향 체인 (impact-chain) 프레임워크로 시작하여 표준화된 권위 있는 사후 보고서 (특히 NOAA 보고서) 의 인과성 증거를 사용하여 이를 정제합니다. 이러한 보고서의 텍스트 증거에 의해 명시적으로 지지되는 에지 (edge) 만 유지되어 (Cause, Effect) 방향성 관계를 생성하며, 이는 실제 기준 (ground truth) 으로 작용합니다.

2. LLM 을 통한 인과 관계 추출:
   이 연구는 다양한 아키텍처와 데이터 접근 능력을 가진 세 가지 LLM 을 평가합니다:

   • Grok4.3: 역사적 및 실시간 게시물을 위한 소셜 미디어 데이터에 네이티브로 접근할 수 있는 폐쇄형 모델.
   • GPT-5.5: 긴 컨텍스트 기능을 갖추고 있지만 소셜 미디어에 네이티브로 접근할 수 없는 폐쇄형 모델.
   • Mistral-7B: 제한된 컨텍스트 창을 가진 오픈 가중치 소형 모델.

   모델들은 소셜 미디어 게시물 뭉치 내에서 인과적 언급을 식별하고, 이를 영향 체인 프레임워크에서 정의된 고정된 표준 변수 집합에 매핑하며, 방향성 인과 쌍을 출력하도록 프롬프트됩니다. 컨텍스트 창이 제한된 모델 (Mistral-7B) 의 경우, 게시물을 20 개 단위로 처리하는 청킹 전략이 사용됩니다.

3. 평가 프레임워크:
   생성된 그래프의 성능은 표준 인과 발견 지표인 노드 및 에지 정밀도 (Precision), 재현율 (Recall), F1 점수, 구조적 해밍 거리 (SHD), 그리고 정규화된 SHD(nSHD) 를 사용하여 전문가 기반 참조 그래프와 비교하여 측정됩니다. 특히, 이 연구는 외부 검색을 비활성화한 상태에서 "정보 없음" 게시물 (재난 특정 콘텐츠가 결여된 게시물) 을 모델에 입력하는 통제된 제거 실험 (ablation experiment) 을 포함합니다. 이는 모델이 제공된 데이터에 의존하는지 아니면 인과 구조를 생성하기 위해 내부 사전 지식에 의존하는지 테스트합니다.

주요 기여

• 전문가 기반 인과 그래프: 저자는 영향 체인 프레임워크를 사후 전문가 보고서와 정렬하여 재난 특정 실제 인과 그래프를 구축함으로써 평가에 대한 엄격한 벤치마크를 제공합니다.
• 소셜 미디어 인과 추출: 이 연구는 소셜 미디어 분석을 위한 고정된 변수 집합 간의 인과 관계 추출에 LLM 을 평가하여, 이 작업을 개방형 인과 발견과 구별합니다.
• 증거 대 사전 지식: 연구는 증거 기반 추출과 모델 사전 지식 간의 긴장 관계를 명시적으로 검토하여, 게시물 품질과 모델 아키텍처가 추출된 관계의 유효성에 어떻게 영향을 미치는지 밝힙니다.

결과

• 무작위 기준선 대비 성능: 평가된 모든 LLM 은 무작위 기준선 (Erdős–Rényi 모델) 을 크게 능가하여, 모델이 추측이 아닌 소셜 미디어 텍스트에서 재난 특정 인과 관계를 추론할 수 있음을 입증했습니다.
• 모델 비교:
  • Grok4.3은 높은 에지 재현율을 유지하면서 강력한 노드 정밀도를 보이며 가장 높은 F1 점수 (허리케인 아이르마 0.75, 허리케인 하비 0.71) 를 달성했습니다. 이 성과는 고급 추론과 소셜 미디어 네이티브 접근의 결합에 기인합니다.
  • GPT-5.5는 소셜 미디어에 네이티브로 접근할 수 없는 모델들 사이에서 경쟁력 있는 성능을 보였으나, 더 보수적인 추출 접근 방식을 보여 에지 재현율이 낮았습니다.
  • Mistral-7B는 특히 에지 정밀도와 재현율에서 전체적으로 가장 약한 성능을 보였습니다.
• 사전 지식 의존성: 정보 없음 게시물을 사용한 제거 실험에서 모델 성능은 크게 하락했습니다. GPT-5.5 는 이 설정에서 상대적으로 높은 F1 점수를 유지하여, 근거가 없는 그럴듯한 구조를 생성하기 위해 내부 사전 지식에 더 크게 의존함을 시사합니다. 반면, Grok4.3은 더 엄격한 증거 임계값을 보여주어 증거가 불충분할 때 허리케인 하비에 대한 인과 그래프 생성을 거부하고 아이르마에 대해 높은 선택성을 보였습니다.

의의 및 주장
이 논문은 LLM 이 재난 의사결정 지원을 위해 소셜 미디어에서 인과 관계를 추출하는 데 유망함을 보이지만, 그 배포에는 강력한 증거 기반 메커니즘이 필요하다고 주장합니다. 연구 결과는 이중적 현실을 강조합니다: Grok4.3 과 같은 고급 모델은 실시간 데이터를 효과적으로 활용하여 인과 그래프를 구축할 수 있지만, 특정 증거가 부족할 때 사전 훈련된 지식을 기반으로 검증되지 않은 그럴듯한 인과 연결을 생성할 수 있다는 상당한 위험이 존재합니다. 따라서 저자는 추출된 인과 그래프는 독립적인 의사결정 시스템이 아니라 출처 검증과 전문가 검토가 필요한 의사결정 지원 도구로만 엄격하게 사용되어야 한다고 주장합니다. 이 연구는 고위험 재난 지능 파이프라인에 통합하기 전에 전문가 보고서에 대해 LLM 출력의 유효성을 검증할 필요성을 강조합니다.