Causal Evidence Extraction and Triangulation in Crisis Reports using Large Language Models: A ReliefWeb-based Study

당신이 거대한 미스터리를 풀려는 탐정이라고 상상해 보십시오. 하지만 단 하나의 범죄 현장이 아니라, 수백만 권의 엉망진창인 손글씨 일기들이 가득한 도서관을 마주하고 있습니다. 이 일기들은 홍수, 지진, 가뭄과 같은 재난에 관한 이야기를 담고 있으며, 서로 다른 집단이 어떻게 도움을 주려 노력했는지 설명합니다. 문제는 이 이야기들이 너무 길고, 혼란스러우며, 서로 모순되기도 한다는 점입니다. 어떤 일기는 "현금을 지급하는 것이 사람들이 식량을 사는 데 도움이 되었다"라고 말하는 반면, 다른 일기는 "현금이 물가를 상승시켜 상황을 더 악화시켰다"라고 말할 수도 있습니다.

이 혼돈을 이해하기 위해 과학자들은 거대 언어 모델(LLM)이라는 도구를 사용합니다. LLM을 수천 권의 일기를 몇 초 만에 읽어내는 매우 똑똑하고 지치지 않는 로봇 독자라고 생각하십시오. 하지만 인간과 마찬가지로, 이 로봇도 압도당할 수 있습니다. 만약 당신이 "현금에 대해 무엇이 일어났나?"라고 묻는다면, 로봇은 '현금'이라는 단어가 언급된 모든 문장을 긁어모을 수도 있습니다. 설령 그 일기가 전혀 다른 주제를 이야기하고 있더라도 말입니다. 이것을 "과잉 추출(over-extraction)"이라고 하며, 이는 많은 소음(noise)을 만들어냅니다. 이를 해결하기 위해 연구자들은 로봇에게 오직 중요한 단서에만 집중하도록 지시하고, 로봇이 이야기를 지어내지 않도록 원문과 대조하여 작업을 재확인하게 하는 방법이 필요합니다. 이 논문은 그 엉망진창인 일기들을 위기 상황에서 실제로 무엇이 효과적인지에 대한 명확하고 신뢰할 수 있는 답변으로 바꾸기 위한 더 나은 탐정 시스템을 구축하는 것에 관한 것입니다.

---

탐정의 새로운 도구 상자

이 연구에서 연구자들인 위안준 장(Yuanjun Zhang)과 무라드 우살라(Mourad Oussalah)는 인도주의 보고서의 "소음"을 제거하는 작업을 수행했습니다. 그들은 2000년부터 2024년까지의 글로벌 위기 업데이트 데이터베이스인 ReliefWeb의 방대한 보고서 모음을 사용했습니다. 그들의 목표는 특정 유형의 지원, 즉 **현금 지원(cash assistance)**이 실제로 식량 확보와 같은 더 나은 결과로 이어지는지 파악하는 것이었습니다.

이를 위해 그들은 AI를 이용한 2단계 "파이프라인"을 구축했습니다. 이것을 두 명의 매우 구체적인 작업자가 있는 공장 조립 라인이라고 상상해 보십시오.

1. 필터 (1단계): 첫 번째 작업자는 매우 엄격합니다. 전체 일기를 읽고 무엇이 중요한지 추측하는 대신, 그들은 "현금 지원"과 같은 특정 쿼리(질의)를 부여받습니다. 그들은 현금 지원이 주인공인 문장만을 찾습니다. 만약 일기에 현금이 언급되었더라도 그것이 그저 지나가는 말에 불과하다면, 작업자는 이를 무시합니다. 이것을 **쿼리 조건부 추출(query-conditioned extraction)**이라고 합니다. 이는 AI가 관련 없는 정보를 가져오는 것을 막아주며, 이는 이전 방식들의 큰 문제였습니다.
2. 팩트 체크 (2단계): 첫 번째 작업자가 잠재적인 단서(예: "현금이 가족들이 식량을 사는 데 도움을 주었다")를 찾아내면, 두 번째 작업자가 투입됩니다. 이 작업자는 단서가 좋은지 나쁜지 단순히 추측하는 것이 아니라, 그 단서가 발견된 정확한 문장(스니펫, snippet)을 직접 확인합니다. 그들은 결정합니다: 결과가 상승했는가(긍정), 하락했는가(부정), 아니면 그대로인가? 그리고 증거가 얼마나 강력한가? 그것은 약한 소문인가, 아니면 강력하고 명확한 진술인가? 이것을 **스니펫 기반 분류(snippet-grounded classification)**라고 합니다.

결과: 정적 속에서 신호 찾기

연구팀은 이들의 새로운 시스템을 Qwen-Plus, GPT-4o-mini, DeepSeek-V3와 같은 강력한 AI 모델들과 오픈 소스 모델인 Llama-3.1-8B를 대상으로 테스트했습니다.

그들은 이 2단계 방식이 게임 체인저라는 것을 발견했습니다.

• "과잉 추출" 해결: 엄격한 필터가 없다면, AI는 너무 많은 관련 없는 연결 고리들을 뽑아낼 것입니다. 필터를 사용하자 추출된 사실의 수가 인간 전문가가 예상하는 수준처럼 현실적인 수준으로 줄어들었습니다.
• 정확도: 이 2단계 방식을 사용한 최고의 폐쇄형 AI(Qwen-Plus)는 **가중치 F1 점수(weighted F1 score) 90.73%**를 달랐습니다. AI의 세계에서 이는 매우 높은 점수로, 거의 매번 정확했다는 것을 의미합니다.
• 오픈 소스의 놀라움: 그들은 또한 거대하고 비싼 AI가 내놓은 정답을 보여줌으로써 더 작은 무료 AI 모델(Llama-3.1-8B)을 가르치는 실험을 했습니다. 이것을 "지식 증류(distillation)"라고 합니다. 결과는 어떠했을까요? 더 작은 모델이 오히려 더 발전하여 **가중치 F1 점수 94.15%**에 도달했습니다. 이는 최고의 결과를 얻기 위해 항상 가장 비싼 로봇이 필요한 것은 아니며, 올바른 훈련이 중요하다는 것을 시사합니다.

대단원: 삼각 측량 (Triangulation)

수천 개의 깨끗하고 검증된 사실들을 확보한 후, 그들은 이들을 결합하여 큰 그림을 그려야 했습니다. 단순히 "좋은" 보고서와 "나쁜" 보고서의 총합을 셀 수는 없었는데, 왜냐하면 어떤 종류의 재난(예: 홍수)은 다른 재난(예: 지진)보다 훨씬 더 자주 보고되기 때문입니다. 단순히 모두 더하기만 한다면, 홍수가 다른 이야기들을 모두 덮어버릴 것입니다.

그래서 그들은 **맥락 보존 삼각 측량(context-preserving triangulation)**이라는 방법을 고안했습니다.

• 그리드(Grid): 그들은 사실들을 재난 유형(예: 홍수, 가뭄)과 출처 유형(예: 정부, NGO, 언론)에 따라 그리드로 정리했습니다.
• 점수: 그들은 증거 수준(Level-of-Evidence, LoE) 점수를 계산했습니다. 이 점수는 서로 다른 이야기들이 얼마나 일치하는지를 알려줍니다. 점수가 1.0이면 모두가 완벽하게 동의한다는 뜻이고, 0.0이면 완전한 혼돈을 의미합니다.

이 방법을 현금 지원에 대한 식량 관련 결과에 적용했을 때, 결과는 놀라웠습니다. LoE 점수는 0.865였습니다. 이는 **강한 긍정적 수렴(strong positive convergence)**을 나타냅니다. 쉬운 말로 하자면: 다양한 재난 유형과 다양한 보고 출처 전반에 걸쳐, 현금 지원이 사람들의 식량 확보를 돕는다는 증거가 일관되게 나타나고 있다는 것입니다.

그들은 또한 이것이 시간에 따라 어떻게 변하는지도 살펴보았습니다. 2000년부터 2005년까지 데이터는 드물고 불안정했습니다. 하지만 2006년부터 2017년 사이에는 긍정적인 신호가 점점 더 강해졌으며, 2017년에 LoE 0.929로 정점을 찍었습니다. 2018년부터 2024년까지도 신호는 여전히 매우 긍정적이었지만, 실제 상황은 복잡하고 때로는 현금을 주의 깊게 다뤄야 하는 위험이 따르기 때문에 약간 완화되었습니다.

이것이 의미하는 것 (그리고 의미하지 않는 것)

저자들은 이 연구가 모든 위기를 해결하는 마법 지팡이가 아님을 신중하게 밝히고 있습니다. 이 연구는 영어 보고서와 특정 유형의 재난에 국한되어 있다고 언급합니다. 또한 그들이 측정한 "증거의 강도"는 보고서에 쓰여진 내용에 기반한 것이지, 반드시 현장에서의 실제 영향 규모를 의미하는 것은 아니라고 경고합니다.

하지만 이 연구는 스마트한 2단계 AI 프로세스를 사용하고 데이터를 신중하게 정리함으로써, 혼란스럽고 엉망인 보고서 더미를 무엇이 효과적인지에 대한 명확하고 감사 가능한 지도로 바꿀 수 있다는 것을 입증합니다. 이는 적절한 도구가 있다면, 우리는 추측을 멈추고 어떤 개입이 진정으로 사람들의 생존과 번영을 돕는지 알 수 있다는 것을 시사합니다.