LLM-based uncertainty assessment of social media situational signals for crisis reporting
本文提出了一种不确定性感知框架，该框架利用大型语言模型和外部代理数据来评估社交媒体声明的可信度，从而生成危机报告，这些报告明确传达置信度水平，以辅助灾害期间的人类决策。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一名危机管理者，正坐在指挥中心的控制台前，面对一场大规模地震。你的屏幕上充斥着来自现场人员的成千上万条短信。有人喊道：“我的房子塌了！”而另一些人则高呼：“天要塌了！”或“我看到海啸来了！”
目前，大多数试图汇总这些信息的计算机系统，都将每一条信息视为已验证的事实。它们只是简单地统计票数：“好的，50 个人说桥断了，所以报告就写桥断了。”但在真实的灾难中，有些信息是真实的，有些是夸大其词，还有些纯属谣言。将所有信息一视同仁，就像聆听一个合唱团，即使有人跑调或即兴编词，所有人也被要求以相同的音量演唱。
本文提出了一种新的聆听方式。系统不再仅仅统计信息数量，而是会问：“这个故事为真的可能性有多大？计算机对这个猜测又有多大的把握？”
以下是该系统的工作原理，通过一个生动的类比分解为三个简单步骤：
1. 分类帽（分类）
首先，计算机阅读信息并将其分入不同的类别。它不只是阅读文本，还会给它们打上标签。
- “我的房子没了”被归入损毁类别。
- “我需要水”被归入需求类别。
- “道路受阻”被归入基础设施类别。
这是常规操作。但旧系统止步于此，假设“损毁”类别中的每条信息都具有同等的真实性。
2. 现实核查（不确定性评估）
这是本文的重大创新。计算机现在会从“损毁”类别中选取一条信息，并将其与天气报告（作者称之为“代理数据”）进行比对。
在本研究中，他们使用了美国地质调查局（USGS，一个真实的地震监测系统）的数据，这些数据能告诉他们特定区域的地面震动强度。
场景一： 一条推文说：“整个城市都淹在水里了！”
现实核查： 计算机查看 USGS 数据，发现该城市的震动非常轻微。
结论： 计算机判定：“这个故事不可信（很可能未发生），且我对这一判断非常有把握。”
场景二： 一条推文说：“我听到一声巨响，我的咖啡杯掉了下来。”
现实核查： USGS 数据显示该确切地点发生了强烈震动。
结论： 计算机判定：“这个故事高度可信，且我非常有把握。”
棘手场景： 一条推文说：“一栋建筑倒塌了”，但 USGS 数据模糊不清，或者该区域难以测绘。
结论： 计算机判定：“这个故事可能是真的，但我的判断把握不大。”
系统为每条信息提供两个评分：
- 可信度： 这件事为真的可能性有多大？（1 到 5 星）。
- 置信度： 计算机对该评分的把握有多大？（0% 到 100%）。
3. 过滤后的报告（危机报告）
最后，系统不再生成一个将谣言与事实混杂在一起的巨大且混乱的摘要，而是根据这些评分生成不同的报告。
- 报告 A（“行动”清单）： 仅包含高度可信且计算机非常有把握的故事。这是危机团队用来立即派遣救援的依据。
- 报告 B（“关注”清单）： 包含看似可信但计算机不确定的故事。团队知道在采取行动前需对这些信息进行二次核实。
- 报告 C（“忽略”清单）： 包含看似虚假或纯属谣言的故事。团队可以安全地忽略这些以节省时间。
为何这很重要
该论文在来自六次不同地震的超过 20 万条推文中测试了这一方法。他们发现：
- 并非所有信息都同等重要： 该系统成功地将“可能为真”的信息与“可能为假”的信息区分开来。
- 报告内容会发生变化： 当他们仅使用“高置信度”信息生成报告时，得出的故事与他们使用所有混杂信息时生成的故事截然不同。
核心结论：
该框架并非试图取代人类专家，也不是充当全知全能的“真理机器”。相反，它像一个智能过滤器。它帮助人类危机管理者优先安排时间，指出：“这些是我们确信的事实，这些是我们需要核查的事项，而这些大概可以忽略。”它将混乱的噪音洪流转化为结构清晰、易于管理的信号列表，帮助人们在分秒必争的时刻做出更明智的决策。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。