Comparative Evaluation of GPT-4o-mini and Llama-3.1-8B for Extracting Climate Hazard Impacts from Nigerian News Corpus
这项研究针对尼日利亚新闻语料库中的气候灾害影响提取任务，对 GPT-4o-mini 与 Llama-3.1-8B 进行了基准测试，结果表明，尽管两款模型在分类任务上的表现相似，但 GPT-4o-mini 在准确率方面更具优势且幻觉率显著较低，这凸显了在全球南方背景下进行高风险文档记录时所面临的关键可靠性权衡。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代世界中，大量关于灾害的信息被困在非结构化的新闻文章中。这些故事描述了洪水、风暴和热浪，但它们是以段落文本的形式呈现，而非有组织的表格数据。对于研究人员和应急规划者来说，将这些故事转化为有用的统计数据是一项艰巨的任务。传统上，人类必须阅读每一篇文章，以提取诸如事件日期、具体地点和受影响人数等细节。这种手工工作既缓慢，在面对成千上万篇发布的报道时也无法实现规模化。最近，一种被称为大语言模型的新型计算机程序出现了。这些是经过海量文本训练的复杂工具，能够阅读、理解并总结信息。它们提供了一种自动从新闻中提取事实的方法，有望将混乱的故事转化为清晰、可操作的灾害管理数据。然而，并非所有这些工具都是同等优秀的，它们在涉及独特语言和报道风格的地区，其在高风险环境下的可靠性仍然是一个关键问题。
一个研究小组决定测试两种不同的计算机模型在处理这项困难工作时的表现，使用的是来自尼日利亚的新闻报告。该研究聚焦于一个特定的挑战：从 1,226 篇独特的尼日利亚新闻文章语料库中，提取有关气候危害（如洪水和风暴）的细节。研究人员将一款知名的商业模型 GPT-4o-mini 与一款免费的开源模型 Llama-3.1-8B 进行了对比。目标是观察哪种工具能更准确地识别灾害类型、精准定位到地方政府区域的具体位置，并提取有关人员和经济影响的具体数字。为了确保测试的公平性和严谨性，研究人员建立了一个系统，让两个模型阅读相同的文章并尝试填写一份结构化表格，随后将其与由人类专家人工标注的 100 篇文章的“金标准”进行比对。
结果显示，这两个工具之间存在明显的区别，尤其是在涉及最关键信息时。两个模型在识别一般危害类型（例如区分洪水与风暴）方面都表现得相当出色，其中商业模型的表现略好。它们也几乎每次都能正确识别国家。然而，随着任务变得更加具体，差距也随之扩大。当被要求命名灾害发生的特定州或城市时，商业模型的准确度显著高于开源版本。开源模型在处理这些精细细节时显得更为吃力，经常混淆发音相似的地名，或者遗漏对当地应急响应至关重要的特定行政区域。
然而，最重要的发现在于数字。在灾害报告中，准确了解有多少人流离失所或损失了多少资金，对于规划援助至关重要。研究人员发现，开源模型生成了大量的数值记录，但其中绝大部分数字实际上并没有得到新闻文章文本的支持。事实上，开源模型产生的数字中只有约 36% 可以追溯到原文中的特定句子。其余三分之二的数字似乎是猜测或捏造，这种现象被称为“幻觉”。相比之下，商业模型则谨慎得多。虽然它产生的数字总量较少，但其中约 66% 是有据可查的。这意味着，当商业模型报告一个数字时，这个数字更有可能是直接取自故事的事实，而非编造的数字。
这种可靠性的差异对这些工具在现实世界中的应用具有深远的影响。研究表明，虽然开源模型可以用于获取灾害发生地的概况，但它们目前还不足以单独用于提取具体的受灾影响数据。如果规划者在不经核实的情况下依赖开源模型的数字，他们可能会基于并不存在于原始资料中的数据来做出关键决策。事实证明，商业模型在处理这些高风险细节时更加可靠，尽管它仍会出错。研究人员得出结论：为了获得最佳效果，这些计算机工具应被视为辅助人类快速处理大量文本的助手，但重要数字的最终验证仍必须由人工完成。这种方法既利用了自动化的速度，又确保了在尼日利亚等气候灾害频繁且严重的地区，能够实现保护生命和资源所需的准确性。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。