在繁忙的数字新闻世界中，标题是最关键的地产。它是读者看到的第一个东西，是决定一个故事是被阅读还是被略过的钩子。几十年来，计算机一直难以独立撰写这些标题，生成的题目往往要么过于模糊，要么完全偏离重点。最近，被称为大语言模型的这一新一代强大计算机程序，在文本生成方面展现出了巨大的潜力。这些系统可以阅读海量信息并生成类人句式。然而，一个重大的挑战仍然存在：这些模型的单次处理记忆有限。当输入一篇长篇新闻文章时，它们可能会变得不知所措，从而丢失最重要的细节，或被无关紧要的信息分散注意力。这为研究人员制造了一个困境：为了写出一个好的标题，计算机是需要阅读整个故事，还是有更聪明的方法来向它提供信息？
一支研究团队致力于专门针对孟加拉语（一种数字资源比英语少的语言）解决这个谜题。他们想知道，如果给这些先进的计算机程序阅读更少的文本，但前提是这些文本必须是最重要的部分，它们是否能写出更好的标题。他们使用三种不同的语言模型测试了这个想法，并以各种方式向其输入新闻文章。研究人员并没有将整篇文章倾倒进计算机的内存，而是尝试只给它文章的前几段。他们还实验了如何向计算机下达撰写标题的指令，有时用孟加拉语对它说话，有时则使用英语指令，以观察哪种语言能更好地引导计算机。他们甚至测试了在要求计算机撰写标题之前，向其展示一些优秀的标题示例是否会有助于它学习这项任务。
研究人员发现，对于这项特定的任务，普遍的假设——即信息越多越好——是不正确的。当他们向计算机输入完整的文章时，生成的标题质量并没有提高；事实上，对于某些模型来说，质量甚至略有下降。计算机似乎在较长的文本细节中迷失了方向。然而，当研究人员将输入限制在文章的第一段时，结果往往更好。这一发现与人类记者撰写新闻的传统方式相一致，即将最关键的事实放在故事的最开头。通过仅关注这些开篇段落，计算机可以忽略噪音并专注于核心信息，从而生成与从全文生成的标题同样准确、但处理数据量显著减少的标题。
研究还表明，向计算机下达任务的方式与它阅读的文本量同样重要。研究人员发现，即使新闻文章本身是孟加拉语，使用英语进行指令引导通常比使用孟加拉语效果更好。这表明，这些在海量全球数据上进行训练的计算机模型，在通过英语理解“新闻标题”这一任务的结构时，可能会理解得更清晰。此外，研究人员测试了向计算机展示以往文章及其标题的例子是否能帮助它学习。他们发现，对于其中一个模型，仅仅看到一个例子就足以显著提升其表现，而展示更多例子并不会带来进一步的益处。然而，另一个模型似乎完全不需要任何示例就能表现良好。
最终，这项工作表明，对于生成新闻标题，尤其是对于像孟加拉语这样的语言，成功的关键在于选择正确的信息，而不是向计算机提供所有可用信息。最有效的方法是给模型一段简洁且相关的故事片段——具体来说就是导语段落——并提供清晰的指令，通常使用模型处理得最好的语言。这种方法使这些强大的工具能够高效工作，而无需针对特定任务进行重新训练。这些发现为在新闻编辑室及其他信息密集型领域使用人工智能提供了一条切实可行的路径，证明了有时，少即是多，足以把工作做得出色。
技术摘要：少即是多：孟加拉语新闻标题生成的上下文选择与提示策略
问题陈述
自动新闻标题生成是一项关键的抽象式摘要任务。虽然大型语言模型（LLMs）在零样本（zero-shot）和少样本（few-shot）设置下的表现优于传统的微调模型，但其有效性对输入上下文的管理非常敏感。LLMs 面临输入上下文窗口的限制，处理长文档可能会导致信息丢失、语义稀释或容量溢出。此外，先前的研究表明存在“位置偏差”（position bias），即模型会不成比例地优先考虑输入中特定部分的信息。在孟加拉语这类低资源语言中，用于标题生成的最佳上下文选择策略和提示设计仍有待深入探索。具体而言，目前尚不清楚提供全文是否能提高性能，或者结合特定的提示范式和上下文学习（ICL）进行选择性上下文调节是否会产生更好的结果。
研究方法
本研究使用三种 LLMs 对孟加拉语新闻标题生成进行了调查：Gemini-2.0-Flash、Llama-3.3-70B 和 GPT-4o。研究采用了两个基准数据集：BeliN（2,520 篇宗教新闻文章）和 Shironaam（各类新闻文章）。
- 语义相关性分析： 在实验之前，作者使用 banBERT 句子嵌入分析了金标准标题与单个新闻段落之间的语义相似度。该分析旨在识别文章中显著信息集中的位置。
- 选择性上下文调节： 模型并非接收全文，而是根据不同数量的初始段落（k=1 到 $5$）进行调节。这一策略的动机源于新闻业的“倒金字塔”结构以及语义分析的结果。
- 提示策略： 研究评估了两种提示范式：
- 孟加拉语原生提示 (BNaP)： 指令完全使用孟加拉语。
- 跨语言提示 (XLP)： 使用英语指令配合孟加拉语文章内容。
- 上下文增强： 提示词在两种变体下进行了测试：基准型（仅包含文章内容）和 MultiGen（文章内容辅以情感、类别和方面等元数据）。
- 上下文学习 (ICL)： 作者比较了零样本、单样本、两样本和三样本配置，以确定演示示例对生成质量的影响。
- 评估： 使用 BERTScore、ROUGE-L 和 METEOR 衡量性能。使用带有 95% BCa 自举置信区间的配对均值差和 Wilcoxon 符号秩检验进行统计显著性评估。
核心结果
- 上下文选择： 提供全文并不一定会提高性能。
- Gemini-2.0-Flash 在仅使用文章第一段时表现最佳，其性能优于全文调节，且在 BERTScore 上具有统计学意义上的显著提升（+0.0078）。
- Llama-3.3-70B 在前三个段落时表现最好，其得分与全文调节相当。
- 选择性调节减少了约 52.6% 的输入 Token 长度（对于较长文章最高可达 65.1%），同时保持或提高了质量。
- 上下文学习 (ICL)：
- Gemini 从零样本转向单样本提示中获得了实质性收益，此后性能趋于平缓。
- Llama 从单样本之外的额外演示中获益有限，在两样本和三样本设置中性能略有下降。
- 提示策略：
- 跨语言提示 (XLP) 通常为 Gemini 和 Llama 带来了更强的性能，特别是与上下文增强（MultiGen）结合时。对于 Gemini，XLP+MultiGen 取得了最高的整体得分。
- 孟加拉语原生提示 (BNaP) 在较简单的基准型配置下表现更好；添加上下文线索（MultiGen）并不会显著使 BNaP 获益，有时反而会降低性能。
- GPT-4o 表现出相反的趋势，在 BNaP 下的表现略优于 XLP。
- 与微调模型的比较：
- 在 BeliN 数据集上，基于 Gemini 的提示方法（XLP+MultiGen, 3-shot）在所有指标上都超过了表现最好的微调 Transformer 模型（BanglaT5, mT5, mBART），且无需针对特定任务进行微调。
- 在 Shironaam 数据集上，经过微调的 BERT2BERT 模型在 BERTScore、ROUGE-L 和 METEOR 上优于基于提示的 Gemini 方法，尽管 Gemini 获得了更高的 BLEU 分数。
主要贡献与意义
本文声称，有效的孟加拉语新闻标题生成更多取决于上下文相关性和提示设计，而非增加输入长度。主要贡献如下：
- “少即是多”的经验证据： 研究表明，通过选择性地将 LLMs 调节在领先段落上，可以达到甚至超过全文调节的效果，这强调了以相关性为核心的选择能减少噪声并降低输入成本。
- 模型依赖的敏感性： 研究刻画了不同的 LLMs 如何响应上下文长度和上下文学习。研究显示，Gemini 受益于简洁、显著的输入和少样本示例，而 Llama 对上下文长度更具鲁棒性，但对演示示例的数量不太敏感。
- 提示范式的交互作用： 研究发现，跨语言提示 (XLP) 结合上下文增强对于 Gemini 和 Llama 非常有效，而孟加拉语原生提示 (BNaP) 在结构极简时表现最佳。
- 对低资源环境的实践启示： 研究结果表明，精心设计的提示策略和选择性上下文调节可以使通用 LLMs 在无需进行特定任务微调的情况下，在低资源语言上实现具有竞争力的、甚至在某些情况下更优越的性能。
作者总结道，虽然监督式微调在特定基准测试中依然强大，但所提出的方法提供了一种灵活的、无需训练的替代方案，能够通过优化的上下文和提示工程来利用现代 LLMs 的固有能力。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。