📄 社会科学

Search in Transition: A Mixed-Methods Study of LLMs and Search Engines in English Test Preparation

这项混合方法研究揭示了准备英语语言测试的大学生会为了效率而策略性地结合使用大语言模型与搜索引擎进行验证，其中采用平衡混合方法的学生尽管任务完成时间较长，却实现了最高的准确率，这最终为一种面向可信人工智能辅助学习的新型交互界面模型提供了支持。

原作者： Tarek Rahman, Md Shaharia Hossen, Mark Protik Mondol, Jannatun Noor Mukta

发布于 2026-10-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tarek Rahman, Md Shaharia Hossen, Mark Protik Mondol, Jannatun Noor Mukta

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

每年，全球有数百万大学生都在为雅思（IELTS）或托福（TOEFL）等高风险英语语言考试做准备。这些考试通常是出国留学或职业发展的最后一道门槛，不仅要求掌握词汇和语法，还要求具备快速综合复杂信息的能力。几十年来，这种准备工作的标准方法一直是传统的搜索引擎。学生输入一个问题，筛选一系列链接，阅读多篇文章，然后拼凑出答案。这是一种建立在权威性和验证基础上的方法，但过程可能缓慢且令人精神疲惫。近年来，一种新工具进入了视野：大语言模型。这些是对话式人工智能系统，可以回答问题、撰写文章并以流畅的单一响应形式解释规则。它们感觉就像随时都有一个导师在身边。但随着这两种技术在学生脑海中发生碰撞，一个关键的问题出现了：它们是在竞争，还是协作得更好？

孟加拉国联合国际大学（United International University）的研究人员通过观察学生在面对真实测试问题时的实际行为，试图回答这个问题。他们不仅仅是询问学生更倾向于哪种工具，而是观察他们是如何工作的。研究团队收集了140名大学生组成的庞大群体，让他们填写关于使用习惯和对这些工具看法的调查问卷。为了进行更深入的观察，他们邀请了其中的20名学生参加更深入的环节。在第二阶段，学生被要求完成七项特定的任务，这些任务模拟了英语水平考试的挑战，例如总结一篇晦涩的文本、纠正语法错误或撰写一段简短的观点文章。研究人员随后密切观察学生选择了哪些工具、任务耗时多久以及最终答案的准确度如何。

结果揭示了学生在这一数字景观中导航的清晰模式。当学生仅依赖对话式人工智能时，他们的工作速度很快，平均用时24分钟完成任务。他们的答案流利且结构良好，准确率达到88%。当学生坚持使用传统搜索引擎时，他们花费的时间较长，平均用时31分钟，且准确率下降到80%。搜索引擎要求他们在许多不同的网页之间跳转以寻找并验证信息，这一过程往往会导致困惑或遗漏细节。然而，最成功的群体并不是只选择其中一种工具的群体。那些采用混合策略的学生——即利用人工智能生成快速草稿或解释，然后切换到搜索引擎来验证事实和确认规则——获得了最高的90%准确率。

这种卓越的表现是有代价的。混合组完成工作所需的时间最长，平均用时35分钟。他们必须停下来、思考，并在对话式界面与搜索结果列表之间切换语境。尽管增加了时间，但这些学生表示对自己的答案更有信心。他们明白人工智能是一个强大的想法生成器，但偶尔会犯错或提供模糊的解释；而搜索引擎是可靠的真相来源，但导航起来可能让人应接不暇。通过将两者结合，他们成功实现了两全其美：既拥有人工智能的速度和清晰度，又得到了搜索引擎的可信度支撑。

该研究表明，在这种背景下，学习的未来不在于在两种技术中择其一，而在于将它们整合在一起。研究人员观察到，学生自然而然地倾向于一种工作流，即由人工智能处理写作和总结的繁重工作，而搜索引擎则作为检查事实的安全网。这种行为凸显了对能够让用户不必在效率与准确性之间做出抉择的工具日益增长的需求。作者提出了一种新的界面构想，即让对话式人工智能直接内置在搜索引擎之中。在这个想象中的系统中，学生可以提出问题，从人工智能那里获得清晰的总结性答案，并能同时看到指向原始来源的具体链接。这将消除在不同标签页或应用程序之间不断切换的需求，从而减少验证信息所需的心理努力。

最终，研究表明，学生已经在扮演自己的设计师角色，探索如何融合这些技术以取得成功。他们并没有将人工智能视为搜索引擎的替代品，也没有为了保留旧方法而忽略人工智能。相反，他们正在构建一种能够利用各自优势的个人工作流。研究结论指出，对于高风险的学习而言，最有效的途径是采取一种混合方法，既尊重人工智能的速度，又保持传统搜索的严谨验证，从而确保学生找到的答案不仅迅速，而且真实。

技术摘要：搜索中的转型

问题陈述
随着大语言模型（LLMs）在学术信息获取中的影响力日益增强，大学生正在采用一种将对话式人工智能与传统搜索引擎相结合的混合工作流。然而，关于如何在高风险英语语言考试准备（如 IELTS、TOEFL）过程中策略性地整合这些工具，目前仍缺乏实证研究。虽然 LLM 在生成解释和内容方面具有效率优势，但也可能产生流畅但事实错误或语境无关的信息。相反，传统的搜索引擎提供了可验证、权威的来源，但需要大量的认知努力来进行导航、综合以及在多个网页之间进行验证。本文旨在解决的核心问题是效率与可靠性之间的权衡，以及学生在解决英语语言测试问题时，为管理认知负荷和认识论信任所采取的具体策略。

研究方法
本研究采用了包含两个不同阶段的混合方法研究设计：

定量调查： 对来自孟加拉国联合国际大学（United International University）不同学科（主要是计算机科学、工程、商业和英语）的 140 名大学生进行了问卷调查。该工具测量了针对 LLM 工具和传统搜索引擎的四个核心维度：使用频率、满意度、感知效率和易用性。数据通过描述性统计、Wilcoxon 符号秩检验（用于配对比较）、Friedman 检验（用于工具内维度的差异）以及卡方检验（用于性别与偏好之间的关联）进行分析。
定性任务型访谈： 对完成了七项代表性英语语言测试任务（总结、语法纠错、词汇选择、改写和写作任务）的 20 名学生进行了深入访谈。参与者被分为四组：仅使用 LLM 组、仅使用搜索引擎组、工具平衡组（顺序使用两者）和灵活选择组。任务表现使用预定义的量表由两名独立评分者进行评估（评分者间信度 $\kappa = 0.82$ ），衡量准确性和完成时间。主题分析应用于访谈转录文本和开放式调查响应。

关键结果

感知差异： 描述性统计表明，LLM 被认为更具满意度和效率，而传统搜索引擎在易用性和使用频率方面评分更高。然而，配对统计比较（Wilcoxon 符号秩检验）显示，在 $\alpha = 0.05$ 的水平下，两种工具在所测量的四个维度上均没有显著统计学差异。
性能权衡： 在访谈阶段，工具平衡组（交替使用 LLM 和搜索引擎的学生）实现了最高的任务准确率（90%），但所需完成时间最长（35 分钟）。LLM 组速度最快（24 分钟），准确率为 88%，而搜索引擎组的准确率为 80%，完成时间为 31 分钟。
定性主题： 出现了四个主要主题：
1. 任务适用性： LLM 更适用于总结、改写和起草；搜索引擎更适用于规则验证和权威来源。
2. 可靠性： 出于对 LLM 幻觉问题的担忧，学生更信任搜索引擎进行事实核查，尽管他们也欣赏 LLM 的流畅性。
3. 认知负荷： LLM 通过提供即时输出减少了认知努力，但混合工作流虽然耗时，却能带来更高的信心和质量。
4. 交互： LLM 被视为对话式导师，而搜索引擎则被视为稳定但需要更多用户主动性的工具。
偏好： 大多数参与者表示，相比于仅依赖其中一种工具，他们更倾向于采用混合策略。

核心贡献

实证证据： 本研究提供了在英语语言测试准备这一特定背景下，LLM 与传统搜索引擎对比的实证数据，并基于不同的信息寻求策略提供了关于熟练度和错误率的数值。
行为分析： 它提供了关于学习者认知、信任以及在对话式 AI 与传统搜索之间转型的定性见解，强调了工具选择的语境依赖性。
混合界面模型： 基于研究结果，作者提出了一个面向人机交互（HCI）的混合界面模型。该概念原型将 LLM 助手直接嵌入到传统搜索环境中。其设计旨在提供对话式辅助（摘要、草稿），同时通过将生成的输出与底层来源明确链接，以支持验证，从而在不损害学术严谨性的前提下，减少工作流碎片化和认知负荷。

意义与主张
本文主张，LLM 和传统搜索引擎不应被视为竞争技术，而是高效学术工作流中互补的组成部分。研究表明，学生自然会采取适应性策略来平衡效率与准确性。其意义在于证明了“平衡混合”方法虽然伴随着时间成本，但能产生最高的准确率，这表明在高风险学习环境中存在着必要的权衡。

作者将其提出的原型谦逊地界定为一个旨在阐明交互原则的概念设计，而非一个完全实现的系统。他们承认了研究的局限性，包括单一机构样本、对自我报告数据的依赖，以及可能无法完全反映长期学习体验的受控任务。因此，本文呼吁未来开展涉及更大规模、跨文化样本的研究，并利用客观行为数据（如点击流、眼动追踪）以及纵向研究，以验证所提出的混合交互模型在真实教育环境中的有效性。

技术摘要：搜索中的转型

类似论文