AIn't Nothing But a Survey? Using Large Language Models for Coding German Open-Ended Survey Responses on Survey Motivation
本研究评估了各种大语言模型及提示策略在对关于参与动机的德语开放式调查响应进行编码方面的有效性，发现虽然不同模型的表现存在显著差异，但只有经过微调的大语言模型才能达到与人类专家相当的令人满意的准确度，从而凸显了研究人员采用自动化编码方法时面临的关键权衡。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个巨大的箱子，里面装着 5,000 条手写的笔记，人们在上面解释他们为什么要参加调查。有些写着“我喜欢钱”，有些说“我很好奇”，还有些只是随手涂鸦了“？？？”或“我不知道”。你的任务是将这些笔记分到 22 个不同的文件夹中。如果靠手工完成，就像是在试图一粒一粒地分类沙子：既耗时，又费钱，而且你可能会因为疲劳而犯错。
这篇论文提出了一个简单的问题：一个超级聪明的电脑机器人（称为大语言模型，简称 LLM）能帮我们完成这项分类工作吗？
研究人员测试了三个不同的“机器人”（GPT-4o、Llama 和 Mistral），观察它们在处理德语调查笔记时的表现，看看它们能否胜任分类员的工作。以下是他们的发现，使用了日常生活的类比：
1. 机器人并不都一样好用
把这三个机器人想象成不同类型的汽车：
- GPT-4o 就像是一辆豪华跑车。租用它很贵（你需要按字数付费），但它驾驶平顺，能很好地处理复杂的转弯，并能可靠地将你送到目的地。
- Llama 和 Mistral 就像是经济型紧凑型轿车。如果你拥有自己的车库（你在自己的电脑上运行它们），那么驾驶它们是免费的，但它们在面对崎岖地形时会显得有些吃力。它们需要驾驶员提供更多的帮助才能把工作做好。
结果： 豪华车（GPT）在分类笔记方面的表现远优于那些经济型轿车，即使给这些经济型轿车提供了额外的指令，也是如此。
2. “说明书”至关重要（提示词工程）
研究人员尝试了给机器人提供不同的指令方式，这就像是给新员工一份职位描述：
- 零样本学习 (Zero-Shot，即“直接去做”的方法)： 你告诉机器人：“这里有这些文件夹，请对这些笔记进行分类。”不提供任何例子。
- 结果： 经济型轿车变得非常困惑。豪华车表现尚可，但并不完美。
- 少样本学习 (Few-Shot，即“给我个例子”的方法)： 你说：“这里有这些文件夹，以及属于每个文件夹的三个笔记示例。”
- 结果： 这显著帮助了经济型轿车。它们的分类能力有了很大提升。豪华车也得到了改进，但它本来就已经表现得相当不错了。
- 微调 (Fine-Tuning，即“实习期”的方法)： 你拿出一堆由人类已经正确分类过的笔记，让机器人在要求它分类剩余笔记之前先学习一段时间。
- 结果： 这是制胜法宝。当豪华车（GPT）完成了这段“实习”后，它变得几乎像人类专家一样出色。它能完美地分类笔记，甚至是那些棘手的笔记。
3. “垃圾桶”问题
最大的挑战之一是处理那些并没有表达实际意义的笔记，比如“？？？”、“我不知道”或空白处。
- 人类的问题： 人类擅长意识到：“嘿，这根本就是废话，”并将它们放入“无理由”文件夹。
- 机器人的问题： 在没有经过“实习”（微调）的情况下，机器人经常会被这些空白笔记搞糊涂。它们要么忽略这些笔记，要么试图强行将它们归入某个不属于它们的类别。
- 解决方法： 只有经过“实习”（微调）的机器人学会了如何正确识别并分类这些“废话”笔记。其他的机器人要么没能正确分类，要么留下了大量的错误分类。
4. 底线：机器人准备好取代人类了吗？
论文的结论是，机器人目前还不能成为针对这项特定工作的“设置好就不用管”的解决方案。
- 如果你只是要求机器人去做（开箱即用）： 这就像雇佣了一个还没接受过你特定规则培训的聪明实习生。他们会犯错，尤其是在处理棘手或模糊的笔记时。事实上，在特定的德语语境下，一种更简单、更旧的电脑方法（如支持向量机）表现得比未经训练的机器人还要好。
- 如果你先对机器人进行训练（微调）： 那么它就会变成一个效率极高、能达到人类水平的工作者。但是，为了训练它，你仍然需要先由人类进行繁重的分类工作，以此来教导机器人。
核心要点：
使用这些 AI 机器人就像使用一台高科技搅拌机。如果你直接把整颗蔬菜扔进去而不进行预处理（微调），你会得到一杯乱七八糟的奶昔。如果你先将蔬菜切好（人工编码），然后再让搅拌机完成剩下的工作，你就能得到一杯完美的饮品。
所以，目前来看，人类仍然需要参与其中。 你不能仅仅按下开关就让 AI 完美地分类你的调查数据，特别是在处理德语这类语言或复杂问题时。你必须先教导 AI，这意味着你仍然需要亲自动手做一些工作。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。