QSTN: A Modular Framework for Robust Questionnaire Inference with Large Language Models
本文介绍了 QSTN，这是一个开源的模块化 Python 框架，旨在通过支持无代码实验、系统评估提示工程及优化计算成本，来增强基于大语言模型的问卷生成与仿真研究的鲁棒性、可复现性和可靠性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文介绍了一个名为 QSTN（读作"Question"）的新工具，它就像是一个**“大语言模型（LLM）的问卷实验室”**。
想象一下，研究人员想问 AI 一些问题（比如“你支持哪个政党？”或“你有多喜欢猫？”），就像做民意调查一样。但以前，研究人员在问这些问题时，就像是在黑暗中摸索：他们不知道 AI 是因为真的“想”这么回答，还是仅仅因为问题问法稍微变了一点（比如选项顺序变了），就胡乱回答。
QSTN 就是为了解决这个“盲目”的问题而生的。下面我用几个生活中的比喻来解释它的核心功能：
1. 它是什么？一个“乐高式”的问卷工厂
以前，如果你想测试 AI 对问卷的反应，你得自己写代码，像盖房子一样从零开始砌砖。如果不小心把砖砌歪了（代码写错了），整个实验就废了。
QSTN 就像是一个乐高积木套装。
- 模块化设计：它把问卷实验分成了几个独立的积木块：怎么提问（问卷呈现）、怎么捣乱（提示词扰动）、怎么让 AI 回答（回答生成）。
- 随意替换：你可以像换乐高积木一样，把“按顺序提问”的积木换成“一次性问所有问题”的积木，或者把“选项 A 在前”换成“选项 B 在前”。
- 无需编程：甚至有一个像“控制面板”一样的图形界面（GUI），不懂代码的人也能像搭积木一样设置实验。
2. 它解决了什么大问题？
研究发现，AI 非常“玻璃心”，稍微改变一下提问方式，它的回答就会大变样。QSTN 通过三种主要手段来测试 AI 的“定力”：
A. 问卷呈现方式：是“聊天”还是“考试”？
这就好比老师问学生问题：
- 单题模式 (Single-item)：像一对一面试。问一个问题，AI 回答一个，然后忘掉刚才的对话，再问下一个。
- 连续模式 (Sequential)：像聊天。一个问题接一个问题，AI 记得刚才聊过什么。
- 电池模式 (Battery)：像发试卷。把 10 个问题一次性全写在纸上，让 AI 一次性答完。
QSTN 的发现：
就像人一样，AI 在“发试卷”（电池模式）时，往往能更好地保持整体逻辑，回答得更像真人，而且省时间、省电费（计算成本更低）。以前大家喜欢一个个问，现在发现一次性问可能更好。
B. 提示词扰动：给 AI 设“陷阱”
为了测试 AI 是否真的在思考，还是只是在“猜题”，QSTN 会故意给 AI 设一些“陷阱”：
- 打乱顺序：把选项 A、B、C 变成 C、B、A。如果 AI 还是选 A，说明它有偏见。
- 制造错别字：故意把问题里的词打错（比如把“重要”打成“重腰”）。如果 AI 还能懂，说明它很聪明；如果它懵了，说明它太死板。
- 同义词替换：把“喜欢”改成“喜爱”。
- 移除“不知道”选项：强迫 AI 必须选一个，看它会不会乱选。
QSTN 的发现：
很多 AI 非常容易被这些“小把戏”骗到。比如，如果选项顺序变了，AI 选最后一个选项的概率会暴增（这叫“近因效应”）。QSTN 能自动帮你发现这些漏洞，确保你的实验结果是靠谱的，而不是因为 AI 被“套路”了。
C. 回答生成方法：怎么让 AI“交卷”？
AI 本来是想写小作文的，但问卷通常只需要选 A、B 或 C。怎么让它乖乖选？
- 直接生成：让 AI 直接输出 "A"。
- 概率分布：让 AI 说：“我觉得选 A 有 40% 可能，选 B 有 10%，选 C 有 50%"。
- 限制生成：强制 AI 只能从给定的选项里挑。
QSTN 的发现：
有些方法（比如让 AI 输出概率分布）能让 AI 的回答更像真人的统计分布，比单纯让它选一个字母更准确。
3. 为什么要用这个工具？（核心成果）
研究人员用 QSTN 做了4000 多万次模拟调查，发现了两个惊人的事实：
- 更准：通过控制这些变量（比如用“电池模式”提问，或者用特定的回答方法），AI 生成的回答和真人的回答相似度大大提高了。
- 更省：以前为了得到同样的结果，可能需要跑很多遍，现在通过优化方法，计算成本（电费和时间）可以大幅降低。
总结
QSTN 就像是给 AI 做心理测试的“标准化实验室”。
以前，我们问 AI 问题，就像在嘈杂的菜市场里喊话，声音稍微大一点或小一点，对方听到的就完全不同。
现在，有了 QSTN，我们就像在隔音的录音棚里做实验。我们可以精确控制每一个变量（灯光、麦克风位置、说话顺序），确保 AI 的回答是真实的“想法”，而不是因为环境干扰产生的“幻觉”。
这对于未来用 AI 做社会调查、数据标注或者模拟人类行为的研究来说，是一个巨大的进步，让结果更可信、可重复、更省钱。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。