User eXperience Perception Insights Dataset (UXPID): Synthetic User Feedback from Public Industrial Forums
本文介绍了 UXPID,这是一个包含 7,130 条来自工业论坛的匿名用户反馈分支的合成数据集,由大型语言模型进行标注,旨在支持用户体验分析、需求提取和人工智能驱动的反馈处理研究,同时兼顾隐私与许可限制。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,你是一艘巨轮的船长,但你的航行领域并非海洋,而是工业软件与硬件的复杂世界。你的船员(即用户)通过一块巨大而混乱的公告板,不断向你发送便条、投诉和想法。有些便条潦草地写在餐巾纸上,有些是在嘈杂声中喊出来的,还有许多是用只有书写者自己才能理解的密码写成的。
本文介绍了一种名为UXPID(用户体验感知洞察数据集)的新工具,旨在帮助像你这样的船长理清这种混乱。
以下是他们如何构建该工具、其内部包含的内容以及其重要性的故事,以通俗易懂的方式呈现:
1. 问题:房间里的“噪音”
多年来,公司拥有一座信息金矿:公共论坛上成千上万的用户评论。但这座金矿被尘土掩埋。
- 混乱: 评论是非结构化的、杂乱的且分散的。
- 隐私墙: 你不能直接抓取真实的便条,因为它们包含私人姓名、公司机密和特定产品代码。这就像试图阅读一本被锁在保险箱里的日记。
- 缺失的地图: 现有的用于分析这些便条的工具,就像试图在没有磁铁的情况下在干草堆里找针。它们经常忽略问题的严重程度(是微小的划痕还是船体上的破洞?)或具体的主题(这是关于引擎还是导航系统?)。
2. 解决方案:“合成镜像”
研究人员创建了UXPID,它就像那块混乱公告板的完美抛光且匿名化的镜像。
- 构建方式: 他们从工业自动化论坛中提取了 7,130 个真实的对话线程。
- 魔法技巧(人工智能): 他们使用超级智能的人工智能(大型语言模型)充当“翻译”和“隐私守护者”。
- 步骤 1: 人工智能阅读真实且杂乱的评论,提取含义:“用户很生气”、“产品坏了”、“他们需要新功能”。
- 步骤 2: 人工智能随后重写这些评论。它保持含义完全不变,但替换了所有秘密。例如,将“西门子的约翰·史密斯”改写为"[公司名称] 的 [用户名]";将"X 产品 2.1 版”改写为"[产品名称] [版本号]"。
- 结果: 你获得了一个感觉与现实生活完全相同但可安全分享给任何人的数据集。这就像提供一顿美味的饭菜,食材是真实的,但厨师已经去除了过敏原。
3. 盒子里有什么?
该数据集不仅仅是一堆文本;它是一个结构化图书馆。每一个对话线程都附带一个“带标签的摘要”,其中包括:
- “痛点”: 用户因何感到沮丧?
- “增益点”: 他们喜欢什么?
- “严重程度”: 这是轻微的烦恼还是紧急危机?
- “情感”: 他们是开心、难过还是中立?
- “主题”: 这属于哪个类别?
这就像将一场混乱的争吵转变为一个整理得井井有条的文件柜,其中每一份投诉都标有颜色编码的标签。
4. 它有效吗?(试驾)
研究人员不仅构建了盒子,还测试了它是否真的能帮助计算机学习。他们利用这个新数据集教导了两类不同的“学生”(计算机模型):
- 老学生: 一种寻找关键词的传统方法(例如统计“坏了”出现了多少次)。
- 新学生: 一种理解上下文和细微差别的现代人工智能(DistilBERT)。
结果:
- 新学生学得更快、更好。它能以高准确度正确猜测对话的主题和用户的情绪。
- 老学生则举步维艰,经常猜错或因生僻词而感到困惑。
- 关键发现: 新人工智能在理解词语背后的含义方面表现出色,即使词语略有不同,它也能预测用户想要什么。
5. “保真度”检查:我们是否失去了灵魂?
一个主要的担忧是:“当我们更改姓名和数字时,我们是否改变了文本的感觉?”
- 他们比较了原始杂乱的便条与干净、合成的便条。
- 裁决: 对话的结构保持完全一致。提问的数量和回复的长度完全相同。
- 一个微小的变化: 合成文本变得稍微更“正式”了一些。人工智能为了隐私保护,去除了部分喊叫(感叹号)和全大写的咆哮。这意味着,如果你用此训练计算机,它可能对现实生活中的“喊叫”敏感度稍低,但核心信息依然完整。
总结
简而言之,本文提出了一份供计算机使用的安全、高质量的训练手册。它允许研究人员和公司教导人工智能如何倾听客户反馈,理解他们有多愤怒或开心,并弄清楚他们的需求——而无需看到任何真实个人的私人姓名或公司的机密数据。它将嘈杂的人群声音转化为清晰、可操作的信号。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。