ADAB: Arabic Dataset for Automated Politeness Benchmarking -- A Large-Scale Resource for Computational Sociopragmatics
本文介绍了 ADAB，这是一个包含 10,000 个样本、覆盖现代标准阿拉伯语及多种方言、基于阿拉伯语言传统标注的 politeness 数据集，旨在通过基准测试推动阿拉伯语计算语用学的发展。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文介绍了一个名为 ADAB 的新项目，你可以把它想象成是为阿拉伯语世界打造的一把"礼貌尺子"。
在数字世界里，电脑（人工智能）通常很擅长识别“这是苹果”或“那是猫”，但它们往往搞不懂人类语言中微妙的“礼貌”和“粗鲁”。这就好比一个不懂人情世故的外国游客，他可能知道“谢谢”是好的，但不知道在阿拉伯文化中，一句看似普通的问候如果语气不对，可能就是在骂人。
为了解决这个问题，作者们做了一件大事：
1. 收集了 1 万条“阿拉伯语社交样本” (ADAB 数据集)
想象一下，作者们像是一个语言侦探团队，他们从四个不同的“社交场所”收集了 1 万条真实的阿拉伯语留言：
- YouTube 评论区：就像热闹的街头广场，大家随意聊天。
- Shein 购物评价：就像顾客在柜台前评价商品，有夸的也有抱怨的。
- Twitter/X 帖子：就像短讯广场，大家发表观点。
- 银行 App 反馈：就像客户和经理的对话，比较正式。
这些留言不仅包含标准的阿拉伯语（像官方文件那样），还包含了各种方言（像海湾、埃及、黎凡特和北非的口语）。这就像收集了来自不同地区、不同性格的人的对话，非常真实。
2. 给这些留言贴上了“礼貌标签”
收集完数据后，两位精通阿拉伯语和文化的博士专家，像给水果分类一样，把这 1 万条留言分成了三类：
- **🟢 礼貌 **(Polite)：像送花一样，充满尊重、感谢和善意。
- **🔴 不礼貌 **(Impolite)：像扔石头一样，包含攻击、侮辱或威胁。
- **🟡 中立 **(Neutral)：像白开水，没有明显的礼貌或冒犯，只是陈述事实。
难点在哪里？
阿拉伯语的礼貌非常复杂。有时候，一句祈祷（比如“愿真主保佑你”）如果是真心的就是礼貌，如果是反讽就是诅咒。这就像中文里的“你真是个大聪明”，有时候是夸人，有时候是骂人，全看语境。专家们花了 9 个月时间，反复讨论，确保分得准确。
3. 让 40 种不同的"AI 学生”来考试
为了测试现在的电脑能不能学会这种“礼貌尺子”，作者们找来了 40 种不同的 AI 模型来“考试”。这些模型分为三派：
- **传统派 **(老式机器)：像用字典查词，靠统计关键词。
- **Transformer 派 **(现代学霸)：像读过很多书的聪明学生，能理解上下文。
- **大语言模型派 **(超级天才)：像拥有海量知识的超级 AI（比如 GPT-4）。
考试成绩如何？
- 冠军：是专门针对阿拉伯语训练的 MARBERT 模型。它就像那个在阿拉伯街头长大的孩子，最懂方言和潜台词，准确率高达 91%。
- 亚军：其他专门针对阿拉伯语优化的模型也不错。
- 表现一般：那些通用的“超级天才”大模型（LLMs），虽然知识渊博，但因为没专门学过阿拉伯语的“礼貌潜规则”，反而考得不太好。它们经常把“不礼貌”误判为“中立”，或者把“讽刺”当成“夸奖”。
4. 发现了什么“错题本”？
通过分析 AI 的错题，作者发现 AI 主要卡在以下几个地方：
- 过度中立：AI 太谨慎了，遇到拿不准的，就统统判为“中立”，不敢冒险。
- 不懂“弦外之音”：比如用宗教词汇来讽刺，AI 往往只看到了宗教词汇，没看到讽刺的意味。
- 方言障碍：对于埃及或北非的方言，AI 经常“听不懂人话”，导致误判。
总结：这有什么用？
这就好比给未来的阿拉伯语 AI 装上了一颗"情商大脑"。
有了这个数据集（ADAB）：
- 客服机器人能更得体地回答客户，不会在客户生气时还傻乎乎地开玩笑。
- 社交媒体能更准确地识别网络暴力，而不是误伤正常的吐槽。
- 翻译软件能翻译出语气，而不仅仅是字面意思。
这篇论文的核心就是：在阿拉伯语的世界里，礼貌不仅仅是礼貌，它是文化、宗教和方言的复杂交织。只有给 AI 提供足够多、足够真实的“教材”，它才能真正学会如何像一个有教养的阿拉伯人那样说话。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。