💬 NLP

How Annotation Trains Annotators: Competence Development in Social Influence Recognition

该研究通过混合方法分析发现，社会影响力识别的标注过程不仅能显著提升标注者（尤其是专家）的自我效能感与能力，还会因标注质量的变化进而影响基于该数据训练的大语言模型性能。

原作者： Maciej Markiewicz, Beata Bajcar, Wiktoria Mieleszczenko-Kowszewicz, Aleksander Szczęsny, Tomasz Adamczyk, Grzegorz Chodak, Karolina Ostrowska, Aleksandra Sawczuk, Jolanta Babiak, Jagoda Szklarczyk, Pr

发布于 2026-04-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Maciej Markiewicz, Beata Bajcar, Wiktoria Mieleszczenko-Kowszewicz, Aleksander Szczęsny, Tomasz Adamczyk, Grzegorz Chodak, Karolina Ostrowska, Aleksandra Sawczuk, Jolanta Babiak, Jagoda Szklarczyk, Przemysław Kazienko

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个非常有趣的故事：给数据“贴标签”的过程，其实也是给“贴标签的人”上课的过程。

想象一下，你正在教一群人去识别生活中的“套路”（比如别人怎么通过话术让你买东西，或者怎么在聊天中操纵你的情绪）。为了训练人工智能（AI）学会识别这些套路，你需要先让人类专家把这些套路在聊天记录里圈出来。

通常，我们认为人类是“标准答案”的提供者，只要他们认真干活，数据就是完美的。但这篇论文发现了一个惊人的事实：人类在干活的过程中，自己也在变强，而且这种“变强”会直接改变他们给 AI 喂的数据质量。

下面我用几个生活中的比喻来拆解这篇论文的核心内容：

1. 核心实验：一场“先测后练再测”的考试

研究者找了 25 个人（包括心理学家、老师、家长，还有青少年自己），让他们去分析 1000 多条 AI 生成的对话，找出里面的“社交影响力技巧”（比如“拍马屁”、“先拒绝再提要求”等）。

第一关（考前摸底）： 先让他们看 30 条对话，试着圈出套路。
第二关（正式训练）： 让他们去分析剩下的 1700 多条对话。在这个过程中，他们接受了培训，讨论了疑难杂症，就像学生上课一样。
第三关（考后复查）： 最后，让他们重新看那最初的 30 条对话，再圈一次。

关键点： 研究者把“第一次圈”和“第二次圈”的结果做了对比，看看他们是不是变聪明了。

2. 发现了什么？（三个主要变化）

A. 从“模糊直觉”到“精准狙击”

比喻： 刚开始，大家看对话就像在雾里看花，觉得“这人好像有点坏”，但说不清具体用了什么招。经过训练后，他们就像拿起了高倍望远镜，能精准地说出：“哦，这是‘先给个甜头再索取’（Give to take）”，而不是笼统地说“他在讨好我”。
结果： 专家组的进步最明显。他们不仅圈出的套路更多，而且描述得更具体、更细致。比如，以前只说“后果很严重”，现在能分析出“这可能导致长期的心理阴影”或者“影响整个朋友圈”。

B. 速度变快了，但心里更“慌”了（ paradoxical effect）

比喻： 就像你刚学开车时，每踩一脚刹车都要想半天，开得很慢；老司机虽然开得飞快，但心里反而更清楚路况有多复杂，甚至觉得“这路其实挺难开的”。
结果：
- 速度： 大家干活的速度确实变快了（从平均每条 6.5 分钟降到 5.8 分钟）。
- 心理： 奇怪的是，大家觉得自己更累、压力更大了（NASA-TLX 量表显示工作量感知上升）。为什么？因为他们现在能发现更多以前忽略的细节和陷阱，意识到“原来这里也有坑”，这种认知的觉醒让他们觉得任务更难了，但这恰恰是能力升级的表现（心理学上叫“有意识的无能”到“有意识的有能”）。

C. AI 也“吃香”了

比喻： 如果你用“新手”写的笔记去教 AI，AI 学得马马虎虎；如果你用“老手”经过训练后写的笔记去教 AI，AI 就学得更透彻。
结果： 研究者用“第一次圈的数据”和“第二次圈的数据”分别训练 AI 模型。结果发现，用第二次（经过训练后）的数据，AI 识别套路的能力明显变强了。 这说明，人类 annotator（标注员）的进步，直接提升了 AI 的智商。

3. 谁进步最大？

专家组（心理学家、沟通专家）： 他们的进步最显著。因为他们本来就有基础，就像“有数学底子的人学微积分”，一旦点拨，立刻融会贯通。
非专家组（青少年、普通家长）： 也有进步，但更多体现在“敢说了”和“更自信了”，在专业判断的精准度上不如专家提升得那么快。

4. 这篇论文告诉我们什么大道理？

标注不仅仅是工作，更是学习： 让普通人去标注复杂的心理或社会话题，本身就是一个极好的教育过程。他们在这个过程中学会了识别操纵、理解意图，甚至能把这些知识带回家教给孩子。
数据不是静止的： 不要以为数据贴完标签就固定不变了。随着标注员能力的提升，数据的“质量”和“视角”都在动态变化。
AI 需要“好老师”： 训练 AI 时，标注员的状态很重要。如果标注员在过程中学会了更多，他们产生的数据对 AI 来说就是“黄金教材”。

总结

这就好比教 AI 识别诈骗电话。
一开始，我们让一群志愿者去听录音，他们可能只能听出“这人说话怪怪的”。
经过几天的培训和讨论，志愿者变成了“反诈专家”，能听出“这是典型的‘杀猪盘’话术，利用了受害者的孤独感”。
最后，用这些“专家”听出来的结果去训练 AI，AI 也就变成了真正的“反诈大师”。

结论： 让标注员在过程中不断学习和成长，不仅是为了得到更好的数据，更是为了让人类自己变得更聪明、更有警惕性。这是一个双赢的“教学相长”过程。

论文技术总结：社会影响力识别中的标注者能力发展

1. 研究背景与问题 (Problem)

在构建高质量数据集时，人工标注通常被视为客观的“地面真值”（Ground Truth）。然而，对于社会影响力识别（Social Influence Recognition）这类高度主观的任务，标注者的判断往往随时间演变，且受个人认知、经验及任务熟悉度的影响。
现有研究常假设标注质量是静态的，或仅关注标注者间的一致性（Inter-annotator agreement），而忽略了标注过程本身对标注者能力（Competence）的塑造作用。
本研究旨在解决以下核心问题：

RQ1：标注者在社会影响力识别方面的能力在标注过程中如何变化？
RQ2：标注工作的质量（数据质量）在过程中如何演变？
RQ3：使用标注过程早期（Pre）或晚期（Post）的数据训练 AI 模型，是否会导致模型性能差异？

2. 方法论 (Methodology)

2.1 实验设计

数据集：1,021 条针对青少年的 AI 生成对话，涵盖 20 种社会影响力技术、意图、反应及后果。
参与者：25 名标注者，分为 5 组（每组 5 人）：心理学家、传播专家（专家组）；青少年、家长、教师（非专家组）。
流程：
1. Pre 阶段：标注 30 篇文本（作为基线）。
2. Main 阶段：标注 174-175 篇文本（核心训练期）。
3. Post 阶段：重新标注相同的 30 篇文本（用于对比能力变化）。
4. 干预：包含技术工具培训、社会影响力定义培训及校准会议（Calibration）。

2.2 评估指标与分析方法

研究采用了混合方法（定量 + 定性 + 模型评估）来衡量能力发展：

定量分析：
- 一致性：使用 Krippendorff's $\alpha$ （基于 Jaccard 距离）计算标注者间（Inter）和标注者自身前后（Intra）的一致性。
- 效率：统计单篇文本的标注时间变化。
- 标签分布：统计技术标签、"难以确定"选项、自由文本（RICs: Reactions, Intentions, Consequences）的数量变化。
定性分析：
- 内容分析：对自由文本（RICs）进行语义分析，评估视角的广度、细节深度、语言风格及主题类别的变化。
- 深度访谈：对 5 名标注者进行半结构化访谈，探讨其认知转变、策略及自我感知。
- 问卷调查：使用 SIR-SC（感知能力与自信量表）和 NASA-TLX（主观工作负荷量表）评估心理状态。
LLM 性能评估：
- 使用 Pre 和 Post 数据分别训练大语言模型（DeepSeek-V3.2 进行少样本学习 ICL，Llama-3.1-8B 进行监督微调 SFT）。
- 在 Main 数据集上测试模型检测社会影响力技术的性能（Jaccard 相似度）。

3. 关键发现与结果 (Key Results)

3.1 标注者能力的显著提升

自我感知：标注者的感知能力（Perceived Competence）和自信心（Self-Confidence）显著提升（大/中效应量）。
主观负荷：NASA-TLX 显示，虽然任务难度（Mental Demand）和挫败感增加，但绩效自评（Performance）下降。这符合学习理论中的“有意识的无能”（Conscious Incompetence）阶段，即随着知识增加，标注者更能识别细微差别和潜在错误，导致主观上觉得任务更难。
效率提升：标注速度显著加快（平均从 6.56 分钟/篇降至 5.86 分钟/篇），且 Main 阶段呈现持续加速趋势。

3.2 数据质量与标注行为的变化

专家 vs. 非专家：
- 专家（心理学家、传播专家）：在 Pre 到 Post 阶段，其标注的RICs 数量显著增加（意图、反应、后果），且标注者间一致性（Inter-annotator agreement）有所提升。
- 非专家：RICs 数量变化不显著，一致性提升不明显。
标注深度：
- 视角广度：Post 阶段的标注提供了更平衡的主题分布，涵盖了更多心理、社会、经济等维度。
- 细节与语言：Post 标注更详细，语言风格更正式（针对意图描述），且对后果的表述从“确定性”转向“可能性/条件性”，显示出更高的解释谨慎度。
- 技术区分度：标注者能更好地区分概念重叠的技术（例如将模糊的"Liking"更精确地归类为具体的"Labeling"或"Give to take"），技术标签的保留率约为 65%，但替换模式显示出分类精度的提高。
一致性：虽然标注者自身前后的一致性（Intra-annotator）高于标注者间的一致性，但整体一致性仍处于中等水平，表明任务的主观性依然很强。

3.3 对 AI 模型训练的影响

模型性能提升：使用 Post 数据 训练的模型在所有设置下（ICL 和 SFT）均优于使用 Pre 数据训练的模型。
- 在 DeepSeek-V3.2 的 30-shot 设置下，Jaccard 相似度提升了 0.0149。
- 在 Llama-3.1-8B 的 SFT 中，性能也有正向提升（ $\Delta = +0.0069$ ）。
结论：随着标注者能力的提升，其产生的数据质量更高，直接转化为下游 AI 模型性能的增强。

4. 主要贡献 (Key Contributions)

理论视角的创新：挑战了“标注即静态参考”的传统观点，提出标注过程本身是一种能力发展（Competence Development）的机制。标注者通过“做中学”（Learning by doing）显著提升了领域知识。
实证证据：首次通过混合方法（定性 + 定量 + 模型评估）系统性地证明了社会影响力识别任务中，标注者的能力随时间增长，且这种增长在专家群体中更为显著。
数据质量与模型性能的关联：证实了标注者能力的提升直接转化为训练数据质量的提高，进而提升了 LLM 在复杂主观任务上的表现。
教育干预价值：发现标注过程具有教育意义，能增强参与者（包括青少年和家长）对社会操纵的识别能力、批判性思维及沟通自信，可作为 AI 素养教育的补充手段。

5. 研究意义与启示 (Significance)

对数据标注的启示：在涉及主观判断的任务中，不应忽视标注者的学习曲线。建议在标注流程中设计校准机制和迭代反馈，以利用能力增长期获取更高质量的数据。
对 AI 模型训练的启示：在训练数据构建中，标注的时间点至关重要。经过充分训练和校准后的标注数据（Post 数据）比初始数据更能反映复杂的语义和细微差别，应优先用于模型训练。
社会影响：该研究不仅优化了数据集构建，还展示了通过参与式标注（Participatory Annotation）提升公众（特别是青少年）对网络社会影响力（如操纵、诱导）的防御能力，具有潜在的社会教育价值。

总结：该论文揭示了“标注者”不仅是数据的提供者，更是通过标注过程不断进化的学习者。这种能力的动态发展直接决定了最终数据集的效用和 AI 模型的性能，强调了在构建主观任务数据集时关注“人”的因素的重要性。