💬 NLP

DiffuSent: Towards a Unified Diffusion Framework for Aspect-Based Sentiment Analysis

DiffuSent 是一个用于方面级情感分析（Aspect-Based Sentiment Analysis）的统一、非自回归扩散框架，它将所有子任务重新表述为边界去噪过程，并采用对比训练策略，从而在多词术语上实现了卓越的准确度，且与现有的生成式和基于跨度（span-based）的系统相比，显著提高了推理速度。

原作者： Shu Long, Yanglei Gan, Xuchuan Zhou

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shu Long, Yanglei Gan, Xuchuan Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试阅读一条餐厅评论，并从中提取出具体的细节：顾客在谈论什么（即“方面/aspect”）、他们对它说了什么（即“观点/opinion”），以及他们的感受如何（即“情感/sentiment”）。

例如，在句子 “The new hamburger with special sauce is ok”（这款带特制酱汁的新汉堡还可以）中，你需要识别出“new hamburger with special sauce”是正在被谈论的对象，“ok”是观点，而情感是积极的。

为海量的评论中的每一句话做这种工作对计算机来说非常困难，尤其是当“对象”是一个长长的多词短语时。

问题所在：“逐字生成”的瓶颈

目前大多数计算机程序试图通过像人类打字写信一样——从左到右一个词一个词地读写——来解决这个问题。

类比： 想象你正在尝试画一幅复杂的风景画，但你被允许一次只能画一个像素，而且在完成之前你无法看到全貌。
问题： 由于计算机专注于紧接着的下一个词，它经常会对长短语的起始或结束位置感到困惑。它可能会过早停止，认为“hamburger”（汉堡）就是整个主题，从而忽略了“new... with special sauce”（带特制酱汁的新……）这一部分。此外，由于它必须等待每一个单词生成完毕后才能进行下一个，这导致速度非常慢。

解决方案：DiffuSent（“雕刻”法）

作者创建了一个名为 DiffuSent 的新工具。DiffuSent 不再是一个词一个词地书写，而是使用了一种叫做**扩散（Diffusion）**的技术。

类比： 想象一块大理石中隐藏着一座雕像。与其通过一点点凿掉碎屑来寻找雕像，不如想象你从一团混乱的尘埃云开始。DiffuSent 就像一位熟练的雕塑家，他能同时观察整团云雾，并逐步、分阶段地清除噪声，从而显现出雕像完美的形状。
它是如何工作的：
1. 噪声（The Noise）： 计算机获取正确的边界（即单词在哪里开始和结束），并故意向其添加“噪声”或混乱，使其变得模糊。
2. 精炼（The Refinement）： 然后它运行一个“去噪”过程。它会同时观察整个句子的上下文，并逐步锐化边界，直到找到“方面”和“观点”的精确起止点。
3. 速度： 因为它不需要等待一个词完成后再开始下一个词，所以它可以同时处理整个句子。这使得它的速度比旧方法快了高达 181 倍。

“重复”问题与“对比”修正

这里出现了一个小麻烦：有时，“去噪”过程由于太擅长探索各种可能性，会导致它产生多个略有差异的相同答案版本（例如，在一个猜测中认为短语是“hamburger”，而在另一个猜测中认为是“new hamburger”）。这会让最终结果产生混乱。

为了解决这个问题，作者加入了一种**对比去噪（Contrastive Denoising）**策略。

类比： 想象一位老师给学生两张模糊的照片：一张是轻微模糊的（容易修复），另一张是非常模糊的（无法修复）。老师要求学生修复第一张，并同时说出“我无法修复第二张”。
结果： 这训练了模型，使其能够非常严格地界定什么是正确的答案，什么是“差一点就对”的错误答案。它阻止了计算机将“hamburger”和“new hamburger”作为两个独立的有效答案进行猜测，从而迫使它选择那个唯一的、正确的边界。

结果表明

作者在 28 个不同的场景下进行了测试（使用了 4 个不同的数据集和 7 种不同类型的任务）。

更高的准确度： DiffuSent 打败了现有的最佳系统，尤其是在处理长而复杂的多词短语时。它在这些棘手案例中的准确率提升了约 2.5%。
速度： 它运行得极其迅速，比旧有的“逐词生成”模型要快得多。
可靠性： 它处理包含多个观点的句子时比以往的模型表现更好，以往的模型经常会感到困惑，或者制造出文中并不存在的虚假观点。

简而言之，DiffuSent 改变了计算机分析情感的方式：它不再像打字那样逐字书写，而是从一片充满噪声的云雾中“雕刻”出答案，从而更快速、更准确地找到人们谈论内容的精确边界。

技术摘要：DiﬀuSent：迈向统一的方面级情感分析扩散框架

1. 问题陈述

方面级情感分析（ABSA）涉及从文本中提取特定的实体（方面项）、与之相关的观点以及情感极性。虽然近期的进展已转向使用统一的、端到端的生成式模型来处理七个不同的 ABSA 子任务，但现有方法过度依赖于自回归式的逐 Token 生成。作者指出了这种范式的两个关键局限性：

边界模糊与完整性失效： 自回归模型按顺序生成 Token，每个 Token 主要受即时历史记录的制约。这种机制难以捕捉多词方面项和观点项（例如，“带有特制酱汁的新汉堡”）所需的全局上下文，从而经常导致过早截断或边界模糊。
计算瓶颈： 严格的顺序性质使得自回归解码无法进行并行计算，导致推理延迟随目标输出长度呈线性增长。这为生成复杂的结构化输出（如多个情感三元组）制造了显著的效率障碍。

2. 方法论：DiﬀuSent 框架

为了解决这些问题，作者提出了 DiﬀuSent，一种非自回归的统一扩散框架，它将所有 ABSA 子任务重新表述为边界去噪扩散过程。

核心机制

DiﬀuSent 并不按顺序生成 Token，而是将方面项和观点项的起始与结束索引视为数据样本。

前向过程： 向真实的边界索引中逐渐添加高斯噪声，模拟术语定位中的不确定性。
反向过程： 去噪网络通过非马尔可夫策略（DDIM）逐步将这些带噪声的边界索引细化回原始状态。这使得模型能够通过单步（并行解码）预测所有边界索引，而非顺序预测。

网络架构

去噪网络 $f_\theta$ 由以下部分组成：

句子编码器： 使用预训练语言模型（PLM）结合双向 LSTM，将输入句子 $S$ 编码为表示 $H_S$ 。
边界索引解码器：
- 接收带噪声的边界序列 $x_t$ 和句子表示 $H_S$ 作为输入。
- 将噪声索引离散化为词嵌入并应用均值池化。
- 利用带有自注意力机制（以增强边界序列间的交互）和交叉注意力机制（以整合句子的更广泛语义上下文）的 Transformer 解码器。
- 集成正弦时间步嵌入，以适应扩散的迭代特性。
- 输出方面/观点起始/结束索引以及情感极性。

对比去噪训练策略

一个关键的创新是对比去噪策略，旨在处理扩散过程经常引入的“带有细微变化的重复预测”（例如，预测“hamburger”与“new hamburger”）。

正样本： 通过向真实边界添加较小的噪声尺度 ( $\lambda_1$ ) 生成，预期能够重建正确的跨度。
负样本： 通过添加较大的噪声尺度 ( $\lambda_2 > \lambda_1$ ) 生成，预期被分类为“无效” ( $\epsilon$ )。
损失函数： 模型使用匹配损失（使用匈牙利算法将预测值与真实值对齐）和对比损失进行训练。对比损失迫使模型区分清晰（正向）和受损（负向）的边界表示，从而有效地抑制伪造或近乎重复的三元组。

3. 核心贡献

论文概述了三个主要贡献：

统一扩散框架： 提出了 DiﬀuSent，它系统地将所有七个 ABSA 子任务表述为边界去噪扩散过程，摆脱了逐 Token 生成的模式。
对比去噪策略： 一种新型训练机制，能够区分准确与不准确的边界预测，专门解决了多词术语的歧义性并减少了错误三元组的生成。
全面评估： 在 28 个设置（7 个子任务 $\times$ 4 个数据集）下的广泛实验证明了其最先进的性能（SOTA）。

4. 实验结果

作者在四个 SemEval 数据集（D17, D19, D20a, D20b）上评估了 DiﬀuSent，涵盖了诸如方面项提取（AE）、观点项提取（OE）、方面情感三元组提取（ASTE）等任务。

性能： DiﬀuSent 在所有 28 个设置中均优于最强的生成式（如 BART-GEN, MvP, SLGM）和基于跨度（span-based）的基准模型。
- 在 D20a 数据集上，它在所有 12 个设置中均达到了最先进的 F1 分数，相比最强的统一基准模型平均提升了约 0.6 F1。
- 在 D20b 上，它超越了 ChatGPT-4 和 LLaMA3-8B 等大语言模型（LLM），后者在需要精确边界识别的 ABSA 任务中表现出系统性弱点。
多词术语： 该模型在多词三元组上表现出显著增益，相比基准模型实现了 +2.48 F1 的平均提升，明显高于单词三元组的 +0.52 F1 增益。
效率： 由于采用非自回归解码，DiﬀuSent 提供了显著的效率优势。其推理速度比自回归生成式基准模型快达 181 倍，同时参数量（112M）仅约为同类模型的一半。

5. 意义与主张

论文声称 DiﬀuSent 通过以下方式实现了 ABSA 方法论的重要转变：

解决边界完整性问题： 通过直接对边界索引进行建模，该框架克服了序列化 Token 生成中固有的“边界模糊”问题，对于复杂的、多词的表达尤为有效。
提高效率： 它解决了自回归模型的计算瓶颈，实现了结构化输出的并行生成。
提高精确度： 对比去噪策略有效地减轻了扩散过程的不确定性，确保模型不会生成伪造的三元组或带有细微变化的重复预测。

作者总结道，DiﬀuSent 为统一 ABSA 树立了新的标杆，证明了与传统的生成范式相比，基于扩散的边界细化是处理情感分析中复杂语言结构的更优方法。