💬 NLP

DiaRelay: Relaying Dialogue Context with a Constant-Size Memory for Emotion Recognition in Conversation

本文提出了 DiaRelay，一种基于 LoRA 的轻量级适配器，使大语言模型能够在对话中维持固定大小的对话级记忆，用于对话中的情感识别，在无需重新编码历史记录或增加上下文长度的情况下，有效捕捉长程情感线索，并以极少的训练参数实现了最先进的性能。

原作者： Zihao Zhou, Bin Yang, Jinghui Qin, Kebing Jin

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zihao Zhou, Bin Yang, Jinghui Qin, Kebing Jin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

人类的对话是一幅精致的织锦，其中的意义往往并不隐藏在此时此刻所说的言语中，而是隐藏在很久以前所说的话语留下的静谧回响里。要理解一个人为何恐惧、悲伤或愤怒，我们很少孤立地看待某一个句子。相反，我们依赖于互动的历史：一场过去的争吵、一个共同的笑话，或是萦绕在空气中的过往忧虑。教导计算机做到这一点，长期以来一直是人工智能的一个障碍。虽然现代语言模型在处理海量文本方面表现卓越，但它们在处理随着时间推移而展开的对话时，很难抓住情感的线索。当对话增长时，计算机对开端的记忆往往会逐渐消退，或者因为它被过往词汇的巨大容量所淹没，从而失去了对最相关细节的关注。这种局限性使得机器难以在现实世界的对话中准确识别情绪，因为理解一种情感的关键可能埋藏在十轮对话之前的一句评论中。

研究人员曾试图通过简单地给计算机一个更大的文本窗口来解决这个问题，但这种方法是有代价的。更宽的窗口要求计算机一遍又一遍地重新阅读和处理同样的旧句子，这会减慢速度并消耗大量的计算能力。其他方法尝试存储对话的摘要，但这些摘要往往无法捕捉到区分相似情感（如恐惧与惊讶）所需的特定且微妙的情感线索。因此，挑战在于创造一个既能记住重要的情感历史，又不会被过往的沉重负担所困扰的系统。

为了解决这个问题，一个研究小组开发了一种名为 DiaRelay 的新型轻量化工具。可以将这个工具想象成一个计算机在倾听对话时随身携带的专用笔记本。与一个可能会填满每一个单词的标准笔记本不同，这个笔记本旨在以固定的、可控的空间来保存最核心的情感语境。当计算机倾听每一个新句子时，它不仅是在阅读当前的词汇，还在查阅这个小型且不断演进的笔记本。笔记本包含了经过提炼的情感历史，并随着对话的进展持续更新。这使得计算机能够回想起几分钟前表达的忧虑，或是当天早些时候讲过的一个笑话，即使那些具体的词汇已经超出了计算机当前正在阅读的即时文本窗口。

该系统通过两个按精确顺序发生的动作来运作。首先，在计算机对当前句子的情绪做出预测后，它会更新其笔记本。它会仔细决定记录下哪些新的情感信息以及保留哪些旧信息，以确保笔记本始终充满相关的线索，而不会变得杂乱无章。它并不会简单地将整个当前句子倾倒进记忆中；相反，它只记录新的情感“残余”——即那些尚未被现有记忆捕获的情感部分。这确保了笔记本保持高效并专注于发生变化的内容。其次，在计算机预测下一个句子的情绪之前，它会从这个笔记本中读取信息。它利用存储的历史来调整对当前词汇的理解，有效地让过去影响现在。这一过程不需要计算机重新阅读整个历史，也不需要进行会减慢速度的复杂计算。

研究人员在两个主要的对话数据集上测试了这种方法，其中一个涉及双人互动，另一个涉及群体对话。他们将这个新系统与依赖大型语言模型的现有方法进行了对比。结果显示，通过使用这种固定大小的记忆，该系统能够比以往的方法更准确地识别情绪，即使相关的感情线索远在对话历史的后方。在一次特定的测试中，系统正确识别了一个角色在场景中的恐惧，尽管即时语境暗示了一种中性的语气，但早期对话中一段遥远的指责提供了真正的感情分量。在另一个案例中，它通过回想起很久以前提到的一次失败试镜，识别出了一个角色自我怀疑中的悲伤，而其他模型由于缺乏这种远距离语境，将其误解为恐惧。

研究发现，这种方法在无需重新训练整个庞大的语言模型或添加额外的复杂数据层的情况下，就能发挥良好作用。它仅为系统增加了极小比例的新参数，使其成为一种高效的解决方案。研究人员证明，这种方法允许计算机维持一种持久的对话情感弧线，架起了即时词汇与赋予其意义的远期历史之间的桥梁。通过保持一个固定大小且不断演进的对话记忆，该系统可以识别出那些对于仅观察最后几句句子的模型来说是不可见的emotions。这为创造能够真正理解人类情感流动，而非仅仅理解当下言语的智能人工智能，提供了一条充满希望的路径。

技术摘要：DiaRelay

问题陈述

对话中的情感识别（ERC）需要模型识别分布在遥远对话轮次中的微妙情感线索。现有方法通常依赖固定的上下文窗口来整合对话历史。这种策略呈现了一个根本性的权衡：短窗口会丢弃潜在的有用的长程证据，而扩大窗口则会增加计算和内存成本，并可能引入无关的上下文。

此外，虽然参数高效微调（PEFT）方法（如 LoRA）能够使大语言模型（LLM）高效地适应 ERC 任务，但它们存在一个关键限制：学习到的低秩变换是跨对话轮次共享的，并且没有显式地维持一个持久的、对话层级的状态。因此，一旦某次发言离开了显式的上下文窗口，标准的 PEFT 方法无法保留有用的前序线索，也无法根据不断演进的对话历史来调节后续的变换。

方法论

为了解决这些局限性，作者提出了 DiaRelay，一种轻量级的、具有记忆增强功能的适配器，旨在为 LLM 提供一个显式的、常数大小的对话级记忆。DiaRelay 运行在基于 LoRA 的骨干网络之上，并引入了两个在“先读后写”范式下紧密协作的组件：

1. 选择性中继记忆转换 (SRMT)

SRMT 负责随着对话的进行更新一个有界的、常数大小的中继记忆 ( $R_t$ )。

中继空间投影： 目标发言的表示被投影到紧凑的中继空间内的低维查询向量 ( $q^m_t$ )、键向量 ( $k^m_t$ ) 和值向量 ( $v^m_t$ )，其秩为 $r$ 。
门控误差修正更新： SRMT 并非不加区别地累积当前值，而是采用门控机制来选择性地更新记忆。它计算一个误差修正信号 ( $e^m_t = v^m_t - R_{t-1}k^m_t$ )，该信号代表了当前值中无法从前序记忆中恢复的部分。
更新规则： 记忆通过保留门 ( $\lambda_t$ ) 和更新门 ( $\beta_t$ ) 进行更新：
$R_t = \text{Diag}(\lambda_t) R_{t-1} + \text{Diag}(\beta_t) (e^m_t) (k^m_t)^\top$
这使得记忆能够在不增加记忆规模的情况下，既保留稳定的历史信息，又纳入新的残差证据。

2. 双轴中继记忆读取 (DaRMR)

DaRMR 从传播的记忆 ( $R_{t-1}$ ) 中检索信息，用于在当前发言被写入记忆之前，动态地调节骨干网络的低秩特征变换。

双轴读取： 记忆沿两个方向进行读取，以生成对自注意力机制的修正：
- 查询侧修正 ( $\Delta q^m_t$ )： 沿“值到键”的方向检索记忆，以调整注意力查询。
- 输出侧修正 ( $\Delta o^m_t$ )： 沿“键到值”的方向检索记忆，以调整注意力输出。
集成： 这些修正被添加到目标发言的原始骨干网络和 LoRA 残差中，从而实现无需测试时梯度更新的上下文相关表示适配。

操作范式

系统遵循严格的因果流：对于第 $t$ 次发言，DaRMR 仅访问记忆 $R_{t-1}$ （由第 $1 $到$ t-1 $轮积累而成）来生成预测。只有在完成预测之后，SRMT 才会使用当前发言的表示来更新记忆至$ R_t$。这确保了当前发言不会影响其自身的预测，同时允许它为未来的预测提供信息。

核心贡献

论文概述了三个主要贡献：

DiaRelay 架构： 一种轻量级的适配器，通过有界的、跨轮次的常数大小中继记忆，补充了固定的局部上下文窗口。这使得历史信息可以在不扩展输入上下文长度或不需要测试时参数更新的情况下，在预测过程中持续存在。
新颖机制： 引入了 SRMT（使用门控误差修正转换进行选择性记忆更新）和 DaRMR（使用双轴读取进行查询和输出修正）。两者共同建立了用于对话级记忆传播的“先读后写”范式。
实验验证： 通过在标准 ERC 数据集上的广泛实验证明，DiaRelay 优于强大的基于 LoRA 的固定窗口基线方法，在实现极低参数开销的同时达到了最先进的水平。

实验结果

作者在 MELD 和 IEMOCAP 数据集上使用 Qwen3-4B 和 Qwen3-8B 骨干网络评估了 DiaRelay。实验是在“仅历史”（no future utterances, no external knowledge）的设置下进行的。

性能：
- 在 MELD 上，DiaRelay (Qwen3-8B) 实现了 70.06% 的加权 F1 值 和 71.15% 的准确率，在不使用外部增强的方法中创下了新的最优记录（针对 $\le$ 8B 参数量的骨干网络）。
- 在 IEMOCAP 上，它实现了 70.01% 的加权 F1 值 和 69.93% 的准确率，表现出与利用外部知识或复杂图建模的方法相竞争的实力。
效率： DiaRelay 仅增加了 约 7.1M 可训练参数（约为 Qwen3-8B 骨干网络的 0.09%），同时保持了原始的自回归训练目标和标准推理流程。
消融实验：
- 去除跨窗口记忆传播（窗口局部化 DiaRelay）会导致性能下降，证实了持久记忆的价值。
- 用全值更新替换误差修正更新会导致性能退化，特别是在 Macro F1 指标上，验证了残差更新策略的有效性。
- 去除查询侧或输出侧的任何一个修正路径都会导致指标持续下降，证实了双轴读取的互补性质。

意义与主张

论文声称 DiaRelay 提供了一种全新的轻量级解决方案，用于解决情感对话中的问题，有效地弥合了 LLM 有限的上下文窗口与长程对话理解需求之间的差距。

泛化性： 该方法在不同规模的骨干网络（4B 和 8B）及数据集上均表现出有效性，表明 DiaRelam 是针对 LLM 情感理解的一种可泛化的增强方案。
效率： 通过维持常数大小的记忆并避免测试时梯度更新或外部检索机制，DiaRelay 提供了一种计算高效的选择，可以替代那些依赖于扩展上下文窗口或复杂多阶段训练的方法。
基线确立： 作者将 DiaRelay 定位为一个强大的“仅历史”基线，证明了显式的对话级记忆传播可以显著提升 ERC 性能，而无需依赖诸如说话人传记、检索到的示例或常识知识等辅助数据。

作者承认了局限性，指出目前的框架是纯文本形式，且侧重于分类而非生成自然语言解释。未来的工作建议将该框架扩展到多模态场景，并结合基于中继记忆的解释生成机制。