技术摘要：用于动态少样本社交媒体文本分类的 GORAG

问题陈述

本文研究了**动态少样本社交媒体文本分类（DFSTC）**任务。在这种场景下，社交媒体文本（如仇恨言论、虚假信息）的分类面临以下挑战：

1. 数据稀缺性： 每个类别仅有极少数已标记的示例（少样本）。
2. 动态演变： 新类别（标签）会随着时间频繁涌现（例如，新型虐待或虚假信息类型），要求模型能够在无需大规模重新训练或新标注数据的情况下进行适应。
3. 现有方法的局限性：
   • 神经网络（NN）模型： 需要大量的标注数据进行微调，且在数据稀缺或不平衡时容易出现过拟合。
   • 数据增强： 生成的数据往往缺乏多样性的模式，并会导致过拟合。
   • 长上下文 RAG： 虽然大语言模型（LLM）可以处理少样本任务，但集成检索到的侧面信息（如标签描述）会增加输入规模，导致关键细节被噪声淹没并增加 Token 成本。
   • 现有的基于图的 RAG： 当前的方法在 DFSTC 背景下存在三个具体问题：
     • 均匀索引（Uniform-indexing）： 对所有文本块和关键词提取赋予同等重要性，忽略了变化的置信度水平。
     • 非自适应检索（Non-adaptive Retrieval）： 依赖于全局预定义的检索阈值，这对于特定查询或演进中的轮次可能并非最优。
     • 来源狭窄（Narrow-source）： 仅从有限的训练文本集中检索信息，忽略了查询文本中涌现的有价值信息。

方法论：GORAG

作者提出了 GORAG（基于图的在线检索增强生成），这是一个旨在构建并维护一个自适应在线加权图，以检索精确上下文进行分类的框架。该框架分为三个核心阶段运行：

1. 离线图索引

GORAG 根据当前轮次 $r$ 的已标记训练数据 $D_r$ 构建加权图 $G_r$。

• 节点： 图由关键词节点（使用归一化 TF-IDF 分数从文本中提取）和标签节点（代表目标类别）组成。
• 边权重机制： 与均匀索引不同，GORAG 为连接关键词与标签的边分配权重。权重 $w_{v,y}$ 基于关键词在文本语料库中的重要性及其与特定标签 $y$ 的相关性进行计算。该权重源自包含该关键词且标记为 $y$ 的所有文本中 $(1 - \text{TF-IDF 分数})$ 的平均值。
• 图合并： 将前一轮次的图与新图进行合并。为了确保新旧标签集之间的连通性，会在新旧标签节点之间添加边，其权重通过它们对共享关键词节点的连接情况的平均值来计算。

2. 自适应图检索

对于给定的查询文本，GORAG 在无需人工定义阈值的情况下执行检索。

• 关键词提取： 从查询文本中提取关键词。已存在于图中的关键词（$V_{exist}$）用于检索；新关键词（$V_{notexist}$）则保留用于在线索引。
• 最小生成树（MST）： 检索问题被形式化为寻找一个连接所有提取出的关键词节点且总边权重最小的子图（这是一个 NP-hard 的斯坦纳树问题）。
• 贪心解法： 使用基于 Melhorn 算法的贪心算法来近似求解。它在包含查询关键词的图中构建一棵最小生成树（MST）。
• 候选集选择： 生成的 MST 中包含的所有标签节点都被检索为候选标签集 $\hat{Y}_r$。这确保了只有通过最高效路径在语义上与查询关键词相连的标签才会被考虑，从而消除了对任意阈值的需求。

3. 分类与在线图索引

• 分类： LLM 接收查询文本、检索到的候选标签及其描述（如果可用），以执行最终分类。
• 在线索引： 为了解决“来源狭窄”的问题，该框架实时更新图结构。从查询文本中提取的尚未存在于图中的关键词会被添加为新节点。它们通过相同的边权重机制连接到查询文本的预测标签。这丰富了图结构以应对未来的查询，尽管该机制包含了惩罚机制，以减少来自潜在错误 LLM 分类的噪声。

核心贡献

1. 框架提议： 引入了 GORAG，这是一个专门针对 DFSTC 的在线 RAG 框架，解决了均匀索引、非自适应检索和来源狭窄的问题。
2. 边权重机制： 一种新颖的方法，根据语料库重要性和标签相关性对关键词与标签之间的边进行加权，实现了更精确的关系建模。
3. 自适应检索形式化： 将候选标签检索形式化为斯坦纳树问题，并提供了一种高效的贪心算法解法，消除了对人工定义阈值的需求。
4. 实证验证： 通过在社交媒体虐待和虚假信息检测基准上的广泛实验，证明了 GOR 共有的有效性和高效性。

实验结果

作者在三个数据集上评估了 GORAG：CAD（社交媒体虐待）、WOS（学术摘要）和 IFS-Rel（网络新闻虚假信息）。

• 有效性： GORAG 在所有轮次和 shot 设置（1-shot, 5-shot, 10-shot）下均优于所有基准模型（包括基于 NN 的模型如 Entailment，长上下文 RAG 如 NaiveRAG 和 LongLLMLingua，以及基于图的 RAG 如 GraphRAG, LightRAG 和 HippoRAG）。
  • 在 IFS-Rel 数据集（1-shot）上，GORAG 在第 1 轮达到了 96.88% 的准确率，显著优于次优模型（LightRAG 为 75.78%）。
  • 随着轮次数增加（高达 8 轮），GORAG 保持了具有竞争力的准确率，而 GraphRAG 和 NaiveRAG 等基准模型的性能出现了显著下降。
• 效率：
  • Token 成本： 与基于图的 RAG 基准（如 GraphRAG 使用 9296.3 个 tokens）相比，GORAG 每条查询消耗的 Token 显著减少（例如在 IFS-Rel 上为 557.5 个 tokens），从而降低了成本。
  • 时间： 尽管进行了在线索引，GORAG 仍实现了与基准模型相当甚至更好的时间效率。
  • 内存： 图内存占用保持在较低水平（测试数据下低于 50KB），展示了可扩展性。
• 消融实验： 去除在线索引（“GORAG offline”）或边缘权重机制（“GORAG unit”）会导致准确率下降，证实了这两个组件的必要性。

意义与主张

本文声称 GORAG 为现实世界中标签数据有限且分类任务动态演进的场景提供了鲁棒的解决方案。通过利用加权图和通过 MST 进行自适应检索，GORAG：

• 保留了长上下文 RAG 方法中经常丢失的细粒度、实体级信息。
• 能够适应新类别和标签更新，而无需大规模重新训练或手动调整阈值。
• 减轻了专有 LLM 处理长上下文时出现的“迷失在中部（lost-in-the-middle）”问题和高昂的 Token 成本。
• 证明了精确的基于图的检索可以显著增强 LLM 在少样本、动态分类任务中的表现，特别是在处理诸如仇恨言论和虚假信息检测等敏感应用时。

作者总结道，GORAG 有效地平衡了全面上下文的需求与动态少样本环境下的约束，为“造福网络（Web for Good）”的应用提供了一种实用的方法。