LLM-Driven Online Aggregation for Unstructured Text Analytics

本文提出了 OLLA 框架，通过结合流式文本转换、在线聚合及语义分层采样技术，显著加速了大语言模型在关系查询中的语义处理，使其仅需不到 4% 的全量数据时间即可达到 1% 的误差精度。

要点

这篇论文介绍了一个名为 OLLA 的新系统，它的核心任务是：让大语言模型（LLM）在处理海量文本数据时，不再需要“慢吞吞地等结果”，而是能像看直播一样，实时给出越来越准的“进度条”和“估算值”。

为了让你轻松理解，我们可以把这项技术想象成**“在拥挤的集市里快速估算苹果平均甜度”**的故事。

1. 背景：为什么现在的做法太慢了？

想象一下，你是一家大超市的经理，仓库里有 10 万箱苹果（这就是非结构化文本数据，比如评论、日志、文章）。你想知道：“这些苹果里，有多少是‘特别甜’的？”或者“平均每个苹果卖多少钱？”

• 传统做法（现在的 LLM 用法）：
  你雇了一个超级聪明的品控员（大语言模型 LLM）。他必须逐箱打开，尝一口，记录结果，然后再去下一箱。

  • 问题： 这个品控员虽然聪明，但尝苹果很慢。等他把 10 万箱都尝完，可能需要几天时间。等你拿到最终报告时，黄花菜都凉了，根本没法做实时决策。

• OLLA 的做法：
  OLLA 不想等品控员尝完所有苹果。它想：“能不能先尝一部分，然后马上告诉我一个大概的甜度？随着尝的越来越多，这个‘大概’变得越来越准，直到你满意为止？”

2. OLLA 的核心魔法：三个步骤

OLLA 系统通过三个巧妙的步骤来实现这个“实时估算”：

第一步：给苹果“贴标签”（语义分层采样）

品控员尝苹果太慢，但我们可以先给苹果**“看眼色”**。

• 比喻： 我们先用一个快速的“扫描仪”（Embedding 模型）扫过所有苹果，根据它们的外观、产地、包装，把它们粗略地分成几堆（比如：红苹果堆、青苹果堆、进口苹果堆）。
• 作用： 这就像把 10 万箱苹果分成了 100 个“小组”。我们不需要尝所有苹果，只需要从每个小组里挑几个代表性的出来尝。

第二步：聪明的“挑刺”（自适应调整）

这是 OLLA 最聪明的地方。

• 比喻： 刚开始，我们可能把“红苹果”和“青苹果”分错了。品控员尝了几个后发现：“哎，这堆红苹果里怎么混进了几个特别酸的？”
• OLLA 的反应： 它不会死板地继续尝。它会立刻调整分组！把那些“混进去的酸苹果”挑出来，单独放一堆，或者重新归类。
• 结果： 随着尝的苹果越来越多，分组越来越准，我们只需要尝很少的苹果，就能知道整体有多甜。

第三步：实时“进度条”（在线聚合）

• 比喻： 品控员每尝 100 个苹果，就立刻在屏幕上更新一次数据。
  • 尝了 100 个：甜度可能是 60%（误差很大，但有个数）。
  • 尝了 1000 个：甜度变成 65%，误差变小了。
  • 尝了 5000 个：甜度稳定在 65.2%，误差极小。
• 优势： 用户不需要等 10 万箱全尝完。只要看到“甜度 65.2%"这个结果已经足够准了（比如误差小于 5%），就可以喊“停！”，直接结束任务。

3. 它有多快？（实验结果）

论文里的实验数据非常惊人：

• 速度提升： 相比传统方法，OLLA 快了多少？
  • 在有些场景下，快了 1.6 倍。
  • 在有些场景下，快了 38 倍！
  • 通俗解释： 以前需要等 38 分钟才能得到的准确结果，现在只要 1 分钟就能给你一个非常接近的答案。
• 省时省力： 它通常只需要处理 不到 4% 的数据，就能达到和“尝完所有苹果”几乎一样的准确度。这意味着它节省了 96% 的 LLM 调用次数（也就是省了 96% 的钱和时间）。

4. 三种常见的“问法”

OLLA 能处理三种不同类型的“提问”：

1. 问总数（SELECT）： “所有评论里，平均评分是多少？”（LLM 负责把文字转成数字，然后算平均）。
2. 问筛选（WHERE）： “有多少条评论是‘好评’？”（LLM 负责判断哪条是好评，然后数数）。
3. 问分类（GROUP BY）： “好评、中评、差评各占多少比例？”（LLM 负责把评论分成三类，然后统计比例）。

总结

OLLA 就像是一个拥有“上帝视角”的超级助手。

它不再让你死板地等待大语言模型把每一行字都处理完。相反，它通过**“先分类、再挑重点尝、边尝边调整”的策略，让你在几秒钟内就能看到一个“正在不断变准”**的实时结果。

一句话概括： 以前是用大模型做“慢工出细活”的批处理，现在 OLLA 让它变成了“边看边猜、越猜越准”的实时直播，既快又省，还能让你随时喊停。

技术摘要

OLLA：面向非结构化文本分析的 LLM 驱动在线聚合框架技术总结

本文提出了一种名为 OLLA (Online Large Language model Aggregator) 的新型框架，旨在解决利用大语言模型（LLM）对海量非结构化文本进行实时分析时面临的延迟高、处理慢的问题。OLLA 将 LLM 的语义理解能力与关系型数据库中的**在线聚合（Online Aggregation）**技术相结合，实现了无需等待全量数据处理即可提供渐进式、带置信区间的近似结果。

以下是该论文的详细技术总结：

1. 问题背景 (Problem Definition)

• 核心痛点：随着非结构化文本（如日志、评论、文档）数据量的激增，LLM 因其强大的语义理解能力被引入数据分析（如将文本解析为结构化字段后执行 SQL）。然而，LLM 的 Token 生成速度远慢于传统关系型查询（行级处理耗时分钟级，而 SQL 查询仅需秒级）。
• 现有局限：现有的 LLM 驱动系统（如 LOTUS, UQE）通常采用**批处理（Batch Processing）**模式，即必须处理完所有数据行才能返回最终结果。这种模式无法满足生产环境中对低延迟、交互式分析的需求。
• 目标：如何在保证分析精度的前提下，显著降低 LLM 文本分析任务的响应时间，使用户能尽早获得洞察。

2. 方法论 (Methodology)

OLLA 的核心思想是增量式处理与语义分层采样。其工作流程包含以下关键组件：

2.1 系统架构

1. 非结构化到结构化流转换：利用 LLM 将原始文本实时转换为结构化数据流。
2. 语义分层采样 (Semantic Stratified Sampling)：
   • 嵌入与聚类：首先使用 Embedding 模型将文本映射到高维向量空间，并通过 K-means 算法进行聚类，形成初始的“层”（Strata）。
   • 自适应调整：由于初始聚类可能无法完美匹配 LLM 的最终分类结果，系统引入了采样 - 记录 - 调整的迭代机制。
     • 采样：根据奈曼分配（Neyman Allocation）策略，结合层大小和方差，动态决定从每个层抽取多少样本。
     • 记录：将样本送入 LLM 推理，更新层的统计信息（如类别频率、主导类别、异质性方差）。
     • 调整：如果某层的异质性方差超过阈值，系统会识别出“异常”或“混合”样本，并将其重新分配（拆分出新层或合并到相似层），以逐步纯化层级结构，使其与 LLM 的输出分布对齐。
3. 在线聚合引擎：基于流式计算（如 Spark Streaming），对到达的数据流进行增量聚合（如 COUNT, AVG），并实时计算置信区间。

2.2 支持的查询类型

OLLA 支持三种主要的 LLM 驱动查询模式：

• SELECT 子句：对结构化列分组，对非结构化列进行 LLM 聚合（如计算平均价格）。
• WHERE 子句：基于 LLM 对非结构化列进行过滤（如筛选正面评论），再对结构化列聚合。
• GROUP BY 子句：直接对 LLM 生成的非结构化分类结果进行分组聚合。

3. 关键贡献 (Key Contributions)

1. OLLA 框架：首个将在线聚合原理应用于 LLM 文本分析的系统，支持实时、渐进式的查询结果输出，用户无需等待全量处理完成即可获取近似洞察。
2. 语义分层采样机制：提出了一种动态的采样策略。通过将文本转化为向量并聚类，结合 LLM 推理结果动态调整分层，显著提高了采样的代表性和收敛速度。该方法在过滤场景下优先采样高概率有效样本，在分组场景下确保语义一致性。
3. 原型实现与评估：构建了基于 vLLM、Faiss 和 Spark Streaming 的原型系统，并在多个真实世界数据集上进行了广泛评估，证明了其在延迟和收敛速度上均优于现有基线。

4. 实验结果 (Results)

实验在包含产品评论、新闻分类、简历分析等多样化的真实数据集上进行，对比了 OLLA 与全量批处理（Full-data）及随机采样基线。

• 精度与收敛速度：
  • OLLA 仅需处理 不到 4% 的全量数据时间，即可达到 1% 的绝对误差边界（相对于标注真值）。
  • 在达到 5% 误差边界时，OLLA 相比全量处理实现了 1.6 倍 到 38 倍 的加速比。
  • 例如，在"WHERE"过滤场景下，仅需 2.6% 的时间即可达到 5% 误差边界（38 倍加速）；在"GROUP BY"场景下，加速比为 5.6 倍。
• 采样效率：
  • 语义采样 vs. 随机采样：语义分层采样在早期阶段能更快积累有效样本（Valid Samples），显著缩短了置信区间的收敛时间。在 Amazon 数据集上，达到 5% 误差边界所需的采样比例仅为 5.28%，而随机采样需要 6.44%。
  • 动态调整 vs. 静态分层：在分组聚合任务中，带有动态调整（Adjust）的策略比静态分层（No Adjust）和随机采样收敛更快。在 Movie 数据集上，动态策略平均仅需 13.75% 的全量时间即可达标，而静态策略需要 23.71%。
• 可扩展性：系统支持多实例 LLM 部署，随着 LLM 实例数量增加（1 到 4 个），处理时间呈现次线性下降趋势，证明了架构的可扩展性。

5. 意义与价值 (Significance)

• 打破延迟瓶颈：OLLA 解决了 LLM 在大规模数据分析中“慢”的痛点，使得在交互式界面（如 SQL 客户端）中实时分析非结构化文本成为可能。
• 资源优化：通过智能采样，OLLA 大幅减少了不必要的 LLM 调用次数，降低了计算成本和 Token 消耗。
• 范式转变：从“等待全量结果”转变为“渐进式洞察”，符合现代数据分析对实时性和交互性的需求，为未来 LLM 与数据库系统的深度融合提供了新的技术路径。

综上所述，OLLA 通过创新的语义分层采样和在线聚合机制，成功实现了 LLM 驱动文本分析的高效化，为处理海量非结构化数据提供了一种实用且高效的解决方案。