技术摘要：CAPruner

问题陈述

大语言模型（LLMs）已成为处理 3D 视觉-语言（3D-VL）任务的强大工具，这类任务需要根据目标物体与其锚点物体之间的空间关系来识别目标物体。为了实现这一目标，通常使用场景图来表示物体及其成对的空间关系。然而，在拥有数百个物体的场景中（例如，InteriorGS 数据集平均每个场景有 554 个物体），成对关系的数量呈平方级增长 ($\binom{n}{2}$)，导致 Token 数量超过 LLM 的输入限制并引起计算效率低下。

现有的解决方案，例如 3DGraphLLM 中使用的基于邻近性的 K-最近邻（KNN）策略，试图通过仅保留物体与其最近邻之间的关系来缓解这一问题。作者指出该方法存在关键缺陷：

1. 任务无关性： 空间邻近性并不保证任务相关性。对于特定查询（例如，相对于床的椅子）而言，必要的联系可能距离较远从而被剪枝，而无关的局部关系却被保留了下来。
2. 结构碎片化： 基于邻近性的剪枝往往会导致场景图断开。在 ScanNet 数据集中，经过 KNN 剪枝后，超过 67% 的场景变得不连通，这阻碍了 LLM 在不同连通分量之间进行推理。
3. 僵化性： 固定剪枝策略无法适应特定查询的上下文，迫使模型编码冗余信息，同时丢失关键的长程依赖关系。

方法论：CAPruner

作者提出了 CAPruner（概念相邻场景图剪枝器，Conceptual-Adjacent Scene Graph Pruner），这是一个轻量级模型，旨在选择与特定 3D-VL 任务最相关的场景图边子集。该方法将模糊语义相关性与空间邻近性相结合。

1. 核心组件

• 模糊语义匹配： 不同于依赖严格属性匹配（如颜色或形状，这在 3D 点云对齐中容易出错），CAPruner 对物体类别进行模糊匹配。它通过衡量物体类别与自然语言任务描述中 Token 之间的最大相似度，计算每个物体的语义相关性得分 ($s_i$)。这确保了所有潜在候选对象（例如，当查询提到“红色椅子”时，所有的“椅子”）都会获得高权重，从而降低了剪掉正确目标的风险。
• 空间邻近性加权： 为了处理依赖视角的空间关系（如“左”、“右”，这些关系难以准确预测），模型根据物体间的欧几里得距离对边进行加权，遵循格莱斯（Grice）的关系准则（即在语义条件相等时，优先考虑邻近物体）。
• 边权重预测： 一个多层感知器（MLP）接收两个端点物体的语义相关性得分及其距离作为输入，以预测边的权重。

2. 训练策略（基于节点监督）

一个主要的挑战是现有的 3D-VL 数据集缺乏关于成对关系重要性的标注（这些数据集通常仅标注目标物体）。为了避免标注所有关系的极高成本，CAPruner 采用了聚合节点级监督：

• 聚合： 使用 $p$-范数方法将与节点关联的边权重聚合为节点权重 ($v_i$)：$v_i = \sigma(\sum_j w_{ij}^p)^{1/p}$。
• 损失函数： 模型使用加权均方误差（WMSE）损失进行训练。该损失鼓励对应于目标物体的节点具有高权重（接近 1），而对于非目标节点具有低权重（接近 0）。
• 反向传播： 监督信号通过聚合操作向后传播，隐式地鼓励模型将更高的权重分配给与目标物体相关的边。

3. 推理

在推理过程中，模型为给定的场景和任务计算边权重。场景图通过保留每个节点权重最高的关联边来进行剪枝，从而生成一个特定的任务子图，该子图在丢弃冗余的同时保留了关键关系。

主要贡献

1. 确定剪枝需求： 作者通过定性和定量分析证明，LLM 的空间推理高度依赖于显式保留的关系。他们确立了有效的剪枝必须保留任务关键关系，而非仅仅是空间邻近的关系。
2. CAPruner 架构： 提出了一种结合模糊语义匹配与空间邻近性的轻量级剪枝模型。这种方法避免了严格匹配的“全或无”特性以及固定 KNN 策略的僵化性。
3. 新颖的监督机制： 开发了一种利用聚合节点分数来监督边权重的训练框架，无需昂贵的关联级标注。
4. 实证验证： 通过广泛实验表明，CAPruner 保留了本质的空间关系，从而在下游 3D-VL 任务中实现了显著的性能提升。

实验结果

作者在三个基准测试上评估了 CAPruner：ScanRefer（3D 视觉定位）、ScanQA（3D 视觉问答）和 SQA3D（情境化 3D VQA）。

• 性能增益： 使用相同的骨干 LLM（Llama-3.2-1B 和 Llama-3-8B），CAPruner 一致优于基线 3DGraphLLM（使用基于邻近性的 KNN）。
  • 在 ScanRefer 上，CAPruner + Llama-3-8B 达到了 61.7% 的准确率 (A.@0.25)，超过了基线 3DGraphLLM-8B (60.2%)。
  • 在 ScanQA 上，它达到了 56.0% 的准确率，而基线为 54.6%。
  • 在 SQA3D 上，它达到了 55.3%，优于基线的 54.7%。
• Token 效率： CAPruner 展示了更高的 Token 效率。例如，它在平均仅使用 582 个 Token 的情况下就实现了更好的性能，而基线使用了 882 个 Token，节省了约 34% 的 Token 使用量。
• 剪枝策略： 对学习到的边权重进行不同剪枝策略（KNN 与 MST）的对比实验表明，KNN 策略（保留每个节点权重最高的边）表现最好，这验证了优先考虑局部任务相关区域而非全局图连通性的方法是有效的。
• 消融研究：
  • 模糊匹配： 始终优于严格匹配和基于 BERT 的嵌入，凸显了在 3D 特征对齐存在噪声的情况下，鲁棒语义相关性的重要性。
  • 邻近性 vs. 语义： 虽然邻近性有助于识别，但研究发现语义相关性是主导因素，这符合关系准则。
  • $p$-范数： 准确率随着 $p$ 增加到 3 时有所提高，随后趋于稳定，这表明高权重边比权重的聚合总和更为关键。

重要性与主张

论文声称 CAPruner 为增强 LLM 在 3D-VL 任务中的空间推理能力提供了一种可扩展且有效的策略。通过将剪枝范式从“空间邻近性”转向“概念相邻性”（即任务特定的语义相关性），该方法确保了有限的 Token 预算被分配给对回答查询真正有用的关系。

作者强调，CAPeruner 以微不足道的推理开销（每样本 0.75 毫秒）实现了这些改进，且无需昂贵的关联级标注。他们得出结论，针对任务的场景图剪枝是扩展 3D-VL 系统的一条可行路径，使得 LLM 即使在拥有数百个物体的复杂场景中也能进行有效的推理。

承认局限性： 作者指出，场景图在表示高度复杂的多跳关系（例如，“第五排的第四把椅子...”）方面可能仍存在困难，这表明未来可能需要更通用的数据结构来应对此类场景。