A Cross-Model VLM-Judge Protocol for Single-Image 3D Mesh Quality (and Why Cheap Proxies Fall Short)

技术摘要：一种用于单图 3D 网格质量评估的跨模型 VLM-Judge 协议

问题陈述
单图转 3D 生成器正在快速进步，但该领域仍缺乏一种公认的、无需人工参与的方法来判断一个生成的网格是否优于另一个。从业者目前依赖于“廉价”的自动代理指标，特别是渲染空间 CLIP 相似度和网格几何有效性统计数据（例如：水密性、流形性、法线一致性）。然而，目前尚未确定这些代理指标在多大程度上能够追踪感知到的网格质量——这才是下游用户、排序器和训练信号所关注的核心指标。核心问题在于，确定这些低成本指标是否可以作为高保真质量评估的可靠替代方案。

方法论
作者提出并验证了一种以视觉语言模型（VLM）评判器为中心的、可复现的评估协议，旨在将其作为参考真值（reference oracle）。

• 评估协议：

  • 输入： 对从单张图像生成的归一化网格应用固定的 24 视角无头渲染装置（headless render rig）。
  • 评判器： 采用了两个独立的开源 VLM 系列：一个“真值”评判器（Qwen2.5-VL-7B-Instruct）和一个独立的验证评判器（InternVL3-8B）。使用两个不同的模型是为了进行跨模型一致性检查，而非依赖单一模型的偏差。
  • 位置偏差校正： 意识到 VLM 存在呈现顺序偏差，协议会对每一对样本进行双向查询（A vs. B 和 B vs. A）。只有当交换顺序后的判定保持一致时，才保留该判定；不一致的判定会被丢弃。这种校正至关重要，因为原始判定显示出约 26% 的不一致性。
  • 测试的代理指标： 协议将四种代理策略与独立的验证评判器进行对比评估：
    1. 仅几何得分（基于水密性、流形性、非自交、法线一致性）。
    2. 渲染-CLIP 相似度得分。
    3. 上述指标的固定权重复合得分。
    4. 一个在真值评判器标签上训练的学习型 Bradley–Terry 头（逻辑回归），用于对五个特征进行加权。

• 实验设置：

  • 数据： 来自 Google Scanned Objects 的 60 个物体。
  • 生成器： 两个前馈生成器（Stable Fast 3D 和 TripoSR）以及各自的一个“掉脸”（face-drop）退化变体，从而构建了一个质量谱系。
  • 划分： 严格的对象级划分确保没有物体跨越训练集/测试集。学习型头部在子集上进行训练，并在持有的配对上针对验证评判器进行评估。
  • 统计： 使用威尔逊 95% 置信区间（Wilson 95% CI）和相对于机会一致性基准（0.5）的 Cohen's $\kappa$ 来衡量一致性。使用集群自助抽样法（Cluster bootstrapping）来处理对象级的聚类问题。

核心贡献

1. 经过验证的 VLM-Judge 协议： 作者建立了一个可复现、无需人工的评估框架，其特点是固定的渲染装置、双独立评判器以及强制性的位置偏差校正。这两个模型家族实现了显著的一致性（$\kappa=0.66$，原始一致性为 0.83），远高于随机机会水平。
2. 量化位置偏差： 研究表明，位置偏差是一个主要的失效模式，约 26% 的原始判定会根据呈现顺序发生翻转。校正这种偏差被证明是必不可少的，它将一致性估计从平凡水平（例如 0.333）提升到了实质性水平（0.714）。
3. 廉价代理指标的失效： 以 VLM 评判器作为真值，本文证明了廉价代理指标无法替代评判器：
   • 几何有效性： 虽然显著高于随机水平（0.62），但仍然较弱，且低于预注册的目标（$\approx \ge 0.75$）。
   • 渲染-CLIP： 表现处于随机水平（0.48），不携带任何可用的质量信号。
   • 学习型权重： 学习型的 Bradley–Terry 头坍缩到了单一的流形性统计量上（给渲染-CLIP 分配了负权重），导致其排名与仅几何得分的排名完全一致。学习特征权重并未带来额外收益。
4. 双峰式代理行为： 子组分析显示，代理指标具有双峰特性。它们仅在存在可见几何缺陷的对比中（例如跨生成器比较或明显的孔洞）表现出显著高于随机水平的表现，而在模糊的质量判定中则降至随机水平。这表明，只有当缺陷在视觉上显著时，代理指标才能追踪评判器的判断。

结果

• 可靠性： 两个 VLM 评判器之间的跨模型一致性是稳健的（0.83 一致性，$\kappa=0.66$），证实了该协议作为参考标准的可靠性。
• 代理性能：
  • 几何： 在全集上的一致性为 0.62（95% CI [0.56, 0.68]）。
  • 渲染-CLIP： 一致性为 0.48（95% CI [0.42, 0.54]），与随机水平无异。
  • 学习型头部： 与仅几何得分完全匹配（在持有的数据上为 0.52），表明性能受限于特征集而非模型架构。
• 子组分析： 几何有效性在跨生成器对比中达到 0.91 的一致性，在 TripoSR 退化对比中（存在明显孔洞处）达到 0.80。然而，在跨生成器混合配对（模糊情况）中，它降至 0.53。渲染-CLIP 在所有子组中表现均较弱（0.37–0.70）。

意义与主张
本文声称，在特定测试条件下（针对 Google Scanned Objects 的两个前馈生成器及特定的掉脸退化机制），所提出的跨模型、经位置偏差校正的 VLM-judge 协议是一个可靠且可复现的无需人工的评估器。

相反，作者建议不要使用几何有效性或渲染-CLIP 代理作为优化目标或奖励信号。这些代理指标不仅信号微弱，而且在可见缺陷的对比中表现出“虚假的良好”，而在对于排名或优化单个模型至关重要的模糊对比中则表现失败。作者建议，基于奖励的专业化应当直接由去偏差后的 VLM-judge 偏好驱动，而不是由那些生成器可以通过满足（例如通过最大化流形性）而不实际提高感知质量的代理指标来驱动。

局限性
作者指出，虽然他们通过要求跨模型一致性来减轻影响，但 VLM 评判器仍被视为真值。本研究受限于特定的范畴（两个生成器、一个数据集、特定的退化类型），且未涵盖自然主义的失效情况（如薄结构或透明度）。此外，“Stable Fast 3D 内部”子组存在混淆因素，因为在开放壳体上进行“掉脸”操作几乎是不可见的，这使得评判器自身的判定在该特定单元中也具有模糊性。