Estimating Commonsense Plausibility through Semantic Shifts

这篇论文提出了一种名为 ComPaSS (Commonsense Plausibility through Semantic Shifts) 的新框架，用于通过测量语义偏移（Semantic Shifts）来评估常识的合理性。该方法旨在解决现有生成式方法在细粒度常识合理性评估中表现不佳的问题。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 核心挑战：常识知识（Commonsense Knowledge）是自然语言理解的基础，但大型语言模型（LLMs）在生成内容时往往缺乏常识合理性，且现有的评估框架难以有效量化这种合理性。
• 现有方法的局限：
  • 生成式方法（Generative Approaches）：主要依赖两种策略：
    1. 似然估计（Likelihood Estimation）：利用模型预测 token 的概率。
    2. 语言化判断（Verbalized Judgments）：让模型直接生成“合理/不合理”的文本判断。
  • 缺陷：这些方法本质上是生成式的，难以进行细粒度（fine-grained）的区分。例如，它们难以区分“企鹅是黑色的”和“企鹅是灰色的”哪个更合理（因为两者在文本中都可能存在），或者容易受到报告偏差（Reporting Bias）的影响（例如，文本中常提到“黑羊”作为习语，导致模型误以为黑羊很常见，而忽略了现实中羊多为白色）。
• 目标：开发一种通用的、零样本（zero-shot）的判别式方法，能够跨不同输入格式和知识水平评估常识合理性。

2. 方法论 (Methodology: ComPaSS)

ComPaSS 的核心思想是：合理的常识补充会导致最小的语义偏移，而不合理的补充会导致巨大的语义偏离。

• 基本流程：

  1. 句子构建：
     • 锚点句（Anchor Sentence）：包含基础上下文，但省略具体的常识细节（例如：“有一只企鹅”）。
     • 候选句（Candidate Sentence）：在锚点句基础上补充待评估的常识信息（例如：“有一只黑色的企鹅”或“有一只绿色的企鹅”）。
     • 针对结构化输入（如三元组）使用模板构建，针对自由文本（如问答）使用 Prompt 让 GPT-4 生成连贯句子。
  2. 语义编码：
     • 使用预训练模型（LM 或 VLM）将锚点句和候选句编码为稠密语义向量（Embeddings）。
     • 支持多种架构：Encoder-only (如 RoBERTa), Decoder-only (如 Mistral, Qwen), 以及 Vision-Language Models (如 CLIP, EVA-CLIP)。
     • 利用对比学习（Contrastive Learning）预训练的模型能更好地捕捉语义细微差别。
  3. 合理性评分：
     • 计算锚点句向量与候选句向量之间的语义相似度（如余弦相似度）。
     • 原理：相似度越高（语义偏移越小），说明该常识信息越符合常识，合理性得分越高；反之则越低。
  4. 排序：根据得分对候选答案进行排序。

• 关键设计点：

  • 判别式视角：将任务从“生成判断”转变为“测量语义距离”，更适合细粒度评估。
  • 多模态支持：引入视觉 - 语言模型（VLMs）以解决文本数据中的报告偏差（例如通过图像确认企鹅确实是黑色的，而非文本统计中的偏差）。

3. 实验设置 (Experimental Setup)

• 数据集：
  1. 属性值排序（Attribute Value Ranking）：
     • CoDa：物体颜色分布（521 个物体，11 种颜色候选）。
     • ViComTe：更广泛的属性（颜色、形状、材质）。
  2. 常识框架补全（Commonsense Frame Completion, CFC）：自由形式的问答，要求模型根据常识对答案进行合理性排序。
• 基线模型：
  • 基于内部知识的生成式方法（似然估计、语言化判断）。
  • 基于外部知识的方法（COMET, ACCENT, VERA）。
  • 各种基座模型：RoBERTa, Mistral, Qwen2, CLIP, EVA-CLIP 等，包含对比学习预训练版本。
• 评估指标：Spearman 秩相关系数（主要指标，衡量排序一致性）和准确率（二元比较）。

4. 主要结果 (Results)

• 整体性能：ComPaSS 在结构化三元组和自由文本任务上，均显著优于现有的生成式基线方法（包括 VERA 和 GPT-4）。
• 模型架构对比：
  • VLMs 优于 LMs：在涉及视觉常识（如颜色、形状）的任务中，结合 ComPaSS 的视觉 - 语言模型（如 EVA-CLIP）表现远超纯文本 LLM。这证明了视觉信息能有效纠正文本中的报告偏差。
  • 判别式 vs. 生成式：即使是参数量较小的 Encoder-only 模型（如 RoBERTa），配合 ComPaSS 也能达到甚至超越参数量巨大的 Decoder-only 模型（如 7B LLM）的效果，表明判别式方法在参数效率上更具优势。
• 对比学习的作用：经过对比学习预训练的模型（如 E5-Mistral, gte-Qwen2）在 ComPaSS 框架下表现显著优于未进行对比学习的版本，说明捕捉语义细微差别的能力至关重要。
• 超越 SOTA：在多项任务中，ComPaSS（基于开源模型）的表现甚至超过了闭源的 GPT-4，特别是在细粒度的属性排序任务上。

5. 关键贡献 (Key Contributions)

1. 提出 ComPaSS 框架：首次提出通过测量“语义偏移”来量化常识合理性，将评估任务转化为判别式的语义相似度计算问题。
2. 揭示判别式方法的优势：证明了在细粒度常识评估中，判别式方法比传统的生成式（似然或语言化）方法更有效，能更好地捕捉细微的合理性差异。
3. 验证多模态的价值：展示了视觉 - 语言模型（VLMs）在处理视觉 grounded 常识任务时的独特优势，有效缓解了文本数据中的报告偏差（Reporting Bias）。
4. 强调语义表示的重要性：指出对比学习预训练对于提升语义表示的区分度至关重要，从而直接提高了合理性评估的精度。

6. 意义与局限性 (Significance & Limitations)

• 意义：
  • 为 LLM 的常识能力评估提供了一种更可靠、更细粒度的工具。
  • 证明了无需针对特定任务进行微调（Zero-shot），利用预训练模型的语义嵌入即可实现高质量的常识推理评估。
  • 强调了多模态学习在构建全面常识理解中的必要性。
• 局限性：
  • 绝对判断困难：该方法主要提供相对排序（Comparative Assessment），难以给出绝对的合理性分数（Pointwise Judgment）。
  • 数据偏差继承：由于依赖预训练模型，ComPaSS 仍可能继承训练数据中的社会刻板印象或分布偏差。

总结：ComPaSS 通过一种巧妙的“语义偏移”测量机制，成功地将常识合理性评估从概率生成问题转化为语义空间中的距离度量问题。它不仅提升了评估的准确性，还揭示了多模态和对比学习在增强模型常识理解方面的巨大潜力。