From Atomic Evidence to Logical Composition: Structured Compositional Reasoning over Compound Answer Options

技术摘要：基于复合选项的结构化组合推理

问题陈述
大型语言模型（LLMs）在处理需要根据显式逻辑运算符（AND、OR、NEITHER/NOR）组合原子判断来选择答案选项的任务时，经常表现失败。虽然模型通常能正确评估单个原子命题，但它们难以将这些判断组合成连贯的最终决策。这种“组合性差距”（compositionality gap）表明，失败并非源于知识匮 Cell 缺失，而是源于表示和组合逻辑可能性的难度。标准的提示方法将原子评估与逻辑组合融合在单一的生成步骤中，导致缺乏诊断错误或强制执行逻辑约束的机制。此外，模型在处理析取组合（disjunctive compositions）和否定结构（如 NEITHER/NOR）时性能往往显著下降，这与人类推理的心理模型理论一致，即推理者需要维持的可能性越多，难度就越大。

方法论
作者提出了一个将原子证据提取与逻辑组合解耦的框架，确保模型永远不会作为一个整体来处理复合选项。该框架分为三个阶段：

1. 选项分解： 每个复合答案选项都被确定性地解析为其构成的原子答案以及连接它们的显式布尔运算符。跨多个选项共享的原子答案被视为同一个唯一的实体（$U_C$），从而确保命题无论出现在何处都能获得一致的评分。
2. 对比性证据提取： 对于每个唯一的原子答案，系统会根据上下文构建一对相反的自然语言假设：一个声明该原子得到支持（$h^+$），另一个声明该原子未得到支持（$h^-$）。模型被提示选择更具合理性的假设。原始证据得分由选择标记（choice tokens）的对数概率得出，并经过归一化处理，以产生两个假设之间的相对偏好得分。
3. 得分校准： 对原始得分进行校准以提高可靠性。作者引入了相对校准（Relative Calibration），这是一种利用逻辑回归模型将原始得分映射为校准概率的方法。不同于仅依赖绝对得分值的标准后验方法（如 Platt 缩放或等序校准），相对校准整合了代表该原子在特定实例中地位的特征（例如，它在其他原子中的排名及其与最高得分的距离）。这使得系统能够考虑到一个选项的有效性取决于原子之间如何相互比较。
4. 全局约束推理： 校准后的得分被输入到**算子约束整数线性规划（ILP）**中。该 ILP 定义了用于描述每个原子答案状态和每个复合选项有效性的二元决策变量。它通过强制执行编码了逻辑运算符语义的严格约束（例如，对于 AND，只有当两个原子都为真时，该选项才有效；对于 NEITHER/NOR，只有当两者都为假时，该选项才有效）。目标函数在满足这些约束的情况下，最大化原子分配的总证据（支持减去反对），以确保最终选择且仅选择一个复合选项作为预测结果。

核心贡献

1. 结构化框架： 一种新颖的方法，通过提取单个原子答案的对比性证据，并通过算子约束的 ILP 推理进行组合，有效地将逻辑组合从理解中分离出来。
2. 相对校准： 一种校准技术，根据原子在其自身实例中的置信度和相对地位对其进行评分，解决了多选项任务中独立校准的局限性。
3. LOGICAL-SATA 基准测试： 一个源自 SATA-Bench 的新阅读理解基准，专门用于评估带有显式逻辑运算符的复合答案推理。
4. 实证评估： 在两个不同基准（LOGICAL-COMMONSENSEQA 和 LOGICAL-SATA）上的全面评估表明，该框架显著优于直接提示法，尤其是在通常导致模型失败的运算符上。

结果
该框架使用 Llama-3.1-8B-Instruct 进行评估。

• 整体性能： 在 LOGICAL-COMMONSENSEQA 的人工验证集上，该框架将 Macro-F1 从 48.3（最佳直接提示法）提升至 77.0。在 LOGICAL-SATA 上，从 47.0 提升至 75.6。
• 特定运算符增益： 最显著的改进观察于 NEITHER/NOR，其中 LOGICAL-COMMONSENSEQA 的 Macro-F1 从 14.0 升至 76.8，LOGICAL-SATA 从 12.6 升至 73.4。在 OR 和 MIXED 设置下也有大幅提升，而 AND 的增益较为温和。
• 校准影响： 相对校准产生了最佳性能，特别是在使用不同运算符的 MIXED 设置中。它比 Platt 或 Isotonic 缩放更有效地降低了原子的 Brier 分数和对数损失，表明其在处理过度自信和相对排序方面表现更好。
• 错误分析： 当提供金标准（gold）原子状态时，ILP 推理层达到了 100% 的准确率，证实了逻辑约束被完美编码。剩余的错误归因于初始原子证据提取阶段的失败（例如，误解修饰语或文章主题）。

意义与主张
论文声称，观察到的逻辑推理失败通常是由于组合局部判断的困难，而非缺乏相关知识。通过显式地将原子事实的评估与这些事实的逻辑组合分离，该框架弥合了组合性差距。结果表明，即使模型在单次运行中无法正确组合它们，它们仍保留了关于单个原子答案的有用证据。相对校准的引入强调了在多项选择设置中，原子判断的有效性往往取决于其他可用选项的上下文。作者得出结论，在显式约束下的结构化推理是提高 LLM 逻辑推理能力的一条可行路径，特别是对于复杂的否定和析取结构。