Mapping the Course for Prompt-based Structured Prediction

1. 研究背景与问题 (Problem)

核心挑战：
大型语言模型（LLM）虽然在各种自然语言处理（NLP）任务中表现出色，但在**结构化预测（Structured Prediction）**任务中仍存在显著局限性：

• 幻觉与不一致性： LLM 倾向于生成幻觉内容，且难以保证输出结构的全局一致性（例如，在指代消解中违反传递性，或在道德框架分析中角色分配冲突）。
• 自回归生成的局限： 传统的提示（Prompting）方法通常将结构化任务分解为独立的局部预测，或一次性生成整个序列。这些方法缺乏机制来严格强制执行结构约束（如逻辑一致性、互斥性）。
• 置信度评分困难： 将 LLM 的提示输出转化为结构化推理算法（如整数线性规划 ILP）所需的置信度分数极具挑战性。现有的置信度估计方法（如直接概率、采样一致性等）在结构化场景下的有效性尚不明确。

研究目标：
探索如何将 LLM 的预测能力与组合推理（Combinatorial Inference）相结合，以解决上述问题。具体研究问题包括：

1. 如何最有效地从 LLM 中提取置信度分数，用于组合推理？
2. 如何针对结构化预测任务对 LLM 进行微调（Fine-tuning）？

---

2. 方法论 (Methodology)

作者提出了一种通用框架，将 LLM 作为因子图（Factor Graph）中的势函数（Potentials）评分器，并结合整数线性规划（ILP）进行全局推理。

2.1 整体框架

• 因子图建模： 将结构化预测问题定义为基于 LLM 的因子图 $\Psi$。
• 局部评分： 使用 Decoder-only LLM 对每个局部决策（子结构）进行评分。
• 全局推理： 通过 MAP（最大后验）推理寻找最优结构 $y$，同时满足结构约束 $C$：
  $$\arg \max_{y \in Y} \sum_{\psi_i \in \Psi} \rho(x_i, y_i; \theta) \quad \text{s.t.} \quad c(x_c, y_c)$$
  其中，$\rho$ 是 LLM 的评分函数，$C$ 是约束集合。推理过程使用**整数线性规划（ILP）**求解。

2.2 置信度评分策略 (Scoring Sub-structures)

为了获取 ILP 所需的置信度分数，作者系统评估了多种提示策略，分为**白盒（White-box）和黑盒（Black-box）**两类：

• 白盒方法（需访问 Token 概率）：
  • 真/假问题（True/False）： 将任务转化为判断特定标签是否为真的问题，利用生成 "True" 或 "False" 的概率作为置信度。
  • 多项选择（Multiple Choice）： 将标签作为选项，计算生成对应选项 Token 的概率。
  • 生成式分类（Generative Classification）： 反转输入输出，给定标签描述生成文本，计算生成概率（需归一化）。
• 黑盒方法（仅依赖文本生成）：
  • 生成采样（Generation Sampling）： 多次采样生成，计算特定标签出现的频率作为置信度。
  • 语言化置信度（Verbalized Confidence）： 直接提示模型输出 0-100 的置信度数值。

2.3 学习与校准策略 (Learning Strategies)

除了零样本/少样本提示，作者还探索了三种学习机制以对齐 LLM 与结构化目标：

1. 少样本分数校准（Few-Shot Score Calibration）：
   • 局部校准（Local Calibration）： 为每个子任务训练独立的逻辑回归层，最小化交叉熵损失。
   • 全局校准（Global Calibration）： 联合训练所有逻辑回归层，使用结构化铰链损失（Structured Hinge Loss），直接优化全局结构预测结果。
2. 局部微调（Local Fine-tuning）： 使用标准的下一个 Token 预测损失，对 LLM 进行监督微调，针对每个局部组件。
3. 全局微调（Global Fine-tuning）： 将结构化铰链损失反向传播到 LLM 本身（结合 LoRA），直接优化全局结构目标。

---

3. 实验设置与数据集 (Experiments)

• 任务：
  1. 道德框架分析（Morality Framing）： 识别推文中的道德基础（5 种）及实体扮演的道德角色（16 种）。需满足约束：实体角色必须与推文整体道德基础一致，且同一推文中不同实体角色互斥。
  2. 指代消解（Coreference Resolution）： 判断文档中的实体提及是否指向同一实体。需满足传递性约束（若 A=B 且 B=C，则 A=C）。
• 数据集： GENIA（生物医学指代消解）、CoNLL 2012 OntoNotes（通用指代消解）、Roy et al. (2021) 的道德框架数据集。
• 模型： Llama-3.1-8B, Mistral-7B, Llama-70B, GPT-5。
• 评估指标： Micro/Macro F1 分数，约束违反次数（Constraint Violations）。

---

4. 关键结果 (Key Results)

4.1 推理（Inference）的普遍增益

• 无论采用何种置信度提取策略，引入结构化推理（+ constr）均能显著提升性能，并完全消除约束违反（Violations 降为 0）。
• 在道德框架任务中，推理将 Micro F1 提升了约 5-10 个百分点。

4.2 置信度评分策略对比

• 真/假问题（True/False） 表现最佳，优于多项选择和生成采样。
• 多项选择（Multiple Choice） 在道德基础子任务中表现接近真/假，且提示效率更高（Token 消耗更少）。
• 语言化置信度（Verbalized Confidence） 和 生成采样 表现相对较差，且计算成本较高。

4.3 学习策略对比

• 全局校准（Global Calibration） 优于局部校准，特别是在预训练模型上。
• 全局微调（Global Fine-tuning） 取得了最佳性能。
  • 在道德框架任务上，全局微调 + 推理的方法（F1 ~0.76）超越了之前的 SOTA 方法（基于深度结构化预测的经典方法，F1 ~0.72）。
  • 在指代消解任务上，全局微调同样取得了最高分（F1 ~0.89）。
• 数据效率： 引入约束后，模型仅需 20% 的训练数据即可收敛到高性能，显著提升了数据效率。

4.4 模型规模的影响

• 在预训练少样本设置下，更大的模型（Llama-70B, GPT-5）通常表现更好，但在某些特定提示策略下（如多项选择），70B 模型的表现甚至略低于 8B 模型，推测是因为大模型更擅长遵循复杂指令而非简单的真/假判断。
• 无论模型大小，“局部预测 + 全局推理” 的架构均优于“端到端一次性生成”的提示策略。

4.5 计算成本

• 真/假和多项选择策略计算效率最高。
• 语言化置信度和生成式分类因需要多次提示，计算成本极高。
• 符号推理（ILP）带来的额外时间成本微乎其微（平均增加 <1 秒）。

---

5. 主要贡献 (Key Contributions)

1. 系统性评估： 首次全面比较了多种 LLM 置信度估计策略在结构化推理场景下的有效性，发现真/假问题是提取置信度的最佳方式。
2. 验证推理价值： 证明了无论使用何种置信度提取策略，结合组合推理（Combinatorial Inference）都能显著提升结构化预测的准确性和一致性。
3. 提出全局学习目标： 探索并验证了基于全局结构化目标（Global Structured Objectives）的微调和校准策略，发现其优于传统的局部微调，能进一步提升模型性能。
4. 新 SOTA： 在道德框架和指代消解两个复杂任务上，提出了超越现有 SOTA 的方法，证明了在 LLM 时代，结构化学习（Structured Learning）依然具有不可替代的价值。

---

6. 意义与结论 (Significance & Conclusion)

• LLM 与符号推理的融合： 该研究表明，LLM 强大的语义理解能力与符号推理的严格约束能力是互补的。LLM 负责处理模糊的语义和局部特征，而推理算法负责确保全局逻辑一致性。
• 结构化学习的复兴： 在 LLM 主导的时代，传统的结构化预测技术（如 ILP、结构化损失函数）并未过时，而是通过新的形式（作为 LLM 的校准器和推理器）焕发了新生。
• 未来方向： 作者建议将此类方法扩展到多智能体工作流（Multi-agent workflows），其中子任务开放且缺乏监督，但子任务之间存在依赖关系。

总结： 这篇论文为利用 LLM 解决复杂结构化预测问题提供了一条清晰的“路线图”：使用真/假提示获取置信度 -> 结合 ILP 进行全局推理 -> 使用全局结构化损失进行微调。这一范式显著提升了模型在逻辑一致性、准确性和数据效率方面的表现。