From Baselines to Preferences: A Comparative Study of LoRA/QLoRA and Preference Optimization for Mental Health Text Classification

1. 研究背景与问题 (Problem)

• 背景：心理健康文本分类已成为高影响力的自然语言处理（NLP）应用，旨在从在线社区和数字护理渠道中检测风险信号。
• 核心问题：尽管现代适配方法（如微调、偏好优化）已被广泛采用，但业界缺乏关于何时、为何以及如何选择特定优化策略的实用指导。
• 挑战：
  • 现有的研究通常将不同方法（如经典模型、参数高效微调、偏好优化）在各自独立的实验设置中报告，导致难以区分性能提升是源于模型架构本身，还是源于实验配置（如超参数、数据平衡）的 artifacts（伪影）。
  • 心理健康任务对鲁棒性、少数类表现和训练配置的敏感性极高，微小的聚合改进可能掩盖了模型在特定类别上的巨大差异。
  • 缺乏统一的协议来比较从传统基线到最先进的偏好优化（Preference Optimization）的完整优化路径。

2. 方法论 (Methodology)

本研究采用系统性的比较研究，在统一的实验协议下，将优化路径分为三个递进阶段，旨在隔离不同干预措施（架构、目标函数、优化器、数据平衡）的影响。

2.1 数据集与任务

• 数据集：使用 DAIC-WOZ 语料库（包含 189 次临床风格访谈），基于 PHQ-4 框架构建标签。
• 任务：
  • 主任务：4 类联合标签分类（焦虑/抑郁的有无组合）。
  • 次级任务：从联合预测中推导出的二元分类（焦虑、抑郁）。
• 评估指标：宏平均 F1 (Macro-F1)、加权 F1 (Weighted-F1)、宏平均精确率 (Macro-Precision) 和宏平均召回率 (Macro-Recall)。

2.2 三阶段实验设计

研究按照“透明基线 -> 受控微调 -> 偏好优化”的顺序进行：

1. 阶段一：经典与编码器基线 (Baselines)

   • 模型：XGBoost（稀疏特征）、BERT-family (BERT-base, DistilBERT, RoBERTa)。
   • 策略：对比“原生 (Vanilla)"与“优化后 (Optimized，如温度缩放推理)"的表现，测试上下文窗口（Context Window）大小的敏感性。

2. 阶段二：参数高效监督微调 (SFT with LoRA/QLoRA)

   • 方法：LoRA 和 QLoRA。
   • 变量控制：
     • 目标函数：判别式 (Discriminative) vs. 生成式 (Generative)。
     • 输出模式：仅标签 (Label only)、标签置信度 (Label confidence)、标签理由 (Label rationale)。
     • 优化器：AdamW, Adafactor, Adam8bit。
   • 目的：分析目标函数、适配器类型、输出模式和优化器之间的交互作用对性能稳定性的影响。

3. 阶段三：偏好优化 (Preference Optimization)

   • 方法：DPO (Direct Preference Optimization), ORPO (Odds Ratio Preference Optimization), KTO (Kahneman–Tversky Optimization)。
   • 策略：在 LoRA/QLoRA 基础上，对比“原生 (Vanilla)"与“重平衡 (Rebalanced，针对类别不平衡进行干预)"两种训练配置。
   • 目的：探究偏好优化是否比 SFT 带来额外收益，以及这种收益是否依赖于特定的算法或数据平衡策略。

3. 关键贡献 (Key Contributions)

1. 统一的比较框架：首次在同一协议下系统比较了从 XGBoost/BERT 基线到 LoRA/QLoRA SFT，再到 DPO/ORPO/KTO 偏好优化的完整技术栈。
2. 方法论洞察而非单一分数：不仅报告最佳分数，还深入分析了性能如何随目标函数形式、适配器选择、优化器行为、上下文窗口和类别平衡干预而变化。
3. 明确的优化叙事 (Optimization Narrative)：提出了针对心理健康 NLP 的实用指南：从透明基线开始，应用受控微调，并在有实证证据表明收益一致时，才选择性使用偏好优化。
4. 揭示偏好优化的敏感性：证明了偏好优化方法（DPO, ORPO, KTO）的表现高度依赖于具体算法和数据平衡，而非所有偏好优化都能带来提升。

4. 主要结果 (Results)

4.1 基线表现

• BERT-base-uncased 是最强且最稳定的编码器基线。优化后的 BERT (温度缩放) 在窗口 384 处达到最佳 Macro-F1 (0.3518)。
• XGBoost 表现具有竞争力（最佳 F1 0.3375），但在大窗口下表现不如 BERT。
• 窗口敏感性：模型性能对上下文窗口大小高度敏感，BERT 在中等到大窗口（256-384）表现最佳，而 DistilBERT 和 RoBERTa 在某些大窗口下性能急剧下降。

4.2 SFT (LoRA/QLoRA) 结果

• 目标函数差异：生成式 (Generative) 目标在峰值和平均性能上均优于判别式 (Discriminative) 目标。
• 最佳配置：生成式 + "Label only" 模式 + 中等/大窗口 (384/512) 是最稳健的配置。
• 优化器影响：Adafactor 在生成式设置中提供了最稳定的平均性能；Adam8bit 虽能产生高峰值，但在某些配置下方差较大。
• 适配器：QLoRA 在原生模式下略优于 LoRA，但在优化后两者差距缩小。

4.3 偏好优化结果 (核心发现)

• 方法差异巨大：
  • ORPO：表现最稳健，是首选的偏好优化方法。
  • DPO：表现中等，但对类别重平衡 (Rebalancing) 极其敏感。重平衡后，DPO (QLoRA) 的 F1 从 0.2174 跃升至 0.3493。
  • KTO：在所有配置下表现最差 (F1 ≈ 0.12)，且重平衡对其无效，表明其在此任务设置下效果有限。
• 重平衡的必要性：对于 ORPO 和 DPO，类别重平衡是决定性干预措施，能显著提升性能；但对于 KTO 无效。
• 最佳整体结果：ORPO + 重平衡 (QLoRA) 达到了全论文最高分，Macro-F1 为 0.3798，显著优于所有基线和其他方法。

4.4 次级任务转移 (焦虑与抑郁)

• 在推导出的焦虑和抑郁二元分类任务中，排名模式与主任务一致：
  • 优化后的 BERT 基线表现依然最强。
  • SFT 方法表现稳健但略低于基线。
  • 偏好优化方法再次显示出高度依赖性：ORPO 表现最好，DPO 次之（且受重平衡影响大），KTO 依然无效。

5. 意义与结论 (Significance & Conclusion)

• 实践指导意义：
  • 对于心理健康文本分类，不要盲目追求最新的偏好优化方法。
  • 首选策略：从强大的透明基线（如优化后的 BERT）开始。
  • 微调策略：如果资源允许，使用生成式目标的 LoRA/QLoRA 微调，重点关注输出模式和优化器的稳定性。
  • 偏好优化策略：仅在数据经过严格重平衡且选择 ORPO 算法时，才考虑使用偏好优化，因为它能带来显著的性能提升。避免在数据不平衡或算法选择不当时使用 DPO 或 KTO。
• 理论贡献：
  • 证明了在心理健康 NLP 中，优化策略的选择比模型架构本身更重要。
  • 揭示了偏好优化并非通用的“性能提升器”，其效果高度依赖于具体的算法实现（ORPO vs DPO vs KTO）和数据分布（类别平衡）。
• 可复现性：该研究提供了一个可复现的框架，帮助从业者根据具体约束（计算资源、数据平衡情况）选择最有效的训练策略，而非仅仅依赖架构选择。

总结：该论文通过严谨的对比实验，打破了“偏好优化必然优于监督微调”的迷思，指出在心理健康分类任务中，ORPO 配合数据重平衡是目前最有效的路径，而优化后的 BERT 基线依然是极具竞争力的基准。研究强调了“受控优化”和“方法敏感性”在构建鲁棒心理健康 AI 系统中的核心地位。