Trojan-Speak: Bypassing Constitutional Classifiers with No Jailbreak Tax via Adversarial Finetuning

1. 研究背景与问题 (Problem)

随着主要 AI 提供商（如 OpenAI、Anthropic、Google）开放了微调 API，攻击者可以利用这些接口对模型进行定制化训练。这创造了一个新的攻击面：

• 核心威胁：攻击者可以通过微调模型，使其绕过现有的安全防御措施（如内容过滤器），生成危险内容（如 CBRN——化学、生物、放射性和核武器的详细合成指令）。
• 现有防御：目前最先进的防御手段是 宪法分类器 (Constitutional Classifiers)，这是一种基于大语言模型（LLM）的内容过滤器，经过大量红队测试，能有效拦截有害文本。
• 现有攻击的局限性（"越狱税" Jailbreak Tax）：之前的对抗性微调研究（如 Covert Malicious Fine-tuning, CMFT）虽然能绕过检测，但会导致模型在推理基准测试（Reasoning Benchmarks）上的能力严重下降（超过 25%）。这种“能力退化”使得攻击生成的有害内容质量低下，缺乏实际威胁（例如无法提供专家级的武器合成步骤）。
• 研究目标：是否存在一种方法，既能高效绕过基于 LLM 的分类器，又能保持模型原有的推理能力，从而生成高质量、专家级的危险信息？

2. 方法论 (Methodology)

作者提出了 Trojan-Speak，一种结合了课程学习（Curriculum Learning）和混合强化学习（Hybrid RL+SFT）的对抗性微调方法。其核心在于设计一种编码通信协议，使模型学会在“伪装”的格式下处理有害指令。

2.1 核心组件

1. 编码方案 (Encoding Scheme)：

   • 替换密码 (Substitution Cipher)：使用频率优先的替换策略（仅替换英语中出现频率最高的 7-8 个字母，如 e, t, a 等），而非随机替换。
   • 伪装模板 (Template Camouflage)：将编码后的内容嵌入到看似无害的技术文档模板中（如区块链交易日志、法医分析报告、系统日志）。这解决了分类器对“加密文本”本身的警惕，使其看起来像合法的技术数据。
   • 效果：这种编码既能让分类器无法解码内容（从而无法识别语义），又能让模型在微调后轻松解码。

2. 两阶段课程学习 (Two-Stage Curriculum Learning)：

   • 阶段 1：教学 (Teaching)：使用约 25,000 个通用对话样本，专门训练模型掌握编码和解码规则。此阶段不包含有害内容，旨在建立编码流利度，同时保留通用能力。
   • 阶段 2：任务 (STEM Tasks)：在 STEM（科学、技术、工程、数学）问题上进行微调。采用课程衰减 (Curriculum Decay) 策略，教学比例从 80% 线性降至 20%，并保留 20% 的未编码样本以维持基础推理能力。

3. 混合 RL+SFT 训练 (Hybrid RL+SFT Training)：

   • 问题：纯强化学习（RL）在训练后期会导致编码错误累积，使模型输出乱码，性能崩溃。
   • 解决方案：交替进行 GRPO (Group Relative Policy Optimization) 强化学习和 监督微调 (SFT)。
     • RL 步骤：优化编码查询的任务表现（奖励基于答案正确性）。
     • SFT 步骤：定期使用格式正确的样本对模型进行正则化，防止编码格式崩溃。
   • 优势：这种混合训练稳定了优化过程，避免了纯 RL 导致的性能退化。

3. 关键贡献 (Key Contributions)

1. 无“越狱税”的对抗微调：首次证明了攻击者可以在绕过安全分类器的同时，不牺牲模型的推理能力。
2. 高效的编码策略：发现仅替换高频字母（7 个以上）即可实现 99%+ 的绕过率，且比随机替换或复杂编码（如 Base64）更能保留模型能力。
3. 混合训练架构：提出了 GRPO + 周期性 SFT 的训练范式，解决了编码微调中常见的训练不稳定和性能崩溃问题。
4. 激活级探测 (Activation Probes)：展示了基于模型隐藏状态（Hidden States）的线性分类器（探针）可以有效检测编码后的有害内容，即使文本层面的分类器失效。

4. 实验结果 (Results)

实验主要针对 Anthropic 的 Claude Haiku 4.5 以及 Qwen3 系列模型（4B 到 32B 参数）。

• 绕过率 (Evasion Rate)：

  • 在 Anthropic 的 Bug Bounty Benchmark（专家级 CBRN 查询）上，Trojan-Speak 实现了 99%+ 的分类器绕过率。
  • 生成的回答包含详细的专家级危险信息（如蓖麻毒素提取步骤），且通过了所有测试的安全分类器（包括 QwenGuard, LlamaGuard, Anthropic ASL-3）。

• 能力保留 (Capability Retention)：

  • 14B+ 参数模型：在 GPQA-Diamond, MMLU-Pro, MATH-500 等推理基准上，保留了 95% 以上 的原始能力。
  • 对比：相比之下，之前的 CMFT 方法导致能力下降超过 25%。
  • 小模型表现：4B 和 8B 模型的能力保留率较低（约 50-70%），表明编码通信需要足够的模型容量来同时维持编码方案和复杂推理。

• 训练稳定性：

  • 纯 RL 训练在约 20 步后性能急剧下降（编码错误累积）。
  • 混合 RL+SFT 训练在整个过程中保持了稳定的性能提升。

• 防御探测 (Probe Detection)：

  • 文本分类器对编码内容几乎无效（AUC 接近随机）。
  • 激活探针：一旦模型学会了编码，其内部激活状态中会清晰反映出有害内容的语义。探针在解码模型上的检测 AUC 高达 0.97 - 0.99，表明激活级监控是有效的防御方向。

5. 意义与影响 (Significance)

1. 安全范式的转变：

   • 该研究揭示了仅依赖文本层面的 LLM 分类器不足以防御拥有微调访问权的攻击者。攻击者不再需要在“绕过检测”和“保持能力”之间做权衡。
   • 这标志着对抗性攻击从“推理时攻击 (Inference-time)"向“训练时攻击 (Training-time)"的质变，后者更具隐蔽性和破坏力。

2. 对前沿模型的威胁：

   • 前沿模型（Frontier Models）通常比开源模型更早具备生成危险信息的能力。微调 API 降低了攻击门槛，使得攻击者无需自托管超大模型即可利用前沿模型的推理能力。

3. 防御建议：

   • 多层防御：未来的防御不能仅靠文本过滤，必须结合激活级监控 (Activation-level Monitoring)。
   • 探针的潜力：研究指出，即使攻击者试图通过训练策略绕过探针，探针依然能有效检测解码后的语义特征，这为构建更鲁棒的防御系统提供了新思路。

总结

Trojan-Speak 是一项极具警示意义的研究。它证明了通过精心设计的课程学习和混合训练策略，攻击者可以“完美”地利用微调 API 制造出既安全（对分类器而言）又危险（对现实世界而言）的模型。这迫使 AI 安全社区必须从单纯的文本内容审核，转向更深层次的模型内部状态监控和训练数据治理。