Real Money, Fake Models: Deceptive Model Claims in Shadow APIs

本文首次系统审计了声称提供官方大模型服务的“影子 API"，揭露了其中普遍存在的欺骗行为（如性能偏差高达 47.21%、安全行为不可预测及身份验证失败），并指出这些虚假服务严重损害了学术研究的复现性与有效性、用户利益及官方模型提供商的声誉。

要点

这篇论文就像是一份**“大模型界的打假报告”**，揭露了一个名为“影子 API"的灰色市场。

为了让你轻松理解，我们可以把整个故事想象成**“高端餐厅的代买服务”**。

1. 背景：为什么会有“影子 API"？

想象一下，世界上有几家顶级的**“米其林三星大餐厅”**（比如 OpenAI 的 GPT-5、Google 的 Gemini），它们做的菜（AI 模型）非常好吃，但有两个问题：

1. 太贵了：一顿饭要很多钱。
2. 有门槛：有些地区（比如中国、俄罗斯）的人被禁止直接进店，或者没有信用卡付不了账。

于是，一群**“黄牛”或“代购”**出现了。他们自称是“影子 API"（Shadow APIs）。

• 他们的承诺：“别去官方餐厅排队了！找我！我能让你吃到和官方一模一样的顶级大餐，而且不用出国，价格还便宜，甚至还能打折！”
• 实际情况：他们就像是一个黑箱中介。你付钱给他们，他们转头去官方餐厅买（或者用更便宜的替代品），然后把菜端给你。

2. 核心发现：你吃到的可能不是“真菜”

研究人员（这篇论文的作者）决定去“暗访”这些代购。他们找了 17 个最火的“影子 API"，发现了一个惊人的真相：这些代购在撒谎，而且撒得很离谱。

比喻一：挂羊头卖狗肉（模型替换）

• 官方承诺：你点的是“顶级和牛”（GPT-5 或 Gemini-2.5）。
• 影子 API 的真相：
  • 有的给你端上来的是**“普通牛肉”**（比如用便宜的开源模型冒充顶级模型）。
  • 有的给你端上来的是**“过期的和牛”**（用旧版本的模型冒充新版本）。
  • 数据：在测试中，**接近一半（45.83%）**的“影子 API"被识破了，它们根本不是你点的那个模型！就像你点了一杯星巴克，结果给你端来的是隔壁小卖部兑了水的速溶咖啡。

比喻二：厨师心情不好，做出来的菜味道变了（性能不稳定）

即使有些代购真的给你用了“和牛”，做出来的味道也完全不一样：

• 官方餐厅：厨师很稳定，做一道数学题，90% 能算对。
• 影子 API：
  • 有的厨师**“手抖”**，同样的题，正确率直接从 83% 跌到 37%（就像你点了一份满分套餐，结果端上来全是半生不熟的）。
  • 特别是在医疗和法律这种高风险领域，影子 API 给出的建议可能是**“致命错误”**。比如，医生问怎么治艾滋病，官方说“做抗体检测”，影子 API 可能说“去查基因型”，这可能会害死人。

比喻三：安全防线形同虚设（安全性不可靠）

• 官方餐厅：有严格的安检，如果有人想带“毒药”（有害信息）进厨房，会被拦下来。
• 影子 API：
  • 有时候安检太松了：你问一些危险的问题，官方会拒绝，但影子 API 却把“毒药”端给你（比如教人怎么制造炸弹）。
  • 有时候安检太严了：明明是个正常问题，影子 API 却误判为危险，直接拒绝回答。
  • 结论：你根本不知道它什么时候会“发疯”。

3. 为什么这很严重？

这篇论文指出，这个“影子市场”已经污染了学术界。

• 现状：有187 篇发表在顶级会议（如 ACL, CVPR）上的论文，使用了这些“影子 API”做实验。
• 后果：
  • 研究造假：如果论文里说“我的模型在 GPT-5 上表现很好”，但实际上用的是“山寨版 GPT-5"，那这个研究结论就是假的。
  • 浪费金钱：研究人员花了大价钱，却买到了劣质服务。
  • 信任崩塌：就像你信任一家餐厅，结果发现它一直在用假食材，以后谁还敢去吃饭？

4. 作者是怎么抓出这些骗子的？

作者没有靠猜，而是用了两招“照妖镜”：

1. 指纹识别（Fingerprinting）：每个大模型说话都有独特的“口音”和“习惯”。作者通过问一系列刁钻的问题，分析回答的“指纹”。结果发现，很多影子 API 的“口音”和官方完全对不上。
2. 压力测试（MET）：让官方和影子 API 同时做几千道题，对比它们的“分布”。如果两者差异太大，说明它们根本不是同一个模型。

5. 总结与建议

这篇论文的核心思想是：

“影子 API"就像是一个充满欺诈的地下黑市。它们声称提供顶级服务，但实际上可能给你的是劣质品、假货，甚至是有毒的产品。在科学研究和重要应用中，绝对不能依赖它们。

给普通人的建议：

• 别贪小便宜：如果你需要可靠的 AI 服务，请直接找官方（OpenAI, Google 等）。
• 警惕“代购”：如果有人告诉你“我有内部渠道，能便宜用 GPT-5"，请立刻拉黑，因为你大概率买到的是假货。
• 科研要诚实：做研究时，必须明确记录你用的是哪个 API，如果是影子 API，最好别用，否则你的论文可能因为“食材不纯”而被撤稿。

一句话总结：
“影子 API"是披着羊皮的狼，它们用低价和便捷诱惑你，却偷偷换掉了你花钱买的“顶级大脑”，让你交着真金白银，却吃着“科技与狠活”的假菜。

技术摘要

这是一份关于论文《Real Money, Fake Models: Deceptive Model Claims in Shadow APIs》（真金白银，假模型：影子 API 中的欺骗性模型声明）的详细技术总结。

1. 研究背景与问题 (Problem)

随着前沿大语言模型（LLMs，如 GPT-5、Gemini-2.5）的普及，官方 API 面临着高昂的价格、支付壁垒以及严格的地理区域限制（例如在中国、俄罗斯等地区无法直接访问）。这催生了一个庞大的**影子 API（Shadow APIs）**市场。

• 定义：影子 API 是指第三方服务，声称通过间接访问提供官方模型的服务，通常以更低的价格或无地域限制为卖点。
• 核心问题：尽管影子 API 被广泛用于学术研究（187 篇论文引用）和开源项目，但业界尚不清楚这些服务是否真的提供了它们声称的官方模型。
• 风险：
  • 科研可信度：如果研究者使用的模型被替换或降级，会导致实验结果不可复现，甚至得出错误结论。
  • 安全性：影子 API 可能无法复现官方模型的安全对齐行为，导致有害内容生成。
  • 经济欺诈：用户支付了高昂费用，实际得到的却是廉价或过时的开源模型。

2. 研究方法 (Methodology)

作者对影子 API 进行了首次系统性审计，通过三个研究问题（RQ）展开调查：

A. 影子 API 的生态调查 (RQ1)

• 数据采集：从 ICLR 2024 和 ACL 2024 的论文中筛选代码库，识别出 17 个广泛使用的影子 API 端点。
• 影响评估：统计了这些 API 在 187 篇学术论文中的使用情况（最高引用达 5966 次，GitHub Star 达 58,639 个）。
• 合规性分析：检查提供商的身份透明度、企业注册信息及上游模型来源。

B. 多维度性能评估 (RQ2)

选取了三个代表性影子 API（标记为 A, E, H）与官方 API 进行对比，涵盖两个维度：

1. 效用性（Utility）：
   • 科学领域：使用 AIME 2025（数学竞赛）和 GPQA（博士级科学问答）基准。
   • 敏感领域：使用 MedQA（医疗 USMLE 考试）和 LegalBench（法律推理）基准。
2. 安全性（Safety）：
   • 使用 JailbreakBench 和 AdvBench 数据集。
   • 采用多种越狱攻击（GCG, Base64, FlipAttack 等）。
   • 通过评估模型判断生成内容的有害性分数。

C. 模型身份验证 (RQ3)

利用技术手段直接验证后端模型的真实身份：

1. 指纹识别（Fingerprinting）：使用 LLMmap 框架，通过精心设计的查询集分析响应模式，计算与官方模型指纹的余弦距离。
2. 模型等价性测试（MET）：使用统计假设检验（Model Equality Testing），判断影子 API 的输出分布是否与官方模型相同。
3. 元数据分析：分析推理延迟（Latency）和 Token 计数的波动性。

3. 关键发现与结果 (Key Results)

A. 影子 API 的普遍性与不透明性

• 广泛使用：17 个影子 API 被大量学术顶会论文采用，主要集中在受地域限制的地区（如中国）。
• 缺乏监管：17 个提供商中，15 个由个人运营，缺乏透明的法律实体身份和可验证的上游来源。基础设施多基于开源工具（如 OneAPI）搭建，存在极高的运营波动性。

B. 性能严重偏离 (Utility & Safety)

• 推理能力崩溃：在 AIME 2025 等推理任务中，影子 API 的准确率显著下降。例如，Gemini-2.5-flash 在官方 API 上得分为 83.82%，而在影子 API 中平均降至约 37.00%（下降约 47%）。
• 敏感领域失效：在医疗和法律领域，影子 API 经常给出错误诊断或法律解释。例如，在 MedQA 中，影子 API 混淆了 HIV 诊断协议。
• 安全行为不可预测：影子 API 的安全护栏表现不稳定。在某些攻击下，它们可能比官方模型更不安全（产生更多有害内容），而在另一些情况下又过度防御。

C. 欺骗性模型声明的直接证据

• 指纹验证失败：在 24 个被评估的端点中，45.83% 未能通过指纹验证（即识别出的模型与声称的模型不符）。
• 模型替换类型：
  • 高价低配：声称是 GPT-5 或 Gemini-2.0，实际指纹显示为 GLM-4-9B 或 Qwen2.5-7B 等廉价开源模型。
  • 能力降级：声称是推理模型（如 DeepSeek-Reasoner），实际运行的是非推理版本（DeepSeek-Chat）。
  • 版本混淆：声称是旧版本，实际可能是新版本（反之亦然），导致行为不一致。
• 统计显著性：MET 测试进一步证实，许多端点的输出分布与官方模型存在统计学上的显著差异。

D. 经济影响

• 价值缩水：用户按官方价格付费，但实际获得的 Token 价值仅为官方服务的 36%-52%。
• 科研成本：由于模型替换导致的不可复现性，保守估计已有 56 篇论文需要重新执行，直接成本高达 11.5 万 -14 万美元，且可能污染后续引用的数千篇研究。

4. 主要贡献 (Contributions)

1. 首次系统性审计：揭示了影子 API 市场的运作机制，确认了 17 个主要提供商及其在学术界的影响力。
2. 揭露欺骗行为：提供了确凿证据，证明影子 API 在效用、安全性和模型身份上存在系统性欺骗，无法作为官方 API 的可靠替代品。
3. 验证方法：展示了基于指纹（LLMmap）和统计检验（MET）的技术手段可以有效检测模型替换。
4. 提出建议：
   • 审计协议：建议在使用任何第三方 API 前，执行四阶段验证（指纹检查、MET 测试、稳定性测试、合规性核查）。
   • 社区规范：呼吁会议和期刊要求作者披露 API 来源及验证结果，官方厂商应提供轻量级验证端点并放宽学术访问限制。

5. 意义与启示 (Significance)

• 科研诚信危机：该研究揭示了当前 LLM 研究中的一个巨大盲点。大量基于影子 API 的“前沿”研究结论可能建立在虚假的模型能力之上，导致科学结论不可靠。
• 供应链安全：影子 API 作为黑盒中间件，不仅损害用户利益，还破坏了官方模型提供商的声誉（因服务质量差被误认为是官方问题）。
• 未来方向：强调了在 AI 供应链中建立“可验证性（Verifiability）”的重要性。未来的研究必须将模型身份验证纳入实验设计的标准流程，不能仅依赖 API 返回的模型名称。

总结：这篇论文像一次“照妖镜”，揭示了影子 API 市场中“真金白银买假货”的普遍现象。它警告研究者和开发者，盲目使用非官方渠道的 LLM 服务不仅可能导致经济欺诈，更会引发严重的科学可复现性危机。