🤖 machine learning

Adapting in the Dark: Efficient and Stable Test-Time Adaptation for Black-Box Models

本文提出了 BETA 框架，通过引入轻量级本地白盒引导模型和预测协调技术，实现了无需额外 API 调用、低延迟且高效的黑盒模型测试时自适应，在显著降低查询成本的同时超越了现有白盒及灰盒方法的性能。

原作者： Yunbei Zhang, Shuaicheng Niu, Chengyi Cai, Feng Liu, Jihun Hamm

发布于 2026-04-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Yunbei Zhang, Shuaicheng Niu, Chengyi Cai, Feng Liu, Jihun Hamm

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 BETA 的新方法，旨在解决一个非常棘手的问题：当你在黑暗中摸索时，如何快速适应并修正一个你完全看不见的“黑盒”模型？

为了让你轻松理解，我们可以把这篇论文的核心思想想象成**“盲人摸象”与“聪明向导”的故事**。

1. 背景：为什么我们需要“在黑暗中适应”？

想象一下，你雇佣了一位**超级大厨（黑盒模型）**来为你做菜。这位大厨非常厉害，但他住在另一个城市，你只能通过电话点菜（发送图片），他只能告诉你菜的味道评分（输出预测概率）。

你看不见他的厨房（没有模型参数）。
你听不到他的切菜声（没有中间特征）。
你甚至不知道他用了什么菜谱（没有训练数据）。

突然有一天，你发现这位大厨做的菜在“雨天”（测试数据分布发生偏移，比如图片变模糊了）味道变得很难吃。你想让他调整一下，但因为你无法直接进厨房改他的配方（无法反向传播梯度），而且每次打电话问“如果我把盐放多一点会怎样？”都要花钱（API 调用成本），传统的调整方法要么太贵，要么太慢，要么根本行不通。

2. 现有的方法为什么不行？

论文里提到，以前大家尝试过几种办法，但都有大毛病：

事后诸葛亮（Output Refinement）： 就像大厨做完菜后，你自己在盘子里撒点盐。这只能微调，效果有限，治标不治本。
疯狂试错（Zeroth-Order Optimization, ZOO）： 就像你给大厨打电话：“如果我把盐加 1 克呢？加 2 克呢？加 100 克呢？”你需要打几千次电话才能找到最佳方案。这太贵了，而且如果大厨今天心情不好（信号噪声大），你可能会让他把菜彻底做砸了（模型崩溃）。
多视角猜测（Augmentation）： 你让大厨把菜切碎了、加热了、冷冻了再试一遍。这也需要打很多次电话，成本太高。

3. BETA 的绝招：找个“本地小向导”

BETA 的核心创意非常巧妙：既然进不了大厨的厨房，那就在自己家里雇一个“小向导”（Steering Model）。

小向导是谁？ 它是一个轻量级、便宜、你可以完全掌控的 AI 模型（比如一个小型的 ViT 模型）。它虽然不如大厨厉害，但它完全听你的，你可以随意修改它的“大脑”。
怎么合作？
1. 你给大厨和小向导同一张“有点模糊”的图片。
2. 你给图片加一点点“滤镜”（这就是视觉提示 Prompt，比如稍微调亮一点、加一点噪点）。
3. 你观察小向导对这张加了滤镜的图片的反应，计算出“怎么改滤镜能让小向导觉得更舒服”。
4. 关键一步（预测和谐化）： 你不仅仅听小向导的，你还把大厨的反馈也考虑进来。你要求：“小向导，你改滤镜的时候，要确保大厨也觉得舒服，不能只顾自己爽。”

4. 核心魔法：三个稳定器

为了让这个“盲人摸象”的过程不跑偏，BETA 用了三个聪明的策略：

预测和谐（Prediction Harmonization）：
- 比喻： 就像两个人一起跳舞。小向导是领舞，大厨是伴舞。你不能只让领舞乱跳，必须让两人的舞步尽量同步。
- 原理： 论文用数学公式证明，通过让小向导和大厨的预测结果“求同存异”，可以创造出一条虽然看不见大厨内部，但依然有效的“调整路径”。
一致性正则化（Consistency Regularization）：
- 比喻： 防止“走火入魔”。如果小向导为了讨好自己，把图片改得面目全非（比如把猫改成了狗），虽然它自己觉得分很高，但这就错了。
- 原理： 强制要求：加了滤镜后的图片，小向导的预测结果必须和没加滤镜时的结果“长得像”。这就像给小向导戴上了“紧箍咒”，防止它为了优化指标而把图片搞坏。
数据过滤（Data Filtering）：
- 比喻： 只听靠谱的建议。如果小向导自己都晕头转向（预测概率很低、很混乱），这时候它的建议就是噪音。
- 原理： 只挑选那些小向导看得比较清楚、比较确定的样本进行训练，忽略那些模糊不清的样本，防止被带偏。

5. 效果如何？

论文在多个测试中证明了 BETA 的强大：

省钱： 在真实的商业 API 测试中，BETA 只需要打1 次电话就能达到很好的效果。而传统的“疯狂试错法”（ZOO）为了达到同样的效果，需要打250 次电话，成本相差巨大。
快速： 因为只打一次电话，速度几乎和直接推理一样快，没有延迟。
强力： 即使小向导本身很弱（比如只有几百万参数），它也能指导那个超级大厨（几亿参数）在模糊、变形的图片上表现得更好，甚至超过了那些能直接修改大厨配方的“白盒”方法。

总结

BETA 就像是一个聪明的“中间人”策略。

当面对一个你无法触碰的超级 AI 时，不要试图去硬碰硬（直接修改它）或盲目乱撞（疯狂试错）。而是找一个你完全掌控的“替身”小模型，通过让小模型和大模型“互相配合、互相监督”，在只问一次问题的情况下，就能让大模型在陌生环境中迅速适应并表现完美。

这就好比在黑暗中，你不需要看清整个迷宫，只需要手里拿着一根能感知墙壁的“拐杖”（小向导），就能引导那个看不见的“巨人”（黑盒模型）走出迷宫。

这是一份关于论文 《Adapting in the Dark: Efficient and Stable Test-Time Adaptation for Black-Box Models》 (BETA) 的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心挑战：黑盒测试时适应 (Black-Box TTA)

背景：现代深度学习模型在部署到真实世界时，常因训练数据与测试数据之间的分布偏移（Distribution Shift）而导致性能下降。测试时适应（TTA）旨在利用无标签的目标数据在推理过程中动态调整模型。
痛点：现有的 SOTA 模型（如 CLIP、GPT-4o 等）通常以黑盒 API 形式提供，用户只能输入数据并获取输出概率，无法访问模型参数、梯度、中间特征或预训练数据。
现有方法的局限性：
- 白盒/灰盒方法：依赖反向传播或内部特征，无法在严格黑盒设置下使用。
- 输出修正 (Output Refinement)：如 LAME，仅在后处理阶段调整预测，适应能力有限。
- 输入修改 (Input Modification)：
  - 数据增强 (Augmentation)：需要多次 API 调用，成本随增强视图数量线性增加。
  - 扩散去噪 (Purification)：需要迭代去噪，推理延迟极高，不适合实时场景。
  - 零阶优化 (ZOO)：通过无梯度优化学习输入提示（Prompt）。虽然可行，但存在极高的查询成本（每个样本需数十次 API 调用）和优化不稳定性（在无监督信号下容易陷入局部最优，导致语义破坏和性能崩溃）。

目标：开发一种在严格黑盒设置下（仅输入/输出访问），既能高效（单次 API 调用）又能稳定适应分布偏移的方法。

2. 方法论：BETA 框架 (Methodology)

作者提出了 BETA (Black-box Efficient Test-time Adaptation) 框架，其核心思想是利用一个轻量级的本地白盒引导模型 (Steering Model) 来构建可计算的梯度路径，从而指导黑盒模型的输入适应。

2.1 核心组件

黑盒目标模型 ( $f_B$ )：不可访问内部参数的 API 模型（如 ViT-B/16, CLIP）。
本地引导模型 ( $f_S$ )：一个轻量级的、完全可访问的白盒模型（如 ViT-Small），初始化自公开检查点，无需针对特定任务训练。
可学习视觉提示 ( $\delta$ )：添加到输入图像 $x$ 上的加性扰动，生成 $x' = x + \delta$ 。

2.2 关键技术

A. 预测和谐化 (Prediction Harmonization)

问题：直接最小化黑盒模型的熵不可行（无梯度）；直接转移引导模型的梯度也无效（不同架构间梯度相似度接近 0）。
解决方案：构建一个和谐化预测 $p_H$ ，融合引导模型和黑盒模型的输出：
$p_H(x') = \alpha \cdot p_S(x') + (1 - \alpha) \cdot p_B(x')$
优化目标：最小化和谐化预测的熵 $H(p_H)$ 。
理论依据：通过熵分解，该目标等价于最小化引导模型的熵加上一个Jensen-Shannon (JS) 散度项。JS 散度项充当了“锚点”，确保优化方向与黑盒模型的信念保持一致，防止引导模型将输入引导至黑盒模型不认可的类别。
- 梯度仅通过 $f_S$ 计算，但优化方向受 $p_B$ 约束。

B. 稳定性机制 (Stabilization)
由于无监督优化容易不稳定，BETA 引入了两个关键机制：

面向提示学习的数据过滤 (Prompt Learning-oriented Data Filtering)：
- 仅使用预测熵低于阈值 $\epsilon$ 的样本进行更新。高熵样本（不确定性高）包含噪声梯度，会破坏优化。
- 这确保了引导模型在“可靠”的样本上学习提示。
一致性正则化 (Consistency Regularization)：
- 最小化原始输入 $x$ 和提示后输入 $x'$ 在引导模型上的预测分布之间的 KL 散度。
- 作用：防止优化过程学习到破坏图像语义的退化解（Degenerate Solutions），将更新锚定在预训练知识上。

C. 联合优化 (Joint Optimization)

视觉提示 $\delta$ ：通过和谐化损失 + 一致性正则化进行更新。
引导模型参数 $\theta$ ：仅更新归一化层（Normalization Layers），使用经过过滤且非冗余的样本。
流程：每个批次仅进行一次前向传播（调用一次 API）和一次本地反向传播。

3. 主要贡献 (Key Contributions)

首个严格黑盒 TTA 的系统研究：揭示了现有后处理、增强、净化及 ZOO 方法在严格黑盒（无内部访问、无标签）设置下的局限性。
提出 BETA 框架：
- 利用轻量级引导模型和预测和谐化技术，构建了无需访问黑盒内部即可进行优化的可行路径。
- 通过一致性正则化和数据过滤解决了无监督提示学习的稳定性问题。
- 从理论上证明了和谐化目标中 JS 散度项的锚定作用。
SOTA 性能与高效性：
- 在 ImageNet-C 和 CLIP 上，BETA 超越了强白盒方法（如 TENT, CoTTA）和灰盒方法。
- 成本效益：在商业 API 测试中，BETA 以 250 倍 的成本优势（仅需 1 次调用 vs ZOO 的 100+ 次）达到了可比性能，且保持实时推理速度。

4. 实验结果 (Results)

ImageNet-C (ViT-B/16)：
- BETA 平均准确率提升 +7.1% (达到 62.6%)。
- 超越了白盒方法 TENT (+4.1%) 和 SAR (+8.1% 但在某些腐蚀上不如 BETA 稳定)。
- 在极具挑战性的 "Contrast" 腐蚀上，ZOO 方法导致准确率从 32.6% 暴跌至 4.1%，而 BETA 提升至 53.4%。
CLIP (ViT-B/16)：
- BETA 准确率 63.4%，超越了专用 VLM 方法 TPT 和 DynaPrompt。
商业 API (Clarifai)：
- 在 ImageNet-C Contrast 域，BETA 仅需 $0.4 预算（约 120 个样本）即可提升 +5.2%。
- 同等性能下，ZOO 方法需要超过 $100 预算（250 倍成本差异）。
泛化能力：
- 在 EuroSAT（遥感）和 Derm7pt（皮肤病变）等跨域任务中，即使使用零样本构建的引导模型，BETA 仍能显著提升性能（EuroSAT 提升 +11.3%）。
效率分析：
- API 调用：每个样本 1 次（ZOO 需 16-64 次）。
- 延迟：本地计算开销极小（ViT-Small 约 48ms），总延迟与标准推理相当。

5. 意义与影响 (Significance)

打破黑盒适应的僵局：证明了在无法获取梯度和内部参数的情况下，通过“小模型引导大模型”的策略，可以实现高效且稳定的测试时适应。
实际部署价值：解决了商业 API 适应中的成本和延迟瓶颈。对于医疗影像、卫星遥感等需要专家验证或实时响应的场景，BETA 提供了一种经济可行的自适应方案。
未来方向：论文指出这种“本地顾问 (Advisor) + 远程执行者 (Executor)"的架构不仅适用于视觉模型，也适用于 LLM Agent 系统（如 Anthropic 的 Advisor 策略），为多组件 AI 系统的在线适应提供了原型设计。

总结：BETA 通过巧妙的数学构造（预测和谐化）和工程优化（数据过滤与正则化），成功在“黑暗”的黑盒环境中点亮了适应之路，实现了性能、效率和稳定性的最佳平衡。