1. 문제 정의 (Problem Definition)

• 검은색 상자 (Black-Box) 모델의 테스트 시간 적응 (TTA) 한계:
  • 현대의 강력한 딥러닝 모델 (ViT, CLIP 등) 은 종종 API 를 통해 배포되며, 사용자는 입력만 보내고 예측 확률 (Softmax probabilities) 만 받을 수 있습니다. 내부 파라미터, 그래디언트, 중간 특징 (features) 에 대한 접근이 불가능한 '엄격한 검은색 상자' 환경입니다.
  • 기존 TTA 방법론은 대부분 모델 내부에 접근 가능한 '화이트박스'를 가정하거나, '그레이박스' (중간 특징 접근) 를 전제로 합니다.
  • 기존 검은색 상자 방법들의 문제점:
    • 출력 수정 (Output Refinement, 예: LAME): 예측 후 처리만 수행하여 적응 능력이 제한적입니다.
    • 입력 수정 (Input Modification, 예: ZOO 기반 프롬프트 학습): 제로차 최적화 (ZOO) 를 사용하여 입력에 노이즈를 추가하거나 프롬프트를 학습하지만, 높은 API 호출 비용과 무지도 (unsupervised) 신호 하에서의 최적화 불안정성 (예: Contrast corruption 에서 정확도가 32.6% 에서 4.1% 로 급락) 이라는 치명적인 단점이 있습니다.
    • 확장성 및 비용: 증강 (Augmentation) 기반 방법은 API 호출 횟수가 선형적으로 증가하여 비용이 많이 들고, 정제 (Purification) 기반 방법은 지연 시간 (Latency) 이 너무 깁니다.

2. 제안 방법: BETA (Black-box Efficient Test-time Adaptation)

저자들은 BETA라는 새로운 프레임워크를 제안하여, 추가적인 API 호출 없이 안정적이고 효율적인 적응을 가능하게 합니다.

• 핵심 아이디어:

  • 로컬 스티어링 모델 (Local Steering Model): 클라이언트 측에 경량화된 화이트박스 모델 (예: ViT-Small) 을 두어, 이 모델의 그래디언트 경로를 통해 적응을 유도합니다.
  • 예측 조화 (Prediction Harmonization):
    • 검은색 상자 모델 ($f_B$) 과 로컬 스티어링 모델 ($f_S$) 의 예측을 가중치 $\alpha$로 혼합한 새로운 예측 분포 $p_H$를 정의합니다.
    • $p_H = \alpha \cdot p_S + (1-\alpha) \cdot p_B$
    • 이 혼합된 예측의 엔트로피를 최소화하는 방향으로 스티어링 모델의 그래디언트를 계산하여 입력 프롬프트 ($\delta$) 를 업데이트합니다.
    • 수학적 근거: 혼합된 엔트로피는 스티어링 모델의 엔트로피와 두 모델 간의 Jensen-Shannon (JS) 발산으로 분해됩니다. JS 발산 항은 검은색 상자 모델의 예측 ($p_B$) 이 그래디언트 흐름에 직접 참여하지 않더라도, 프롬프트 최적화 방향을 검은색 상자 모델의 믿음 (belief) 에 '앵커 (anchor)' 역할을 하도록 합니다.
  • 안정화 메커니즘 (Stabilization):
    • 무작위 초기화된 프롬프트 학습은 불안정하므로 두 가지 기법을 도입합니다.
    • 일관성 정규화 (Consistency Regularization): 원본 입력과 프롬프트가 적용된 입력에 대한 스티어링 모델 예측 간의 KL 발산을 최소화하여, 모델의 사전 지식 (Pre-trained knowledge) 을 유지하고 붕괴를 방지합니다.
    • 프롬프트 학습 지향 데이터 필터링 (Prompt Learning-oriented Data Filtering): 예측 엔트로피가 높은 (불확실한) 샘플은 노이즈가 심하므로 필터링하고, 신뢰할 수 있는 샘플만 프롬프트 업데이트에 사용합니다.

• 작동 방식:

  • 각 테스트 샘플당 단 1 번의 API 호출만 수행합니다.
  • 검은색 상자 모델의 파라미터는 동결 (Frozen) 된 채, 입력 이미지에만 가산적 프롬프트 ($\delta$) 를 추가하여 적응을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 엄격한 검은색 상자 TTA 에 대한 체계적 연구: 기존 방법론 (출력 수정, 증강, 정제, ZOO) 의 한계를 규명하고, 실제 API 환경에서의 적응 문제를 정립했습니다.
2. BETA 프레임워크 제안:
   • 고비용인 ZOO 쿼리를 우회하기 위해 로컬 스티어링 모델과 예측 조화 기법을 결합했습니다.
   • 일관성 정규화와 데이터 필터링을 통해 무지도 환경에서의 안정성을 확보했습니다.
   • 엔트로피 분해를 통해 조화 목적 함수의 이론적 근거 (JS 발산 항의 역할) 를 제시했습니다.
3. 새로운 SOTA 달성:
   • 추가 API 호출 없이 기존 화이트박스 방법 (TENT, CoTTA 등) 을 능가하는 성능을 달성했습니다.
   • 실제 상업용 API (Clarifai) 에서 ZOO 대비 250 배 낮은 비용으로 동등하거나 더 나은 성능을 입증했습니다.

4. 실험 결과 (Experimental Results)

• 데이터셋 및 모델:
  • ImageNet-C (Corruption): ViT-B/16 및 ViT-L/16을 검은색 상자로 사용.
  • Vision-Language Models (VLM): CLIP (ViT-B/16) 을 대상으로 적용.
  • 실제 API: Clarifai API.
• 성능:
  • ImageNet-C (ViT-B/16): BETA 는 **62.6%**의 정확도를 달성하여 기존 모델 (55.5%) 대비 +7.1% 향상. 이는 강력한 화이트박스 방법 (TENT, CoTTA) 보다 높은 성능입니다.
  • CLIP: 63.4% 정확도 달성.
  • 비용 효율성: Clarifai API 에서 ZOO 는 유사한 성능을 내기 위해 $100 이상 (약 16 배 이상의 호출) 이 소요되는 반면, BETA 는 **$0.4 (약 120 샘플)**로 달성하여 250 배의 비용 절감 효과를 보였습니다.
  • 일반화: EuroSAT (위성 이미지) 및 Derm7pt (피부병 진단) 와 같은 도메인에서도 스티어링 모델이 타겟 도메인과 완전히 일치하지 않아도 (Zero-shot) 성공적인 적응을 보여주었습니다.
• 효율성:
  • API 호출 횟수: 샘플당 1 회 (기존 ZOO 는 16~64 회).
  • 지연 시간 (Latency): 표준 추론과 거의 동일한 수준 (로컬 계산 오버헤드는 API 네트워크 지연에 비해 무시할 수준).

5. 의의 및 결론 (Significance)

• 실용적 가치: BETA 는 실제 산업 환경에서 API 기반 모델을 배포할 때 발생하는 비용과 지연 시간 문제를 해결하며, 검은색 상자 환경에서도 실시간으로 안정적으로 모델을 적응시킬 수 있는 첫 번째 실용적인 솔루션을 제시합니다.
• 이론적 통찰: 서로 다른 아키텍처 (로컬 스티어링 vs 원격 블랙박스) 간의 그래디언트 직접 전달이 불가능할 때, **공유된 최적화 문제 (Shared Optimization Problem)**를 통해 어떻게 효과적인 적응 신호를 전달할 수 있는지를 증명했습니다.
• 미래 전망: 이 프레임워크는 비전 모델뿐만 아니라 LLM 에이전트 시스템 등, 로컬 '고문 (Advisor)'이 원격 '실행기 (Executor)'의 행동을 조정하는 다양한 에이전트 아키텍처에도 확장 가능함을 시사합니다.

요약하자면, BETA는 검은색 상자 모델의 적응 문제를 해결하기 위해 경량 로컬 모델의 그래디언트 경로를 활용하고 예측 조화를 통해 안정성을 확보함으로써, 비용과 성능의 최적 균형을 이룬 획기적인 방법론입니다.