1. 문제 정의 (Problem)

현대 시각 인식 시스템은 increasingly (점점 더) 소스 코드, 아키텍처, 파라미터, 학습 데이터, 그리고 기울기 (gradient) 정보에 대한 접근이 차단된 완전한 블랙박스 (Black-box) API 형태로 배포되고 있습니다. 사용자는 모델의 출력 확률 (output probabilities) 만 관찰할 수 있을 뿐, 내부 작동 원리는 완전히 숨겨져 있습니다.

이러한 환경에서 기존 설명 가능 AI (XAI) 방법론들은 다음과 같은 한계를 가집니다:

• 내부 정보 의존성: 대부분의 기존 방법 (그라디언트 기반, 활성화 매핑, 뉴런 분석 등) 은 모델의 가중치, 기울기, 또는 학습 데이터에 대한 접근을 전제로 합니다.
• 검증 및 감사의 부재: 블랙박스 상태에서는 모델의 편향 (bias) 을 탐지하거나, 실패 원인을 분석하거나, 분포 변화 (distribution shift) 에 대한 견고성을 평가하는 것이 불가능합니다.
• 데이터 부족: 실제 환경에서는 학습 데이터에 접근할 수 없는 경우가 많아, 데이터 기반의 감사 도구들이 무용지물이 됩니다.

따라서, 모델의 내부 구조나 학습 데이터에 대한 접근 없이 오직 출력 확률만을 활용하여 모델의 추론 과정을 해석하고 편향을 발견할 수 있는 방법론이 시급히 필요합니다.

2. 방법론 (Methodology)

저자들은 UNBOX라는 새로운 프레임워크를 제안합니다. 이는 데이터, 기울기, 역전파 (backpropagation) 가 전혀 없는 조건에서 클래스별 모델 해부 (class-wise model dissection) 를 수행하는 방법입니다. 핵심 아이디어는 **활성화 최대화 (Activation Maximization)**를 자연어 기반의 의미적 검색 (Semantic Search) 문제로 재정의하는 것입니다.

핵심 구성 요소 및 프로세스:

1. 의미적 최적화 루프 (Semantic Optimization Loop):

   • 입력: 타겟 클래스 $j$와 블랙박스 분류기 $\phi$.
   • 과정:
     1. 이미지 생성: 현재 텍스트 프롬프트 $p_t$를 텍스트 - 이미지 확산 모델 (Text-to-Image Diffusion Model, 예: FLUX) 에 입력하여 이미지 $x_t$를 생성합니다.
     2. 점수 획득: 생성된 이미지를 분류기에 입력하여 타겟 클래스의 확률 점수 $s_t = \phi(x_t)_j$를 얻습니다.
     3. 신호 해석: 점수 $s_t$의 시간적 변화 (추세, Trend) 와 현재 점수가 목표치에 얼마나 가까운지 (강도, Intensity) 를 계산합니다. 이를 이산화된 자연어 명령어 (예: "상승 중", "약한 수정 필요") 로 변환합니다.
     4. LLM 에이전트 협업:
        • 피드백 에이전트 ($A_f$): 점수 신호와 컨텍스트를 분석하여 프롬프트를 어떻게 수정해야 하는지에 대한 구조화된 자연어 피드백 ($e_t$) 을 생성합니다.
        • 업데이터 에이전트 ($A_u$): 피드백을 바탕으로 다음 프롬프트 $p_{t+1}$을 생성합니다.

2. 최적화 컨텍스트 (Optimization Context):

   • 글로벌 컨텍스트: 높은 점수를 기록한 프롬프트와 그로부터 추출된 핵심 어휘 (lexical units) 를 저장하여 장기적인 의미적 지향성을 유지합니다.
   • 로컬 컨텍스트: 최근의 프롬프트 - 피드백 쌍을 저장하여 단기적인 진동을 방지하고 최적화 경로를 안정화합니다.

이 과정을 통해 UNBOX 는 모델이 특정 클래스를 인식하는 데 사용하는 **인간이 이해할 수 있는 텍스트 설명자 (Textual Descriptors)**를 자동으로 발견합니다.

3. 주요 기여 (Key Contributions)

1. 완전 블랙박스 해부 프레임워크: 모델의 가중치, 기울기, 학습 데이터, 아키텍처에 대한 접근 없이 오직 출력 확률만으로 전역적 (global) 인 모델 해부를 수행하는 최초의 데이터/기울기 프리 (Data-free, Gradient-free) 프레임워크입니다.
2. 원칙적인 텍스트 최적화 메커니즘: LLM 에이전트와 확산 모델을 결합하여, 그래디언트 없이도 반복적인 자연어 피드백을 통해 설명자를 정제하는 새로운 최적화 루프를 제안했습니다.
3. 광범위한 평가 및 검증: ImageNet-1K, Waterbirds, CelebA 등 다양한 벤치마크에서 의미적 충실도 (Semantic Fidelity), 시각적 근거 (Visual Grounding), 편향 발견 (Bias Discovery) 능력을 평가했습니다.
4. 인간 검증 가능한 해석성: 복원된 설명자들이 실제 모델의 추론 과정과 일치하며, 기존 화이트박스 방법론들과 경쟁력 있는 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

UNBOX 는 ImageNet-1K, Waterbirds, CelebA 데이터셋에서 ResNet50 과 ViT-B/16 모델에 대해 평가되었습니다.

• 의미적 충실도 (Semantic Fidelity):
  • UNBOX 는 생성된 설명자가 실제 클래스 라벨과 높은 의미적 유사성을 보였습니다.
  • 특히 ViT 모델에서 기존 화이트박스 방법 (CLIPDissect, WWW) 보다 높은 점수를 기록하며, 내부 정보 접근 없이도 강력한 성능을 발휘함을 입증했습니다.
• 잠재 학습 의미 회복 (Latent Training Semantics Recovery):
  • UNBOX 가 발견한 설명자는 모델이 학습한 데이터 분포의 실제 특징 (예: 배경, 객체) 을 잘 반영했습니다.
  • 검증 이미지와의 정렬 (Visual Grounding) 테스트에서도 화이트박스 방법과 유사하거나 더 나은 성능을 보였습니다.
• 편향 발견 및 슬라이스 디스커버리 (Bias Discovery & Slice Discovery):
  • Waterbirds(새와 배경의 편향) 와 CelebA(인구통계학적 편향) 데이터셋에서 UNBOX 는 모델이 의존하는 허위 상관관계 (Spurious Correlations) 를 성공적으로 식별했습니다.
  • 발견된 설명자를 사용하여 편향을 제거 (Debiasing) 한 결과, **최악 그룹 정확도 (Worst-group Accuracy)**가 Oracle DRO(최적 기준) 나 데이터 접근이 필요한 최신 방법론 (DEXTER 등) 과 경쟁 가능한 수준 (Waterbirds: 88.6%, CelebA: 90.01%) 에 도달했습니다.
• 성능 비교:
  • UNBOX 는 가중치와 데이터 접근이 필요한 SOTA 방법론들과 비교했을 때, 더 엄격한 제약 조건 하에서도 경쟁력 있는 결과를 보여주었습니다.

5. 의의 및 결론 (Significance)

UNBOX 는 **신뢰할 수 있는 AI (Trustworthy AI)**를 위한 중요한 전환점을 제시합니다.

• 블랙박스 감사의 실현: 모델이 API 로만 제공되는 현실적인 환경에서도 모델의 내부 추론, 학습된 편향, 그리고 실패 원인을 파악할 수 있는 길을 열었습니다.
• 데이터 및 아키텍처 독립성: 특정 모델 구조나 학습 데이터에 의존하지 않으므로, 어떤 시각 인식 모델이든 적용 가능한 범용적인 해석 도구입니다.
• 편향 완화의 실용성: 단순히 모델을 설명하는 것을 넘어, 발견된 편향 정보를 활용하여 모델의 공정성을 개선 (Debiasing) 하는 데 직접적으로 기여할 수 있음을 입증했습니다.

결론적으로, UNBOX 는 모델의 내부에 접근할 수 없더라도 자연어와 생성 모델을 활용하여 블랙박스 시각 모델의 "두뇌"를 해부할 수 있음을 보여주며, 투명하고 책임 있는 시각 인식 시스템 구축의 새로운 패러다임을 제시합니다.