기술 요약: 충실한 시각적 속성화를 위해 좋은 초기화만 있으면 충분하다

1. 문제 정식화

충실한 시각적 속성화(Faithful visual attribution)는 이미지의 어떤 영역이 모델의 예측을 인과적으로 뒷받침하는지 식별하는 것을 목표로 한다. 기존의 벤치마크들은 종종 삽입 및 삭제 곡선을 생성하기 위해 모든 이미지 영역의 순위를 매길 것을 요구하는 "전체 순서 계약(full-ordering contract)"을 가정하지만, 환각 속성화 및 수정을 위한 멀티모달 거대 언어 모델(MLLM)과 같은 많은 실제 응용 분야에서는 **컴팩트한 top-k 증거 마스크(compact top-k evidence mask)**만을 필요로 한다.

본 논문은 기존의 탐색 기반 방법론에서 다음과 같은 격차를 식별한다:

• 탐욕적 탐색 (Greedy Search): 효과적이긴 하지만, $O(n^2)$의 순방향 패스(forward pass)가 필요하며, 영역 간의 상호작용을 통해 나타나는 고가치의 조합을 놓치고 종종 지역 최적점(local optima)에 갇히게 된다.
• 조대 그룹화 (Coarse Grouping): PhaseWin과 같은 방법들은 영역을 분할하여 비용을 줄이지만, 중복된 콘텐츠를 통합하거나 미세한 상호작용을 놓칠 수 있다.
• 단일 단계 스코어링 (One-Step Scoring): 독립적인 영역 스코어링은 증거가 결합될 때만 가치를 갖는 상호작용을 포착하지 못한다.

핵심 과제는 블랙박스 형태의 순방향 평가 예산(forward-only evaluation budget) 하에서, 모든 영역의 전체 순위를 생성할 필요 없이 정확히 $k$개의 미세 영역으로 구성된 희소하고 가치 높은 집합을 찾는 것이다.

2. 방법론

본 논문은 "마스크 우선(mask-first)" 속성화 문제를 해결하기 위해 설계된 두 가지 순방향 전용 방법인 COPAIR와 TRACE를 소개한다.

COPAIR: 해제 기능이 포함된 조대 쌍별 속성화 초기화 도구 (Coarse Pairwise Attribution Initializer with Release)

COPAIR는 PhaseWin과 Greedy 탐색 사이의 격차 분석에서 도출된 결정론적 초기화 도구이다. 이는 초기 증거의 품질이 입도(granularity)의 문제라는 가설에 따라 작동한다. 즉, 미세한 영역들은 더 조대한 척도에서 더 안정적인 증거를 파편화할 수 있다는 것이다.

• 메커로니즘: 미세 영역들을 조대한 공간 그룹으로 클러스터링한다. 모든 조대 단일 항목(singletons)을 평가하고, 고효율 풀(high-sufficiency pool) 내에서 최적의 조대 쌍(coarse pairs)을 전수 조사한다.
• 선택 로직: 쌍 이득 마진($\delta$)과 충분성 임계값($\tau$)을 기준으로 초기 후보($C_0$)를 선택한다. 하나의 조대 그룹이 충분하다면 그것을 선택한다. 그렇지 않으면 최적의 쌍을 선택한다. 만약 점수가 여전히 낮다면, 하나의 추가 그룹을 흡수한다.
• 출력: 선택된 조대 후보는 내부적으로 정렬되고 부분적으로 해제(상위 80%의 점수를 유지)되어, Greedy 또는 PhaseWin의 지속 탐색(continuation search)을 위한 웜 스타트 접두사(warm-start prefix) 역할을 한다.
• 한계: COPAIR는 조대 그룹이 객체의 부품과 배경 파편을 병합할 수 있어 최소한의 컴팩트한 설명을 제공하지 못할 수 있으므로, 고정된 $k$개의 미세 영역 마스크 문제를 위한 직접적인 솔루션은 아니다.

TRACE: 교차 엔트로피를 통한 Top-k 영역 속성화 (Top-k Region Attribution via Cross-Entropy)

TRACE는 전체 순위 생성의 필요성을 우회하여, 고정된 카디널리티를 가진 미세 영역 마스크 문제를 직접 겨냥한다.

• 메커니즘: 이 방법은 이산적인 $k$-hot 공간에 대해 교차 엔트로피 방식을 적용한다. 모든 미세 영역에 대한 로짓(logits) $\theta$를 유지하며, **Gumbel-top-k 섭동(perturbation)**을 사용하여 후보 마스크를 샘플링한다.
• 최적화 루프:
  1. 샘플링: 매 라운드마다 크기가 $k$인 $M$개의 후보 마스크를 생성한다.
  2. 평가: 모델의 응답(충분성 또는 결합된 충분성-필요성 프록시)을 사용하여 마스크를 점수화한다.
  3. 엘리트 유지: 상위 $\rho_e$ 비율의 샘플(엘리트 세트)을 유지한다.
  4. 분포 업데이트: 엘리트 세트 내에서 영역의 경험적 포함 빈도를 추정한다. 이 빈도를 평활화(smoothing)하고, 고득점 마스크에 나타나는 영역의 로짓 $\theta$를 높이도록 업데이트한다.
• 출력:
  • 직접 모드 (Direct Mode): 관찰된 최적의 마스크 $S^*$를 속성화 출력으로 직접 반환한다.
  • 초기화 모드 (Initialization Mode): 전체 순위가 필요한 작업을 위해 $S^*$를 Greedy 또는 PhaseWin의 시드로 사용한다.
• 이론적 보장: 본 논문은 유한 예산 회복 분석(finite-budget recovery analysis)을 통해, 교차 엔트로피 업데이트가 시맨틱 블록 분할에 의해 정의된 "근사 최적 증거 베이슨(near-optimal evidence basins)"에 대한 확률 질량을 증가시켜, 무작위 탐색보다 회복 확률을 개선함을 보여준다.

3. 주요 기여

1. 문제 재정의: 저자들은 컴팩트한 top-k 증거 마스크를 전체 순위 평가와 구별되면서도 호환 가능한, 충실한 시각적 속성화를 위한 일차적인 출력 계약으로 정식화하였다.
2. COPAIR: PhaseWin-Greedy 격차 진단에서 도출된 원칙적인 초기화 도구로, 조대한 공간 그룹화와 쌍별 열거를 사용하여 전체 순위 탐색을 웜 스타트시킨다.
3. TRACE: 고정된 크기의 미세 영역 마스크를 직접 최적화하며, 독립적인 속성화 도구 또는 초기화 도구로 작동할 수 있는 새로운 교차 엔트로피 탐색 방법이다.
4. 최첨단 성능: 이 방법들은 이미지 분류 및 MLLM 태스크 전반에 걸쳐 포함적 순방향 호출 계정(inclusive forward-call accounting) 하에서 충실한 시각적 속성화의 새로운 경계를 구축한다.

4. 실험 결과

이미지 분류 (ImageNet)

SLICO-64 영역을 사용하여 CLIP ViT-L/14, CLIP RN101, ResNet-101에 대해 평가하였다:

• 전체 순위 (Full-Ordering): 초기화된 탐색 방법들(TRACE+Greedy, COPAIR+Greedy)은 Correct, Cause, Repair 분할 모두에서 삽입 AUC 및 고득점 지표에서 순수 Greedy 및 PhaseWin을 일관되게 능가하였다.
• 효율성: TRACE+Greedy는 순수 Greedy와 비교하여 낮거나 유사한 모델 평가 호출(MEC) 횟수로 이러한 이득을 달성하였으며, 이는 더 나은 초기화가 지속 탐색의 비용을 줄인다는 것을 입증한다.
• 백본 민감도: CLIP RN101에서 COPAIR+Greedy는 일부 지표에서 약간의 우위를 보였는데, 이는 조대 쌍별 방식이 합성곱 백본에 유용함을 시사하며, TRACE+Greedy는 ResNet-101 및 ViT에서 탁월한 성능을 보였다.

MLLM 속성화 및 수정 (POPE 및 RePOPE)

Qwen2.5-VL-3B-Instruct 및 LLaVA-v1.5-7B에 대해 평가하였다:

• 속성화 (Attribution): TRACE+Greedy는 POPE(결정 충실성)와 RePOPE(수정 지향적 회복) 모두에서 탐색 기반 방법들 중 가장 강력한 삽입 충실성(Ins)과 가장 높은 피크 점수(High)를 달성하였다.
• 직접 수정 (단일 지점): 환각을 수정하기 위해 단일 마스크 개입을 적용하는 RePOPE 수정 설정에서:
  • TRACE Direct는 Qwen 사례의 94.44%, LLaVA 사례의 **96.00%**를 수정하였다.
  • 이는 전체 곡선 기반 베이스라인(LLaVA-CAM, IGOS++) 및 COPAIR Direct를 크게 상회하는 결과로, 컴팩트한 증거 마스크가 단순한 순위의 접두사가 아니라 실행 가능한 출력임을 입증한다.

5. 의의 및 주장

본 논문은 좋은 초기화가 충실한 속성화의 한계를 밀어붙이기에 충분하다고 주장하며, 더 중요한 것은 컴팩트한 마스크를 직접 탐색하는 것이 MLLM 수정과 같은 특정 다운스트림 작업에 대해 실행 가능하고 우월한 전략이라는 점이다.

• 패러다임의 전환: 본 연구는 완전한 삽입 곡선을 생성하는 것에서 실행 가능한 컴팩트 증거 집합을 식별하는 것으로 초점을 전환한다.
• 실행 가능성: 결과는 잘 선택된 단일 마스크(TRACE Direct)가 전체 곡선 평가를 요구하는 방법들보다 환각을 더 효과적으로 수정할 수 있음을 보여주며, 이를 통해 속성화를 실제 MLLM 디버깅에 더 실용적으로 만든다.
• 모델 불가지론 (Model Agnosticism): COPAIR와 TRACE는 모두 순방향 패스에만 의존하는 모델 불가지론적 방법으로, 그래디언트를 사용할 수 없거나 신뢰할 수 없는 블랙박스 파운데이션 모델에도 적용 가능하다.
• 겸허함: 저자들은 매우 작은 $n$에 대한 초기화 오버헤드, TRACE의 샘플링에서의 확률적 분산, 마스크 크기 $k$를 사전 선택해야 하는 요구사항 등의 한계를 인정한다. 그들은 모든 가능한 마스크에 대한 전역 최적해를 해결한다고 주장하는 것이 아니라, 고가치의 증거 베이슨에 샘플을 집중시키는 예산 기반 탐색 절차를 제공하는 것이다.