기술 요약: OCCAM – 블랙박스 비전 모델을 위한 오픈셋 인과적 개념 설명 및 온톨로지 유도

문제 제기

딥러닝 이미지 분류기는 인간 수준의 성능을 달성했으나, 특히 내부 기울기, 활성화 값, 아키텍처 세부 사항에 접근할 수 없는 블랙박스 환경 (배포된 시스템 및 서드파티 API 등) 에서 의사결정 과정은 여전히 불투명합니다. 기존 설명 방법들은 이러한 환경에서 두 가지 주요 한계에 직면해 있습니다:

1. 귀속 기반 방법 (예: 세일리언시 맵, LIME, SHAP) 은 공간 단위 (픽셀/패치) 가 아닌 의미론적 개념을 기반으로 작동하여 명시적인 의미 구조가 결여된 연속적 관련성 맵을 생성하며, 수동 해석이 필요합니다.
2. 개념 기반 방법은 일반적으로 폐쇄형 사전 정의 어휘나 큐레이션된 개념 은행에 의존하여, 실제 세계의 오픈셋 시나리오에서 발견되는 새로운 세밀한 개체를 설명하는 능력이 제한됩니다. 또한, 대부분의 기법은 개별 예측을 설명하는 국소적으로 작동하며, 일관된 전역적 통찰을 도출하거나 체계적인 모델 편향을 발견할 수 있는 원칙적인 메커니즘을 제공하지 못합니다.

따라서 동시에 블랙박스, 오픈셋, 그리고 인과적인 설명 프레임워크에 대한 시급한 필요성이 존재합니다.

방법론

OCCAM(블랙박스 비전 모델을 위한 오픈셋 인과적 개념 설명 및 온톨로지 유도) 은 모델 해석을 구조화된 개입 가지치기 과정으로 재정의합니다. 이 프레임워크는 오직 쿼리 접근만 요구하며 내부 모델 가중치는 필요로 하지 않습니다. 세 가지 주요 단계로 구성됩니다:

1. 국소 개입적 개념 분석

주어진 입력 이미지 $x$와 사전 훈련된 분류기 $f$에 대해:

• 오픈셋 개념 제안 ($\Phi$): 멀티모달 대형 언어 모델 (MLLM) 은 고정된 어휘가 아닌 열린 우주에서 인스턴스별 의미론적 개념 집합 $\{k_1, ..., k_N\}$을 제안합니다.
• 개념 그라운딩 ($\Psi$): 텍스트 조건부 세그멘테이션 모델 (예: SAM) 은 제안된 각 개념을 이진 세그멘테이션 마스크 $m_i$에 매핑하여 공간적 지지를 식별합니다. 유효한 마스크를 생성하지 못하는 개념은 폐기됩니다.
• 인과적 가지치기 ($R$): 인페인팅 모델 (예: LaMa) 은 각 그라운딩된 개념의 시각적 지지를 독립적으로 제거하여 개입된 이미지 $\tilde{x}_i$를 생성합니다.
• 인과적 기여도 추정: 프레임워크는 원래 예측된 클래스 $\hat{y}$에 대한 분류기의 신뢰도 변화를 측정합니다:
  $$s_{x, k_i} = f_{\hat{y}}(x) - f_{\hat{y}}(\tilde{x}_i)$$
  더 큰 점수는 해당 개념이 의사결정에 더 강력한 긍정적 인과적 지지를 제공함을 나타냅니다.

2. 전역 온톨로지 유도

국소적 설명을 넘어, OCCAM 은 전체 데이터셋에 걸쳐 개입 증거를 집계하여 구조화된 개념 온톨로지를 유도합니다.

• 구조: 온톨로지는 노드가 클래스, 이미지, 개념, 그리고 인과적 증거 엔티티 (점수 및 아티팩트 포함) 를 나타내는 지식 그래프 (RDF/OWL) 로 형식화됩니다.
• 창발: 전역 개념–클래스 및 개념 간 의존성은 상향식으로 부과되는 것이 아니라 저장된 개입 속성을 집계함으로써 창발됩니다.
• 추론: 이 온톨로지는 모델의 전역 행동에 대한 구조화된 쿼리 및 추론을 가능하게 하여, 개별 이미지별 설명으로는 놓칠 수 있는 안정적인 의존성, 구성적 패턴, 잠재적 인과 관계를 드러냅니다.

3. 평가 지표

프레임워크는 다음을 사용하여 평가됩니다:

• 인과적 가지치기 지표: 개념 제거가 모델 신뢰도에 미치는 영향을 정량화하기 위해 평균 감소율 (ADP), 최대 감소율 (MDP), 최대 절대 로그 감소 (MAD) 를 사용합니다.
• 그라운딩 지표: 지상 진실 마스크와의 공간적 정합성을 평가하기 위해 에너지 기반 포인팅 게임 (EPG), 정규화 영역 정확도 (NRA), 히트율을 사용합니다.
• 추론 품질: 비구조화된 요약, 평면 JSON, 온톨로지 기반 추론을 사용하여 생성된 LLM 보고서는 독립적인 LLM 과 인간 평가자에 의해 일관성과 충실도에 따라 평가됩니다.

주요 기여

1. OCCAM 프레임워크: 시각 분류기에 대한 쿼리 접근만 필요로 하는 구조화된 객체 수준 개입을 통한 오픈셋 인과적 설명을 위한 엄격한 블랙박스 프레임워크.
2. 원칙적 온톨로지 구축: 사전 정의된 어휘나 내부 표현에 의존하지 않고 이미지 간 개념 수준 인과 효과를 집계하여 창발적인 전역 개념 온톨로지를 구축하는 절차.
3. 온톨로지 기반 추론: 유도된 온톨로지에 대한 추론이 더 깊은 설명을 가능하게 하여, 개별 이미지별 분석으로는 탐지되지 않는 안정적인 개념적 의존성과 잠재적 인과 관계를 밝혀낸다는 증명.
4. 최첨단 성능: 엄격한 오픈셋 및 블랙박스 조건에서 Broden 및 ImageNet-S 데이터셋에 대해 경쟁력 있거나 우수한 성능을 달성하여, 인과적 가지치기 효과 측면에서 화이트박스 폐쇄형 경쟁자들을 능가함.
5. 멀티모달 확장성: 프레임워크가 비전–언어 분류기 (예: CLIP, SigLIP) 로 자연스럽게 확장될 수 있음을 검증하여, 단일 모드 및 멀티모달 아키텍처 전반에 걸쳐 통합된 설명 메커니즘을 제공함.

실험 결과

실험은 ResNet18, ResNet50, ViT-B/16 및 다양한 CLIP/SigLIP 변형을 Broden 및 ImageNet-S 데이터셋을 사용하여 수행되었습니다.

• 인과적 가지치기: OCCAM 은 일관되게 최첨단 폐쇄형 방법인 CE-FAM 보다 강력한 신뢰도 감소를 유도했습니다. 예를 들어, ResNet50 에서 OCCAM 은 평균 감소율 (ADP) **47.19%**를 달성한 반면 CE-FAM 은 44.18% 였으며, 최대 감소율 (MDP) 은 **93.89%**로 CE-FAM 의 84.14% 를 상회했습니다. 이는 OCCAM 이 더 많은 의사결정 핵심 증거를 식별함을 나타냅니다.
• 그라운딩 타당성: 블랙박스 오픈셋 환경에서 작동함에도 불구하고, OCCAM 은 화이트박스 방법과 경쟁력 있는 국소화 점수 (예: ImageNet-S 에 대한 ResNet50 의 EPG 0.65) 를 달성하여 객체 수준 개입 그라운딩이 공간적으로 정합되고 의미론적으로 유의미한 영역을 생성함을 입증했습니다.
• 온톨로지 추론: 전역 설명 평가에서 온톨로지 기반 추론은 비구조화된 요약 (4.31) 및 평면 JSON (4.23) 에 비해 가장 높은 점수 (평균 4.78/5) 를 달성했습니다. 이는 인과적 증거를 공식적으로 구조화하는 것이 전역 모델 설명의 일관성과 충실도를 크게 향상시킨다는 것을 시사합니다.
• 멀티모달 견고성: CLIP 및 SigLIP 에 적용되었을 때, 상위 3 개 영향력 있는 개념의 점진적 제거는 제로샷 정확도의 단조 감소를 초래했습니다. 특히 SigLIP 은 CLIP 변형보다 더 견고한 것으로 나타났는데, 이는 SigLIP 의 의사결정이 소수의 고영향 영역이 아닌 더 분산된 증거에 의존함을 시사합니다.

중요성 및 주장

이 논문은 OCCAM 이 구조화된 개입 가지치기로 해석을 재정의함으로써 모델 해석의 패러다임 전환을 제공한다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• 격차 해소: 기존 방법들이 어려움을 겪는 "블랙박스, 오픈셋, 인과적" 삼중 문제를 성공적으로 해결합니다.
• 전역 통찰: 이미지별 귀속을 넘어 전이함으로써, 창발적 온톨로지를 통해 일관된 전역적 통찰을 도출하고 체계적인 모델 편향을 발견할 수 있는 메커니즘을 제공합니다.
• 행동 기반 지식: 유도된 온톨로지는 외부에서 부과된 것이 아니라 측정된 인과 효과에서 직접 도출되어, 분류기가 시각적 증거를 어떻게 조직화하는지에 대한 질문 가능한 표현을 제공합니다.
• 통합 메커니즘: 입력 수준 개입이 내부 표현에 대한 접근 없이 전통적인 비전 모델과 현대적 멀티모달 아키텍처 모두에 적용 가능한 통합 설명 메커니즘을 제공함을 입증합니다.

저자들은 이러한 관점이 설명 가능한 AI 를 위한 행동 기반 지식 유도 및 구조화된 추론에 대한 향후 연구를 장려한다고 결론지었습니다.