기술 요약: 신경 개념 검증기 (Neural Concept Verifier, NCV)

문제 정의

딥러닝 모델은 높은 예측 성능을 달-성하지만, 특히 고위험 애플리케이션에서 해석 가능성과 검증 가능성이 부족한 경우가 많습니다. 두 가지 기존 접근 방식이 이를 해결하려고 시도했으나 상당한 한계에 직면해 있습니다:

1. 증명자-검증자 게임 (Prover-Verifier Games, PVGs): Merlin-Arthur Classifier (MAC)와 같은 프레임워크는 "증명자"가 검증자를 설득하기 위해 특징을 선택하는 형식을 통해 형식적인 해석 가능성 보장을 제공합니다. 그러나 고차원 입력(예: 원시 이미지)에 적용될 때, 이러한 모델은 확장성 문제에 부딪힙니다. 픽셀 수준 마스크의 최적화는 계산적으로 매우 어렵고, 그 결과로 나오는 설명(픽셀 마스크)은 인간이 이해하기 어려운 경우가 많습니다.
2. 개념 병목 모델 (Concept Bottleneck Models, CBMs): 이 모델들은 중간 단계의 인간 이해 가능한 개념을 통해 예측을 구조화합니다. CBM은 설명력을 높여주지만, 표준 CBM은 일반적으로 개념 인코딩 위에 선형 분류기를 사용합니다. 이는 표현력을 제한하여, 개념 간의 복잡한 비선형 상호작용(예: XOR 문제, 개수 세기)을 포착하지 못하게 하며, 결과적으로 "해석 가능성-정확도 격차"를 야기합니다.

핵심 과제는 PVG의 형식적 검증 가능성과 CBM의 확장성 및 해석 가능성을 결합하면서도 예측 능력을 희생하지 않는 것입니다.

방법론: 신경 개념 검증기 (NCV)

저자들은 원시 픽셀 공간에서 구조화된 기호적 개념 공간으로 증명자-검증자 상호작용을 전환하는 통합 프레임워크인 **NCV (Neural Concept Verifier)**를 제안합니다.

프레임워크 아키텍처

NCV는 공동으로 학습되는 세 가지 주요 구성 요소로 이루어집니다:

1. 개념 추출기 ($g$): 원시 입력 $x$를 고차원 개념 인코딩 $c \in \mathbb{R}^C$로 변환하는 약지도 또는 비지도 모델(예: Neural Concept Binder 또는 CLIP 기반 SpLiCE)입니다. 이 모듈은 NCV 학습 동안 동결(frozen)된 상태로 유지됩니다.
2. 증명자들 ($M, \bar{M}$): 개념 인코딩 위에서 작동하는 두 명의 경쟁 에이전트입니다:
   • Merlin (협력적 증명자): 올바른 분류를 뒷받침하기 위한 희소한 개념 부분 집합 $S$를 선택합니다.
   • Morgana (적대적 증명자): 검증자를 오도하기 위한 희소한 개념 부분 집합 $\bar{S}$를 선택합니다.
     두 증명자 모두 크기가 $m$인 희소 이진 마스크를 출력합니다.
3. 검증자 ($A$): 증명자들이 제공한 마스킹된 개념 부분 집합에 독점적으로 기반하여 예측을 수행하는 비선형 분류기(Arthur)입니다. 이 모델은 확장된 예측 공간 $\{1, \dots, K, \perp\}$에서 작동하여, 불확실할 경우 판단을 유보(거부)할 수 있으며, 이는 건전성(soundness)을 위해 필수적입니다.

학습 목표

시스템은 세 가지 손실 함수를 최적화하기 위해 min-max 게임을 통해 학습됩니다:

• Merlin의 손실 ($L_M$): 검증자가 Merlin이 선택한 개념을 바탕으로 올바르게 분류하도록 장려합니다 (완전성, Completeness).
• Morgana의 손실 ($L_{\bar{M}}$): 검증자가 Morgana의 개념에 의해 오도되지 않도록 장려합니다 (건전성, Soundness). 검증자가 Morgana의 부분 집합에 대해 잘못된 레이블을 예측하면 페널티를 받지만, 확신 없는 오류를 범하기보다는 판단을 유보($\perp$)하는 것에 대해 보상을 받습니다.
• 검증자의 손실 ($L_A$): 가중 조합된 손실입니다: $L_A = (1-\gamma)L_M + \gamma L_{\bar{M}}$. 하이퍼파라미터 $\gamma$는 예측 성능(완전성)과 적대적 개념에 대한 강건성(건전성) 사이의 트레이드오프를 조절합니다.

이론적 보장

NCV는 Merlin-Arthur 프레임워크로부터 정보 이론적 보장을 상속받습니다. 개념 공간에서 작동함으로써, 이 프레임워크는 완전성(검증자가 Merlin의 부분 집합으로부터 실제 레이블을 복구할 확률)과 건전성(Morgana의 부분 집합 하에서 잘못된 레이블을 피할 확률)을 정의합니다. 특징 상관관계 및 클래스 불균형에 관한 특정 가정하에, 높은 완전성과 건전성은 Merlin의 희소한 개념 선택이 실제 레이블과 높은 상호 정보량을 가지고 있음을 의미하며, 이는 충실성(faithfulness)에 대한 인증을 제공합니다.

주요 기여

1. 프레임워크 통합: 개념 기반 표현을 Prover-Verifier Games에 통합하여, 고차원 이미지 데이터에 대한 PVG의 확장성 문제를 효과적으로 해결한 최초의 프레임워크인 NCV를 제안합니다.
2. 확장성: 압축된 개념 인코딩 상에서 작동함으로써 픽셀 기반 PVG의 계산적 및 확장성 병목 현상을 극복함을 입증합니다.
3. 표현력: 개념에 대한 표현적이고 비선형적인 추론을 가능하게 하여, 선형 Concept Bottleneck Models의 고질적인 문제인 해석 가능성-정확도 격차를 좁힙니다.
4. 강건성: 적대적 학습 설정을 통해 모델이 지름길 학습(shortcut learning)을 완화하고, 부차적인 상관관계 대신 견고하고 과업 관련성이 높은 특징에 의존하도록 유도함을 보여줍니다.

실험 결과

저자들은 합성 데이터셋(CLEVR-Hans3, CLEVR-Hans7)과 실제 데이터셋(CIFAR-100, ImageNet-1k, COCOLogic)에서 NCV를 평가했습니다.

• 베이스라인과의 성능 비교: NCV는 일관되게 높은 완전성(정확도)과 완벽에 가까운 건전성을 달성했습니다. CLEVR-Hans3에서 NCV는 선형 CBM과 불투명한 ResNet-18 베이스라인을 모두 능가했습니다. CIFAR-100 및 COCOLogic과 같은 실제 데이터셋에서 NCV는 선형 및 비선형 CBM보다 우수한 성능을 보였으며, 심지어 ResNet-50의 정확도와 대등하거나 이를 초과하면서도 해석 가능성을 유지했습니다.
• 픽셀 기반 PVG 비교: Pixel-MAC(픽셀 기반 PVG)은 고차원의 실제 데이터셋에서 실패하거나 낮은 성능을 보인 반면, NCV는 성공적으로 확장되었습니다.
• 해석 가능성: 정성적 분석 결과, NCV는 Pixel-MAC이 생성하는 분산되고 무의미한 픽셀 마스크와 달리, 희소하고 의미론적으로 유의미한 개념 설명(예: "작은 금속 구체")을 생성함을 보여주었습니다.
• 지름길 완화: 부차적 상관관계가 포함된 실험(CLEVR-Hans)에서 NCV는 탁월한 강건성을 입증했습니다. 깨끗한 데이터의 양이 증가함에 따라, NCV는 선형 및 비선형 CBM 변형보다 더 빠르게 지름길에 대한 의존도를 줄였으며, 제한된 깨끗한 감독 하에서도 가장 높은 테스트 정확도를 달-성했습니다.

의의 및 주장

본 논문은 NCV를 개념 수준의 검증 가능한 AI를 향한 유망한 단계로 자리매김합니다. 저자들은 NCV가 게임 이론적 검증의 형식적 보장과 고차원 데이터에 필요한 실질적 확장성 사이의 간극을 성공적으로 메웠다고 주장합니다.

이 연구는 모든 해석 가능성 문제를 해결한다고 주장하지 않습니다. 저자들은 다음과 같은 한계를 인정합니다:

• 기저의 개념 추출기 품질에 대한 의존성 (노이즈가 있는 개념은 성능을 저하시킴).
• 선형 CBM에 비해 증가된 학습 복잡도 및 계산 비용.
• 개념 발견에 사용된 사전 학습된 파운데이션 모델(예: CLIP)으로부터 물려받은 편향.
• 이론적 보장은 이산적이고 중간 차원의 개념 공간에서 가장 직접적으로 평가 가능하며, 밀집된 연속 공간에서는 이 경계값이 직접 측정되는 수치라기보다 이론적 동기 역할을 함.

궁극적으로, 이 논문은 NCV가 예측 성능과 검증 가능하며 인간이 이해할 수 있는 근거가 모두 필수적인 신뢰할 수 있는 모델을 배포하기 위한 경로를 제공한다고 주장합니다.