기술 요약: 개념 기반 모델에서의 정보 누출에 대한 옹호

문제 정의

개념 기반 모델(Concept-based Models, CMs)은 예측의 근거를 인간이 이해할 수 있는 개념(예: "줄무늬", "날개")에 두도록 설계된 심층 신경망이다. 이 분야의 지배적인 서사는 정보 누출(information leakage)—개념 표현이 의도된 의미론적 속성에 엄격히 귀속되지 않는 정보를 인코딩하는 현상—이 본질적으로 바람직하지 않다는 것이다. 이러한 누출은 일반적으로 개념 간 누출(하나의 개념 표현이 다른 개념에 대한 정보를 인코딩함)과 태스크 누출(개념 표현이 다운스트림 태스크 라벨 $Y$에 대한 정보를 인코딩함)으로 분류된다.

전통적인 관점은 누출이 개입 가능성(intervenability)(개념 입력을 수정하여 예측을 교정하는 능력)과 해석 가능성(interpretability)(개념만으로 모델의 추론 과정을 재구성할 수 있는 능력)을 저해한다고 주장한다. 결과적으로, 최근 연구들은 구조적 제약이나 정규화를 통해 누출을 제거하는 데 집중해 왔다.

그러나 저자들은 이러한 엄격한 관점이 특히 개념의 불완전성이 일반적인 실제 환경에서는 부적절하며 역효리적이라고 주장한다. 이러한 시나리오에서 가용한 훈련 개념 집합 $C$는 종종 다운스트림 태스크 $Y$를 완전히 설명하지 못한다(즉, $I(Y; X | C) \neq 0$). 저자들은 엄격하게 누출이 없는 표현을 강제하는 것이 높은 태스크 정확도를 저해하여, CM을 비실용적으로 만든다고 주장한다.

방법론

1. 양호한 누출(Benign Leakage)의 공식화

본 논문은 **양호한 누출(Benign Leakage)**이라는 개념을 도입하며, 이를 불완전한 설정에서 정확한 CM을 위해 필요하고 바람직한 특정 형태의 누출로 정의한다. 표현 $\hat{C}$가 양호한 누출을 보인다는 것은 다음 두 조건을 만족함을 의미한다:

• 충분성(Sufficiency): 표현이 실제 개념 $C$에 의해 포착되지 않은 모든 라벨 관련 정보를 보존한다. 형식적으로, $I(Y; R | C) \approx I(Y; X | C)$이며, 여기서 $R$은 표현의 잔차(residual) 성분이다.
• 국소화(Localization): $Y$를 예측하는 데 유용한 특정 개념 $C_i$에 대한 정보가 표현의 특정 성분 $\bar{C}_i$ 내에 국소화되어 있다. 형식적으로, $I(Y; \bar{C}_i | R_i, \hat{C}_{-i}) \approx I(Y; C_i | C_{-i})$이다.

이러한 분해를 통해 모델은 정확도를 위해 누출을 활용(via $R$)하는 동시에 개입 가능성(via $\bar{C}_i$)을 유지할 수 있다.

2. $L_{int}$를 통한 최적화

양호한 누출을 달성하기 위해, 저자들은 새로운 훈련 목적 함수인 **$L_{int}$ (Intervention Loss)**를 최적화할 것을 제안한다. 이 손실 함수는 모든 개념에 대해 개입(즉, 훈련 중에 개념을 실제 값으로 강제)할 때의 태스크 손실을 최소화한다:
$$L_{int} = \mathbb{E}_{(x,c,y) \sim D} \left[ -\log P_f(y | \hat{C} = g(x | C := c)) \right]$$

논문은 $L_{int}$를 최소화하는 것이 충분성을 암시적으로 장려한다고 주장한다. 라벨 예측기가 잘 지정되었다는 가정하에, 전체 개입 하에서의 음의 로그 가능도(negative log-likelihood)를 최소화하는 것은 개념이 주어졌을 때 잔차 표현과 태스크 라벨 사이의 상호 정보량을 최대화하는 것과 같다.

또한, 저자들은 단순성 편향(simplicity bias)(SGD가 더 단순한 가설을 선호함) 때문에 $L_{int}$를 최소화하는 것이 국소화 또한 암시적으로 장려한다고 가설을 세운다. 모델을 위한 더 단순한 가설은 라벨 예측기가 개념별 추론을 위해 개념 정렬 성분에 의존하도록 학습하며, 잔차 누출에 개념 정보를 재인코딩하지 않는 모델이다.

3. 실험 설정

저자들은 CUB-200 데이터셋(조류)을 사용하여 자신들의 주장을 평가하며, 특히 원래 112개의 개념 중 22개의 개념(7개 그룹)으로 개념 주석을 하위 샘플링하여 **불완전한 버전(CUB-Incomplete)**을 구축하였다. 이들은 다음을 포함한 다양한 아키텍처를 테스트한다:

• 독립적/순차적/결합형 CBM (Independent/Sequential/Joint CBMs): 다양한 정도의 누출을 가진 표준 베이스라인들.
• 하이브리드 CBM (Hybrid CBMs): 잔차 채널(bypass channels)을 명시적으로 허용하여 누출을 허용하는 모델.
• 개념 임베딩 모델 (CEMs) & ProbCBMs: 동적 임베딩을 사용하는 모델.
• 블랙박스 베이스라인 (Black Box Baselines): 개념 정렬 손실이 없는 DNN.

주요 지표로는 태스크 충실도(Task Fidelity) (정확도), 개념 충실도(Concept Fidelity) (개념 예측 정확도), 그리고 개입 가능성(Intervenability) (실제 개념이 제공되었을 때의 성능 향상)이 포함된다.

주요 결과

1. 누출이 반드시 개입 가능성을 파괴하는 것은 아니다

기존의 서사와 반대로, 저자들은 적절히 조건화될 경우 누로 된 모델도 불완전한 설정에서 높은 개입 가능성을 유지할 수 있음을 입증했다.

• $L_{int}$가 없는 경우: 많은 누출 모델(예: Joint Logit CBMs, 큰 바이패스를 가진 Hybrid CBMs)은 불완전한 설정에서 개입이 불가능해진다. 즉, 개념이 교정되어도 정확도가 향상되지 않거나 오히려 감소한다.
• $L_{int}$가 있는 경우: 동일한 누찰 모델들이 $L_{int}$ 정규화로 훈련될 때 높은 개입 가능성을 회복한다. 예를 들어, 큰 Hybrid CBM(500개의 잔차 뉴런 보유)은 비누출형 Independent CBM만큼 개입 가능하면서도 훨씬 높은 태스크 정확도를 유지한다.

2. 양호한 누출은 해석 가능성을 희생하지 않고 정확도를 향상시킨다

• 정확도: 불완전한 설정에서, $L_{int}$로 훈련된 모델은 불완전한 개념 집합에만 의존하도록 강제된 비누출형 베이스라인(예: Independent CBMs)보다 훨씬 높은 태스크 충실도를 달ей한다.
• 해석 가능성: 프록시 지표(개념 ROC-AUC 및 라벨 예측기 가중치 분석)를 사용하여, 저자들은 잘 조건화된 누출 모델(예: $L_{int}$를 적용한 Hybrid CBM)이 통계적으로 비누출형 모델과 구별할 수 없을 정도로 유사한 개념-태스크 가중치 구조를 보임을 보여준다. 누출 모델이 클래스를 예측하기 위해 사용하는 상위 개념들은 비누출형 모델이 사용하는 개념들과 밀접하게 일치하며, 이는 누출이 표준적인 지표가 탐지하는 방식의 추론 과정을 가리지 않음을 시사한다.

3. 불완전성의 역할

완전한 데이터셋에 대한 실험에서, 누출 모델은 $L_{int}$ 없이도 개입 가능한 경우가 많았다. 그러나 불완전한 설정에서는 $L_{int}$의 부재가 누출 모델의 개입 불가능한 동작을 초래한다. 이는 "누출의 해악"이 맥락 의존적이며, 모델이 누락된 태스크 관련 정보의 충분한 표현을 학습하는 데 실패할 때 발생함을 확인시켜 준다.

의의 및 주장

본 논문은 CM에서의 정보 누출에 대한 패러다임을 제거해야 할 현상에서 제어하고 활용해야 할 현상으로 전환할 것을 주장한다.

1. 서사의 재구성: 저자들은 누출을 "해석 불가능하다"고 보는 엄격한 관점이 불완전한 실제 시나리오에서의 실질적인 필요성을 무시하기 때문에 부적절하다고 주장한다. 그들은 이러한 설정에서 누출을 제거하는 것은 실질적인 이득이 없는 이론적 순수성을 위해 정확도를 희생하는 트레이드오프를 강요한다고 논한다.
2. 실질적 필요성: 논문은 양호한 누출이 정확하면서도 개입 가능한 CM을 구축하는 데 필수적이라고 상정한다. 누출을 통해 $I(Y; X | C)$를 포착하도록 허용하지 않는다면, CM은 정확한 예측이라는 본연의 기능을 수행할 수 없다.
3. 방법론적 기여: $L_{int}$의 도입은 "양호한 누출"을 가능하게 하는 단순하고 아키텍처에 구애받지 않는 정규화 도구를 제공한다. 이는 기존의 다양한 메커니즘(예: CEMs의 확률적 개입)을 특수 사례로 복구하며, 견고한 CM을 훈련하기 위한 통합된 접근 방식을 제공한다.
4. 행동 촉구: 저자들은 커뮤니티가 검증 가능한 기준 없이 누출이 해석 가능성을 파괴한다는 광범위한 주장을 멈출 것을 촉구한다. 대신, 연구자들이 다음 사항에 집중할 것을 권고한다:
   • 불완전한 설정에서 CM을 평가할 것.
   • 누출을 제거하기보다 제어(국소화 및 충분성)하는 데 집중할 것.
   • CM 특유의 현상과 숏컷 러닝(shortcut learning)과 같은 일반적인 딥러닝 실패 모드를 구분할 것.

결론적으로, 본 논문은 "누출"이 본질적으로 악한 것이 아니라, 제어되지 않은 누출이 문제라고 단언한다. $L_{int}$를 통해 충분성과 국소화를 최적화함으로써, 불완전한 설정에서도 높은 정확도를 달성하면서 해석 가능성과 개입 가능성이라는 핵심 속성을 유지하는 CM을 구축할 수 있다.