기술 요약: 시각-언어 선호도 학습을 통한 설명 가능한 개념 생성

문제 정의

심층 신경망(DNN)의 내부 표현을 이해하는 것은 모델 개선 및 규제 평가를 위해 매우 중요합니다. 테스트 시 개념 활성화 벡터(TCAV)와 같은 개념 기반 설명 방법은 고수준의 시각적 개념(예: "줄무늬")을 모델의 결정과 연결함으로써 인간이 해석 가능한 통찰력을 제공하지만, 수동 개념 큐레이션이라는 심각한 병목 현상을 겪고 있습니다.

기존 방식은 실무자가 후보 개념 이미지 세트를 직접 추측하고 수집해야 합니다. 이 과정은 노동 집약적이며, 중요한 개념을 간과하기 쉽고, 인간의 인지적 편향에 의해 제한됩니다. 또한, 테스트 이미지에서 직접 개념을 추출하는 대안적인 "검색(retrieval)" 방식(예: 세그멘테이션을 통한 방식)은 고수준의 추상화를 포착하는 데 실패하여, 대상 클래스의 근본적인 특징(예: 줄무늬)보다는 대상 클래스의 패치(예: 얼룩말의 일부 패치)를 생성하는 경향이 있습니다. 즉, 인간의 개입 없이 특정 DNN의 의사 결정 과정에 진정으로 중요한 다양하고 고수준인 개념을 생성할 수 있는 자동화된 방법이 부족한 실정입니다.

방법론: 강화 학습 기반 선호도 최적화 (RLPO)

저자들은 RLPO를 제안하며, 이는 개념 세트 생성을 이미지 생성 문제로 재정의합니다. 이미지를 검색하거나 수동으로 큐레이션하는 대신, RLPO는 딥 강화 학습에 의해 유도되는 생성 모델을 사용하여 TCAV 점수를 극대화하는 개념 이미지를 합성합니다.

핵심 구성 요소

1. 생성 모델 (Stable Diffusion): 시스템은 텍스트 프롬프트를 기반으로 개념 이미지를 생성하기 위해 사전 학습된 텍스트-이미지 모델(Stable Diffusion v1-5)을 활용합니다.
2. 심층 강화 학습 (DQN): 심층 Q-네트워크(DQN)가 생성 과정을 제어합니다.
   • 행동 ($a_t$): 사전 정의된 리스트(Vision-Question Answering 모델을 통해 추출됨)에서 시드 프롬프트 선택.
   • 상태 ($s_t$): 이전 프롬프트로부터 생성된 선호되는 개념 이미지.
   • 보상 ($r_t$): 생성된 이미지의 TCAV 점수를 기반으로 계산.
3. 선호도 최적화 (RLPO): 인간의 순위 매기기에 의존하는 표준 선호도 최적화와 달리, RLPO는 TCAV 점수를 선호도 신호로 사용합니다. 시스템은 두 그룹의 생성된 이미지($G_1$ 및 $G_2$)를 비교하며, TCAV 점수가 더 높은 그룹이 선호됩니다.
4. LoRA를 통한 미세 조정: 생성 모델이 더 관련성 높은 개념을 생성하도록 유도하기 위해, 시스템은 저차원 적응(LoRA)을 사용하여 Stable Diffusion 모델의 가중치를 업데이트($w_{t+1} \leftarrow w_t + \lambda ab$)하며, 이를 통해 특정 신경망 활성화를 트리거하는 이미지를 생성하도록 반복적으로 정교화합니다.
5. 동적 보상 스케일링: 에이전트가 "프록시 상태"(낮은 TCAV)에서 "설명 가능한 상태"(높은 TCAV)로 진행함에 따라 적절한 피드백을 받을 수 있도록 보상을 조정하는 스케일링 인자 $\xi_t$를 도입합니다.

주요 기여

1. 자동화된 개념 생성: 본 논문은 인간의 추측이나 검색이 필요 없이, 신경망의 의사 결정 과정과 관련된 개념을 자동으로 "생성"하는 방법인 RLPO를 소개합니다.
2. 비직관적 개념의 발견: 이 방법은 인간이나 검색 기반 방식이 예측하기 어려운 다양한 개념(예: 얼룩말 분류기를 위한 단순한 "줄무늬"뿐만 아니라 "진흙"이나 "달리는" 나무와 같은 배경 요소)을 성공적으로 식별합니다.
3. 포괄적인 검증: 저자들은 RLPO가 내부 네트워크 표현을 효과적으로 드러낸다는 것을 입증하기 위해 정성적 및 정량적 증거(계산 지표 및 인간 설문 조사)를 모두 제공합니다.
4. 모듈성 및 일반화 가능성: 프레 successfully 설계된 프레임워크는 생성 모델과 같은 구성 요소를 교체할 수 있도록 모듈식으로 설계되었습니다. 저자들은 이 프레임워크를 컴퓨터 비전을 넘어 NLP 감성 분석 작업으로 확장하여 적용 가능성을 입증했습니다.

실험 결과

이 방법은 ImageNet으로 학습된 여러 분류기(GoogleNet, InceptionV3, ViT, Swin)와 CelebA 데이터셋의 ResNet-18, 그리고 IMDB의 TextCNN에 대해 평가되었습니다.

• 탐색 전략: RLPO는 $\epsilon$-greedy 탐색 전략보다 우수한 성능을 보였으며, 더 높은 엔트로피와 더 나은 행동 공간 탐색 능력을 보여주었습니다 (표 1).
• 스코어링 메커니즘: TCAV를 선호도 피드백으로 사용하는 것(RLPO-XAIF)이 실행 시간 및 계산 비용 측면에서 인간 피드백(RLPO-HF) 및 AI 피드백(RLPO-AIF)보다 우수했으며, 모델 특화적인 설명을 제공했습니다 (표 2).
• 개념 다양성 및 참신함:
  • 탐색 격차 (Explorance Gap, EG): 인간 설문 조사 결과, 인간이 식별할 수 있는 개념과 RLPO가 생성한 개념 사이에 상당한 격차가 있음이 밝혀졌습니다. 일반인 대상 조사에서 검색 방식의 EG는 6.54%였던 반면, RLPO는 91.54%로 나타나 RLPO가 인간이 일반적으로 고려하지 않는 개념을 찾아낸다는 것을 보여주었습니다 (표 3).
  • 다양성: 생성된 개념은 검색 기반 방식에 비해 낮은 코사인 유사도와 높은 유클리드 거리를 보였으며, 이는 생성된 개념이 이미지 패치가 아닌 추상적 특징을 나타냄을 확인시켜 줍니다 (표 4).
• 검증:
  • C-Deletion: 입력 이미지에서 생성된 개념(예: "줄무와")을 제거했을 때 모델 정확도가 크게 하락하여, 해당 개념들의 중요성을 검증했습니다 (그림 6).
  • 엔지니어 유용성: 19명의 ML 엔지니어를 대상으로 한 연구에서, 94.7%가 RLPO 설명이 모델을 이해하는 데 도움이 되었다고 답했으며, 84.2%는 새로운 통찰을 얻었다고 답했습니다. 엔지니어들은 종종 RLPO가 중요하다고 식별한 개념(예: "달리는" 또는 "진흙")을 놓치곤 했습니다.
• 편향 탐지: "금발" 대 "금발 아님" 분류기에 적용했을 때, RLPO는 모델이 "여성 얼굴" 개념에 크게 의존하고 있음을 드러내어 훈련 데이터의 성별 편향을 강조했습니다.
• NLP 일반화: 프레임워크가 감성 분석을 위한 단어 유의어 생성에 성공적으로 적응되어, 도메인 간 적용 가능성을 입로 증명했습니다.

의의 및 주장

본 논문은 RLPO가 현재의 개념 기반 XAI 방법의 근본적인 한계인 개념 선택을 위한 인간의 직관 의존 문제를 해결한다고 주장합니다. 개념 생성을 강화 학습을 통해 최적화되는 생성 문제로 프레이밍함으로써, 저자들은 신경망의 결정을 주도하는 다양하고 고수준인 개념을 자동으로 명시하는 것이 가능하다는 것을 보여주었습니다.

저자들은 이 작업을 다음과 같은 용도로 포지셔닝합니다:

1. 모델 개선: 엔지니어는 생성된 개념(예: 호랑이를 위해 배경의 "흐릿한" 질감에 집중한다는 점을 식별)을 사용하여 모델을 미세 조정하고 거짓 상관관계(spurious correlations)에 대한 의존도를 줄일 수 있습니다.
2. 편향 이해: 이 방법은 인간 관찰자에게 명확히 드러나지 않는 훈련 과정 중 학습된 바람직하지 않은 편향을 찾아낼 수 있습니다.
3. 일반화 가능성: 이 접근 방식은 시각에 국한되지 않으며 NLP와 같은 다른 모달리티에도 적응할 수 있습니다.

저자들은 초기 시드 프롬프트와 생성 모델의 사전 학습 데이터에 따라 생성된 개념의 품질이 달라질 수 있으며, 이것이 자체적인 편향을 유발할 수 있다는 점을 언급하며 한계를 인정했습니다. 그들은 향-후 연구로서 생성된 설명을 특정 애플리케이션 요구 사항에 더욱 정렬시키기 위해 도메인 전문가의 선호도를 통합하는 것을 제안했습니다.