🤖 machine learning

When Confidence Lacks Concepts: Interpretable OOD Detection via Representation Perturbations

본 논문은 희소 오토인코더를 활용하여 클래스별 개념 벡터를 추출하고, 이들의 섭동 유도 안정성을 이용해 표현 정렬을 기반으로 분포 내 샘플과 분포 외 이상치를 구분함으로써 의료 영상의 안전성을 향상시키는 해석 가능한 분포 외(OOD) 탐지 프레임워크를 제안한다.

원저자: Anju Chhetri, Pratik Shrestha, Ramesh Rana, Prashnna Gyawali, Binod Bhattarai

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Anju Chhetri, Pratik Shrestha, Ramesh Rana, Prashnna Gyawali, Binod Bhattarai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: 과도하게 자신만만한 로봇 의사

매우 숙련된 로봇 의사가 있다고 상상해 보세요. 이 로봇은 의료 영상(X-ray나 내시경 사진 등)을 통해 질병을 진단하는 데 탁월한 능력을 갖추고 있습니다. 이 로봇은 수천 장의 건강한 위 사진과 특정 유형의 암 사진을 공부했습니다.

하지만 이 로봇에게는 위험한 결함이 하나 있습니다. 바로 **과도한 일반화(overgeneralization)**를 한다는 점입니다. 만약 당신이 로봇에게 완전히 다른 장기나, 이상한 인공물(artifact), 혹은 로봇이 한 번도 본 적 없는 질병의 사진을 보여준다면, 로봇은 여전히 "이게 무엇인지 정확히 알고 있습니다!"라고 자신 있게 말하며 진단을 내릴 수 있습니다. 현실 세계에서 이는 매우 위험합니다. 로봇이 자신 있게 틀릴 수 있기 때문입니다.

현재의 방법들은 로봇의 "내부 수학적 계산"(예: 얼마나 확신하는지)을 살펴봄으로써 이러한 실수를 잡아내려 노력합니다. 하지만 문제는 이 내부 신호들이 '블랙박스'와 같다는 점입니다. 우리는 로봇이 불확실하다는 것은 알지만, 왜 불확실한지는 모릅니다. 이는 자동차 대시보드에 "엔진 문제"라는 경고등은 뜨지만 구체적인 내용은 알려주지 않는 것과 같습니다. 의료 분야에서는 로봇을 신뢰하기 위해 로봇이 왜 불확실한지를 알아야 합니다.

해결책: "개념 섭동(Concept Perturbation)" 테스트

이 논문의 저자들은 이 로봇을 테스트하는 새로운 방법인 CAPS(Class-conditioned Activation Perturbations)를 제안합니다. 단순히 최종 답변을 보는 대신, 그들은 로봇의 뇌를 쿡쿡 찔러보며 그 사고 과정이 얼마나 안정적인지 확인합니다.

작동 방식은 다음과 같습니다.

1. 질병의 "어휘" 학습하기 (SAE)

먼저, 연구진은 로봇에게 새로운 방식으로 생각하는 법을 가르칩니다. 그들은 **희소 오토인코더(Sparse Autoencoder, SAE)**라는 도구를 사용합니다.

비유: 로봇이 보통 거대하고 무질서한 단어의 '수프' 상태로 생각한다고 가정해 봅시다. SAE는 이 수프를 각각의 뚜렷하고 개별적인 재료(개념)들로 분해하는 번역기 역할을 합니다.
결과: 특정 질병(예: "유문(Pylorus)")에 대해, 로봇은 특정 "개념 벡터(concept vectors)"를 식별하는 법을 배웁니다. 이것들은 건강한 유문의 모습(예: "둥근 모양", "분홍색", "특정한 입구")에 대한 정신적 청사진과 같습니다.

2. "만약 ~라면?" 테스트 (섭동/Perturbation)

로봇이 새로운 환자의 이미지를 볼 때, 로봇은 추측을 합니다. 예를 들어 "유문"이라고 추측했다고 해봅시다.

테스트: 연구진은 그 특정 "유문 청사진"(개념 벡터)을 가져와서, 이미지의 내부 표현을 그 방향으로 살짝 밀어봅(nudge). 이것은 로봇에게 이렇게 묻는 것과 같습니다: "만약 내가 이 이미지를 완벽한 유문의 모습에 가깝게 만든다면, 너의 확신도가 변하니?"

3. 안정성 체크 (ID vs. OOD)

여기서 마법이 일어납 수 있습니다. 연구진은 그 '밀기(nudge)' 이후에 로봇의 확신도가 얼마나 변하는지를 측정합니다.

시나리오 A: 실제 환자 (In-Distribution, 분포 내 데이터)
- 상황: 이미지가 실제로 진짜 유문입니다.
- 반응: 로봇의 뇌는 이미 "유문 청사진"과 정렬되어 있습니다. 따라서 그 청사진 쪽으로 밀어도 로봇은 거의 꿈쩍도 하지 않습니다. 확신도가 일정하게 유지됩니다.
- 판정: "이것은 안전하고 알려진 샘플이다."
시나리오 B: 가짜/알 수 없는 환자 (Out-of-Distribution, 분포 외 데이터)
- 상황: 이미지는 사실 이상한 인공물이거나 다른 장기이지만, 로봇은 어쨌든 "유문"이라고 추측했습니다.
- 반응: 로봇의 뇌는 실제로 "유문 청사진"과 정렬되어 있지 않습니다. 따라서 그 청사진 쪽으로 밀면 로봇은 혼란에 빠집니다. 이미지가 해당 개념과 실제로 맞지 않기 때문에 확신도가 요동치게 됩니다.
- 판정: "수상하다! 로봇이 실제 근거 없이 추측하고 있다. 이를 분포 외 데이터(OOD)로 표시하라."

이것이 왜 중요한가: 블랙박스에서 글래스박스로

이 논문은 이 방법이 **해석 가능하다(interpretable)**는 점에서 특별하다고 주장합니다.

기존 방식: "로봇이 불확실해합니다." (왜 그런지는 모릅니다).
새로운 방식: "이미지가 유문을 정의하는 특정 시각적 특징(개념)을 결여하고 있기 때문에 로봇이 불확실해합니다. 비록 로봇은 유문이라고 추측했지만 말이죠."

연구진은 세 가지 유형의 의료 영상에 대해 이 방법을 테스트했습니다:

내시경 (위장/창자 내부 관찰)
조직병리 (현미경으로 본 조직 샘플 관찰)
안과 (눈의 망막 스캔 관찰)

전문가들의 의견

그들의 "개념"이 단순한 수학적 헛소리가 아니라 실제임을 증명하기 위해, 연구진은 결과를 소화기 내과 의사에게 보여주었습니다.

결과: 의사는 로봇이 "안정적"일 때, 이미지에 명확하고 실제적인 의학적 랜드마크(예: 식도의 Z-선 또는 십이지장 입구)가 나타난다는 것을 확인했습니다.
실패: 로봇이 "불안정"할 때(OOD 샘플), 의사는 해당 이미지들에 그러한 랜드마크가 없거나 적절하지 않은 것(예: 잘못된 위치의 용종이나 소프트웨어 오버레이)이 있음을 확인했습니다.

요약

이 논문은 AI의 확신이 실제 이해 가능한 특징들에 "기반(grounded)"하고 있는지 확인함으로써 AI의 실수를 잡아내는 방법을 소개합니다.

AI가 확신을 가지고 있고 그 이미지가 그 확신의 "개념"과 일치한다면, 그것은 안전할 가능성이 높습니다.
AI가 확신을 가지고 있지만 이미지가 그 "개념"과 일치하지 않는다면(테스트 시 큰 반응을 보인다면), 그것은 실수일 가능성이 높습니다.

이는 단순히 오류를 잡아내는 것뿐만 아니라, 왜 오류가 발생하는지를 설명함으로써 의료와 같은 고위험 분야에서 AI를 더 안전하게 만듭니다.

기술 요약: 확신에 개념이 결여되었을 때: 표현 섭동을 통한 해석 가능한 OOD 탐지

문제 정의
심층 신경망, 특히 의료 영상 분야의 모델들은 분포 변화(예: 영상 프로토콜, 환자 인구 통계 또는 새로운 질병의 변이)에 직면했을 때 과도하게 일반화하는 경향을 보입니다. 이러한 신뢰할 수 없는 예측의 위험을 완화하기 위해 분포 외(Out-of-Distribution, OOD) 탐지 방법들이 존재하지만, 대부분은 불투명한 내부 신호(예: 소프트맥스 확률, 에너지 점수 또는 특징 거리)에 의존하며 그 의미론적 의미가 명확히 이해되지 않습니다. 이러한 해석 가능성의 결여는 왜 특정 샘플이 이상치로 분류되었는지에 대한 이해가 필수적인 안전 중심의 임상 환경에서 신뢰를 제한합니다. 본 논문은 탐지 결정이 구체적이고 임상적으로 유의미한 개념과 연결되는, 판별력 있고 해석 가능한 OOD 탐지 프레임워크의 필요성을 다룹니다.

방법론: 클래스 조건부 활성화 섭동 (Class-conditioned Activation Perturbations, CAPS)
제안된 프레임워크인 CAPS는 표현 공간 내에서 클래스 조건부의 의미론적 섭동에 따른 모델 예측의 안정성을 조사함으로써 작동합니다. 방법론은 세 단계로 진행됩니다:

희소 오토인코더(Sparse Autoencoder, SAE) 학습:
저자들은 조밀한 중간 활성화 값(특히 Vision Transformer의 [CLS] 토큰)을 희소하고 의미론적으로 유의미한 성분으로 분해하기 위해 희소 오토인코더를 사용합니다. SAE는 희소한 잠재 표현 $s(h)$ 와 디코더 $D$ 를 학습하며, 여기서 원래의 활성화 $h$ 는 디코더 열(feature)들의 선형 결합으로 근사됩니다. 학습 목적 함수는 재구성 충실도와 희소성 사이의 균형을 맞춥니다 ( $L = \|h - \bar{h}\|^2_2 + \gamma\|s(h)\|_1$ ).
클래스별 개념 추출:
각 클래스 $c$ 에 대해, 저자들은 분포 내(In-Distribution, ID) 학습 샘플들에 대한 평균 잠재 활성화를 계산하여 특정하게 활성화되는 SAE 잠재 차원들의 하위 집합을 식서합니다. 가장 높은 평균 활성도를 가진 상위- $k$ 잠재 차원이 선택되어 클래스 특화 개념 사전 $K_c$ 를 형성합니다. 이 디코더 열들은 클래스를 정의하는 특징을 인코딩하는 선형 방향을 나타냅니다.
섭동 및 안정성 분석:
추론 시, 모델은 테스트 입력 $\bar{x}$ 에 대해 클래스 $\hat{y}$ 를 먼저 예측합니다. 그 후, 선택된 개념 벡터들을 집계하고 정규화하여 대응하는 개념 벡터 $v_{\hat{y}}$ 를 구성합니다. 이 벡터는 제어된 섭동을 통해 모델의 중간 활성화 단계 $l$ 에 주입됩니다: $\tilde{h}_l = h_l + \beta v_{\hat{y}}$ , 여기서 $\beta$ 는 섭동 강도를 조절합니다.

핵심 가설은 클래스 특화된 의미론적 방향과 일치하는 ID 샘플은 이러한 섭동에 대해 낮은 민감도(결과적으로 클래스 로짓의 작은 변화)를 보일 것이라는 점입니다. 반대로, 학습된 방향과의 정렬이 부족한 OOD 샘플은 로짓에서 증폭된 편차를 보일 것입니다. OOD 탐지 점수는 로짓 변화량의 크기인 $\Delta \ell_c$ 로 정의됩니다. 홀드아웃(held-out) ID 세트에서 교정된 임계값 $\tau$ 를 초과하는 샘플은 OOD로 분류됩니다.

주요 기여

새로운 프레임워크: 불투명한 출력 점수가 아닌 표현 공간에서의 개념 수준 섭동을 활용하는 OOD 탐지 방법인 CAPS를 제안하였습니다.
교차 도메인 평가: 세 가지 서로 다른 의료 영상 모달리티(내시경: Kvasir-v2, 조직병리: NCT-CRC-HE-100K/CRC-VAL-HE-7K, 안과 영상: 망막 OCT)에 걸친 광범위한 평가를 수행하였습니다.
임상적 해석 가능성: 추출된 SAE 특징이 임상 전문가의 블라인드 검토를 통해 검증된 것처럼, 해부학적 랜드마크(예: 유문 개구부)나 생리학적 특징(예: 담즙 착색)과 같은 임상적으로 유의미한 시각적 패턴에 대응함을 입증하였습니다.

결과
본 방법론은 AUROC 및 FPR95를 사용하여 최첨단 베이스라인(Energy, MSP, Mahalanobis, ViM, NERO 포함)과 비교 평가되었습니다:

조직병리: CAPS는 95.28% AUROC와 23.17% FPR95로 가장 우수한 성능을 달-성했습니다.
OCT: CAPS는 93.67% AUROC와 24.80% FPR95를 기록하며 모든 베이스라인을 능가했습니다.
Kvasir-v2 (내시경): 해당 방법은 79.58% AUROC를 달성했습니다. 저자들은 이를 데이터 크기가 작아(2,400개 샘플) SAE가 대규모 조직병리 및 OCT 데이터셋(>5만 개 샘플)에 비해 고도로 판별적인 클래스 특화 방향을 학습하는 데 한계가 있었기 때문이라고 설명합니다.
강건성: 민감도 분석 결과, 충분한 데이터를 가진 데이터셋의 경우 다양한 하이퍼파라미터( $k$ 및 $\beta$ ) 범위에서 안정적이었으나, 데이터가 적은 Kvasir-v2 환경에서는 불안정성이 관찰되었습니다.

의의 및 주장
본 논문은 CAPS가 "판별력 있는 OOD 신호와 모델의 불확실성을 구동하는 내부 메커니즘에 대한 해석 가능한 렌즈"를 제공한다고 주장합니다. OOD 탐지를 개념 조건부 안정성 분석으로 프레이밍함으로써, 이 접근 방식은 고성능 탐지와 임상적 신뢰 사이의 간극을 메웁니다. 저자들은 OOD 샘플이 단순히 "다르기 때문"이 아니라, 클래스 내 분포(ID)에 대한 확신 있는 예측을 유도하는 특정 전문가 검증된 의미론적 특징이 결여되었기 때문에 탐지된다는 것을 입증했습니다.

저자들은 데이터가 제한된 환경에서 의미론적으로 일관된 방향을 포착하는 어려움이 신뢰성에 영향을 미칠 수 있음을 인정하며 한계점에 대해 겸허한 태도를 유지했습니다. 또한 모달리티 수준의 사전 학습이 도움이 되지만, 데이터 제약이 있는 의료 환경을 위한 더 강력한 SAE 학습 전략을 개발하는 것이 향후 연구 과제로 남아있다고 기술했습니다. 본 연구는 딥 뉴럴 네트워크의 표현 수준 해석 가능성과 신뢰성 평가를 통합하는 단계로 제시되었습니다.