🤖 machine learning

Towards interpretable AI with quantum annealing feature selection

본 논문은 양자 어닐링을 통해 해결되는 양자 제약 최적화 문제로 특징 맵 선택을 공식화함으로써 이미지 분류에서 합성곱 신경망을 해석하는 새로운 방법을 제안하며, 이는 클래스 분리와 투명성 측면에서 GradCAM 과 같은 최첨단 기법들을 능가하면서도 알고리즘의 계산적 행동에 대한 이론적 통찰을 제공한다.

원저자: Francesco Aldo Venturelli, Emanuele Costa, Sikha O K, Bruno Juliá-Díaz, Miguel A. González Ballester, Alba Cervera-Lierta

게시일 2026-04-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Francesco Aldo Venturelli, Emanuele Costa, Sikha O K, Bruno Juliá-Díaz, Miguel A. González Ballester, Alba Cervera-Lierta

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 고양이 사진이나 트럭 사진을 완벽하게 식별할 수 있지만 신비로운 천재 셰프 (딥러닝 모델) 가 있다고 상상해 보세요. 그러나 이 셰프는 그 선택을 내린 이유를 결코 설명하지 않습니다. 그저 "고양이입니다"라고 말하고 넘어갈 뿐입니다. 인공지능 세계에서는 이를 '블랙박스'라고 부릅니다. 만약 셰프가 실수를 한다면, 그들이 수염을 보고 판단했는지, 귀를 보고 판단했는지, 아니면 단순히 배경색만 보고 판단했는지 알 수 없습니다.

이 논문은 셰프의 마음을 엿보아 결정에 사용된 정확한 재료 (특징) 를 파악할 수 있는 새로운 방법을 소개합니다. 하지만 표준 주방 도구를 사용하는 대신, 저자들은 양자 어닐러 (Quantum Annealer) 라는 매우 특수하고 미래지향적인 오븐을 사용했습니다.

다음은 간단한 비유를 사용한 그들의 방법론에 대한 해설입니다:

1. 문제: 너무 많은 재료

컴퓨터가 이미지를 볼 때, 이를 수천 개의 작은 '특징 맵 (feature maps)'으로 분해합니다. 이것들을 수천 개의 서로 다른 필터나 렌즈라고 생각하세요. 한 렌즈는 '곡선'을 강조하고, 다른 렌즈는 '초록색 질감'을 강조하며, 또 다른 렌즈는 '날카로운 가장자리'를 강조할 수 있습니다.

기존 방법들 (GradCAM 등) 은 이 모든 렌즈를 하나의 흐릿한 이미지로 섞어 결정을 설명하려 합니다. 이는 전체 오케스트라가 동시에 연주하는 음악을 들어 노래를 이해하려는 것과 같습니다. 음악은 들리지만, 어떤 특정 악기가 선율을 연주하는지 구분할 수 없습니다.

2. 해결책: 양자식 '최고' 목록

저자들은 실제로 작동한 작고 완벽한 렌즈 그룹을 찾고자 했습니다. 그들은 이렇게 물었습니다: "500 개의 렌즈 중 10 개가 이 '비행기'를 식별하는 데 정말로 책임이 있는 것은 무엇인가?"

이는 거대한 퍼즐입니다. 렌즈가 500 개라면 가능한 조합의 수가 너무 방대하여 일반 컴퓨터가 모두 확인하는 데는 영원히 걸릴 것입니다. 이는 500 명의 선수 풀에서 10 명의 완벽한 팀을 찾기 위해 모든 단일 조합을 시도해 보는 것과 같습니다.

3. 마법의 도구: 양자 어닐링

이 퍼즐을 해결하기 위해 저자들은 양자 어닐링 (Quantum Annealing) 을 사용했습니다.

비유: 어두운 산골짜기에서 공을 들고 있다고 상상해 보세요. 당신의 목표는 골짜기의 가장 낮은 곳 (최고의 해답) 을 찾는 것입니다. 일반 컴퓨터는 모든 언덕을 확인하며 한 걸음씩 걷고 작은 함정에 갇히지 않기를 바라는 등산객과 같습니다.
양자 방식: 양자 어닐링은 언덕을 '터널링'하거나 한 번에 여러 곳에 존재할 수 있는 마법 같은 공과 같습니다. 이는 등산객보다 훨씬 빠르게 골짜기 전체를 탐색하여 절대적인 최저점 (최고의 렌즈 세트) 을 찾을 수 있습니다.

4. 게임 설정 방법

그들은 이 문제를 두 가지 규칙이 있는 게임으로 변환했습니다:

'중요한' 규칙: 모델이 "네, 이것은 비행기입니다!"라고 말하도록 강력히 기여한 렌즈를 선택하세요 (높은 중요도).
'독특한' 규칙: 기본적으로 같은 일을 하는 렌즈는 선택하지 마세요. 렌즈 A 와 렌즈 B 가 모두 '곡선'을 강조한다면 하나만 선택하세요. 그들은 복제된 팀이 아닌 다양한 팀을 원합니다.

양자 어닐러는 두 가지 규칙을 동시에 만족하는 렌즈의 완벽한 조합을 탐색했습니다.

5. 결과: 더 선명한 시야

그들이 비행기, 새, 트럭 등의 이미지 데이터셋으로 이를 테스트했을 때 다음과 같은 결과를 얻었습니다:

혼란 감소: 그들의 방법은 모델이 무엇을 보고 있는지 훨씬 더 선명한 이미지를 생성했습니다. 기존 방법들보다 '비행기' 특징과 '배' 특징을 더 잘 분리했습니다.
향상된 정확도: 그들의 방법이 선택하지 않은 이미지 부분을 제거했을 때, 모델의 신뢰도는 기존 방법일 때보다 덜 감소했습니다. 이는 그들이 선택한 렌즈들이 실제로 중요한 것들이었음을 증명합니다.
물리학적 검증: 그들은 양자 시스템의 '에너지'를 분석했습니다 (오븐의 온도를 확인하는 것과 같습니다). 시스템이 안정적이었으며 대부분의 경우 최고의 해답을 성공적으로 찾았음을 발견했습니다.

요약

간단히 말해, 이 논문은 다음과 같이 말합니다: "딥러닝 모델은 똑똑하지만 이해하기 어렵습니다. 우리는 양자 물리학을 사용하여 '특징 선택기' 역할을 하는 새로운 도구를 만들었습니다. 모든 것을 흐릿하게 섞어 보여주는 대신, 모델이 실제로 중요하게 여기는 이미지의 구체적이고 독특한 부분들을 골라냅니다. 이는 AI 의 추론을 훨씬 더 명확하게 만들고 신뢰하기 쉽게 만듭니다."

그들은 ResNet-18 모델을 사용하여 표준 이미지 데이터셋 (STL-10) 에서 이를 시연했으며, 그들의 양자 접근법이 현재 표준 기술들보다 모델의 사고방식을 더 잘 풀어낼 수 있음을 보여주었습니다.

"Towards interpretable AI with quantum annealing feature selection" 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

딥러닝 (DL) 모델, 특히 합성곱 신경망 (CNN) 은 중요한 응용 분야에서 널리 사용되지만, 종종 "블랙박스"로 작동합니다. Grad-CAM 및 **Grad-CAM++**와 같은 설명 가능한 AI(XAI) 기법이 예측에 영향을 미치는 이미지 영역을 시각화하기 위해 존재하지만, 다음과 같은 중대한 한계를 겪고 있습니다:

집계 (Aggregation): 모든 특징 맵 (Feature Maps, FMs) 의 기여도를 단일 saliency 맵으로 결합하여 개별 FMs 의 구체적인 역할을 분리해 내지 못합니다.
중복성 (Redundancy): 중복되거나 상관관계가 있는 표현을 필터링하지 않아, 결정을 주도하는 구체적인 학습 패턴을 이해하기 어렵습니다.
결합적 복잡성 (Combinatorial Complexity): 예측을 설명하기 위해 최적의 FM 부분집합을 선택하는 문제는 특징의 수에 따라 기하급수적으로 ( $2^N$ ) 확장되는 결합 최적화 문제이므로, 고전적인 완전 탐색으로는 계산적으로 처리 불가능합니다.

저자들은 내부 학습 표현 (원시 입력 픽셀이 아닌) 에 적용된 **특징 선택 (Feature Selection, FS)**이 XAI 를 위한 강력하지만 미활용된 도구라고 제안합니다. 그러나 이 FS 문제를 효율적으로 해결하려면 새로운 접근 방식이 필요합니다.

2. 방법론

이 논문은 주어진 이미지 예측에 대해 가장 관련성이 높고 중복되지 않는 특징 맵을 선택하기 위한 새로운 양자 어닐링 (Quantum Annealing, QA) 기반 접근법을 제안합니다.

A. 특징 맵 필터링

기울기 분석: 저자들은 최종 합성곱 층의 특징 맵 ( $f^{(a)}_{ij}$ ) 에 대한 기울기의 전역 평균 풀링을 계산합니다.
$\alpha_a = \frac{1}{H_f W_f} \sum_{i,j} \frac{\partial z}{\partial f^{(a)}_{ij}}$
여기서 $\alpha_a$ 는 특징 맵 $a$ 의 중요도를 나타냅니다.
양수 선택: 예측된 클래스를 확인하는 양수 기울기 기여도 ( $\alpha_a > 0$ ) 를 가진 특징 맵만 유지하여 필터링된 집합 $\{\tilde{f}\}$ 를 생성합니다.

B. QUBO 공식화

선택 문제는 2 차 무제약 이진 최적화 (Quadratic Unconstrained Binary Optimization, QUBO) 문제 (또는 동등하게 이징 모델) 로 인코딩됩니다.

변수: 이진 변수 (큐비트) 는 각 필터링된 특징 맵의 포함 ($1 $) 또는 제외 ($ 0$) 를 나타냅니다.
목적 함수 (해밀토니안): 선택된 맵의 중요도를 최대화하면서 중복성 (기하학적 유사성) 을 최소화하는 것을 목표로 합니다.
$\hat{H}_{QUBO} = (1 - \beta) \frac{1}{2} \sum_{p,q} J_{pq} \hat{n}_p \hat{n}_q + \beta \sum_{p} h_p \hat{n}_p$
- 선형 항 ( $h_p$ ): $\alpha_p$ 에서 유도된 특징 맵 $p$ 의 정규화된 중요도를 나타냅니다.
- 2 차 항 ( $J_{pq}$ ): 특징 맵 $p$ 와 $q$ 사이의 절대 코사인 유사도를 나타냅니다. 높은 유사성은 중복성을 의미하며, 이 항은 둘 다 선택하는 것을 패널티로 부과합니다.
- 초매개변수 ( $\beta$ ): 고 Importance 특징 선택과 중복성 최소화 간의 균형을 조절합니다.

C. 양자 어닐링 프로토콜

초기화: 시스템은 모든 가능한 특징 부분집합의 중첩 상태 (드라이버 해밀토니안 $\hat{H}_D = -\sum \hat{\sigma}_x$ 의 바닥 상태) 로 시작합니다.
진화: 시스템은 $s$ 가 0 에서 1 로 변하는 시간 의존적 해밀토니안 $\hat{H}(s) = A(s)\hat{H}_D + B(s)\hat{H}_{QUBO}$ 를 통해 진화합니다.
샘플링: 최종 상태를 샘플링하여 특징 맵의 최적 부분집합을 나타내는 비트 문자열을 얻습니다. 이 부분집합이 "설명 맵"을 구성합니다.

3. 주요 기여

새로운 XAI 프레임워크: CNN 의 입력 픽셀이 아닌 내부 **특징 맵 (잠재 표현)**을 선택하기 위해 양자 어닐링을 적용한 최초의 사례입니다.
분리 (Disentanglement): 모든 맵을 집계하는 Grad-CAM 과 달리, 이 방법은 희소하고 중복되지 않는 FM 부분집합을 분리하여 모델이 사용하는 구체적인 패턴에 대한 더 명확한 시각을 제공합니다.
물리 기반 분석: 저자들은 최소 에너지 갭 ( $\Delta_{min}$ ) 및 **충실도 (fidelity)**와 같은 양자 물리 지표를 사용하여 알고리즘의 계산적 행동을 분석함으로써, 이 방법이 왜 작동하는지 및 그 확장성 한계를 설명합니다.
하이브리드 접근법: 이 연구는 NISQ(Noisy Intermediate-Scale Quantum) 개념이 고전적 휴리스틱으로 해결하기 어려운 고차원 FS 문제를 해결하기 위해 시뮬레이션될 수 있음을 보여줍니다.

4. 결과

이 방법은 ResNet-18아키텍처를 사용하여 STL-10 데이터셋에서 평가되었습니다.

클래스 분리:
- 저자들은 Bhattacharyya 계수를 사용하여 클래스 간 상관관계 맵을 생성했습니다.
- QA 기반 방법 ( $N_f=16$ ) 은 전체 ResNet-18 모델에 비해 훨씬 더 나은 분리 (더 대각선적인 행렬) 를 보여주었으며, 이는 선택된 FMs 가 개별 클래스에 더 구체적임을 나타냅니다.
정량적 성능 (평균 감소율 %):
- 지표: "평균 감소율 %"는 설명 맵에 포함되지 않은 픽셀이 마스킹되었을 때 모델의 신뢰도가 얼마나 감소하는지를 측정합니다. 감소율이 낮을수록 더 나은 설명입니다 (맵에 중요한 정보가 포함되어 있음).
- 결과: 축소된 특징 집합 ( $N_f=16$ ) 을 사용할 때, QA-fGradCAM 방법은 대부분의 클래스에서 Grad-CAM 및 Grad-CAM++ 보다 낮은 평균 감소율 % (더 나은 성능) 를 달성했습니다.
- 확장성 노트: 시뮬레이션 어닐링 (SA) 을 사용하여 전체 ResNet-18 ( $N_f=512$ ) 로 확장할 때 성능이 저하되었습니다. 저자들은 이를 더 큰 QUBO 인스턴스에서 전역 최소값을 찾는 어려움과 $\beta$ 의 신중한 튜닝 없이 중복성 항에 의한 특징의 공격적인 억제 때문이라고 귀결했습니다.
물리적 분석:
- 에너지 갭: 최소 에너지 갭 ( $\Delta_{min}$ ) 은 상대적으로 크고 (약 $10^{-1}$ ), 이는 문제 풍경이 Sherrington-Kirkpatrick 모델의 "가장 어려운" 인스턴스가 아니며 처리 가능함을 시사합니다.
- 충실도: 어닐링 시간 $\tau > 50$ 에 대해 알고리즘은 높은 충실도 (바닥 상태로의 수렴) 를 달성하여 프로토콜의 견고성을 확인했습니다.

5. 중요성 및 결론

해석 가능성: 이 방법은 coarse 히트맵을 넘어 결정을 담당하는 구체적인 중복되지 않는 필터를 식별함으로써 DL 모델의 투명성을 향상시킵니다.
양자 우위 잠재력: 현재 하드웨어는 제한적이지만, 이 연구는 XAI 를 QUBO 문제로 공식화하면 기하급수적으로 큰 해 공간을 효율적으로 탐색할 수 있음을 증명합니다. 이는 향후 양자 하드웨어가 이러한 해석 가능성 문제를 고전적 휴리스틱보다 빠르고 정확하게 해결할 수 있음을 시사합니다.
향후 방향: 저자들은 초매개변수 $\beta$ 를 튜닝하고 잠재적으로 카디널리티制約을 추가하면 결과를 더 개선할 수 있다고 제안합니다. 이 프레임워크는 중립적이며 비전 트랜스포머 (Vision Transformers) 나 생성 모델과 같은 다른 아키텍처에도 적용될 수 있습니다.

요약하자면, 이 논문은 양자 컴퓨팅과 설명 가능한 AI 간의 간극을 연결하여, 양자 어닐링이 딥 네트워크의 특징 선택이라는 결합 문제를 효과적으로 해결하여 더 명확하고 신뢰할 수 있으며 해석 가능한 모델 설명을 이끌어낼 수 있음을 보여줍니다.