🤖 machine learning

Decomposition of Evidence, Contradiction, and Fragility in Perturbation Responses

이 논문은 섭동 기반 모델 설명을 별도의 증거, 모순, 그리고 취약성 구성 요소로 분해하는 새로운 프레임워크인 DECAF를 소개하며, 이러한 궤적 인식 접근 방식이 다양한 비전 및 정형 데이터 작업 전반에서 기존의 크기 기반 기여도 산출 방식보다 정확도, 효율성 및 해석 가능성 측면에서 크게 우수함을 입증한다.

원저자: Lei You

게시일 2026-08-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lei You

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 친구가 왜 특정 선택을 했는지, 예를 들어 파란색 셔츠 대신 빨간색 셔츠를 골랐는지 이해하려고 노력한다고 상상해 보세요. 당신은 "그들이 색깔에 얼마나 반응했지?"라고 물을 수도 있습니다. 만약 그들이 즉시 빨간 셔츠를 낚아챘다면, 당신은 "와, 엄청난 반응이네!"라고 말할 것입니다. 하지만 여기서 까다로운 점은, 거대한 반응이 항상 같은 의미를 갖지는 않는다는 것입니다. 아마도 그들이 빨간 셔츠를 정말 좋아해서(좋은 이유) 잡았을 수도 있습니다. 혹은 파란색 셔츠가 너무 싫어서 그것으로부터 도망치기 위해 빨간 것을 잡았을 수도 있습니다(나쁜 이유). 또는 그들이 혼란스러워서 빨간 것을 잡았다가, 중간쯤 가서야 사실은 파란색을 더 선호했다는 것을 깨달았을 수도 있습니다(일시적이고 취약한 반응).

이것이 바로 "AI 설명 가능성(AI explainability)"의 세계입니다. 이는 과학자들이 컴퓨터 모델의 "블랙박스" 내부를 들여다보고 모델이 무엇을 생각하고 있는지 알아내려는 분야입니다. 오랫동안 이 분야의 주요 도구는 반응의 "크기(magnitude)"를 측정하는 것이었습니다. 기본적으로 입력을 약간 수정했을 때 AI의 답변이 얼마나 크게 변했는지를 측정하는 것이죠. 이것은 마치 문이 얼마나 세게 쾅 닫혔는지를 측정하는 것과 같습니다. 하지만 이 새로운 논문이 지적하듯, 문이 세게 닫혔다는 사실을 안다고 해서 그것이 분노 때문인지, 기쁨 때문인지, 아니면 그냥 스쳐 지나가는 바람 때문인지는 알 수 없습니다. 저자인 테크니컬 대학교 코펜하겐(DTU)의 Lei You를 필두로 한 연구진은 우리가 소음 뒤에 숨겨진 의미를 간과해 왔다고 주장하며, 이를 분류할 수 있는 새로운 방법을 구축했습니다.

이 논문은 DECAF(증거, 모순, 그리고 취약성의 분해 - Decomposition of Evidence, Contradiction, and Fragility)라고 불리는 방법을 소개합니다. DECAF를 단순히 문이 얼마나 세게 닫혔는지만 듣는 것이 아니라, 사람이 문에 다가가는 전체 이야기를 관찰하는 아주 똑똑한 탐정이라고 생각해보세요.

DECAF가 어떻게 작동하는지 간단한 이야기로 설명하겠습니다. 마술사가 카드를 킹에서 퀸으로 바꾸는 마술을 보고 있다고 상상해 보세요.

증거(Evidence): 마술사가 카드를 보여줄 때, 그 변화가 최종 결과(퀸)를 향해 쌓여가는 느낌이 든다면, DECAF는 이를 증거라고 부릅니다. 이는 최종 결정에 힘을 실어주는 반응의 부분입니다.
모순(Contradiction): 때로는 카드가 잠시 킹처럼 보였다가, 퀸이 되었다가, 다시 킹으로 돌아갔다가, 결국 퀸으로 정착할 수도 있습니다. 만약 반응이 어느 시점에서든 최종 결과와 반대된다면, DECAF는 이를 모순이라고 부릅니다. 이는 AI가 마음을 바꾸기 전에 "잠깐, 킹이라고 생각했는데!"라고 말하는 것과 같습니다.
취약성(Fragility): 마지막으로, 마술사가 퀸처럼 보이는 카드를 흔들었지만, 자세히 보니 결국은 그냥 빈 종이였던 경우를 상상해 보세요. 카드는 변하는 것처럼 보였지만, 최종 결과는 사실상 "없음"이었습니다. 만약 AI가 마술 도중에 강하게 반응했지만 최종 답은 거의 제로라면, DECAF는 이를 취약성이라고 부릅니다. 이는 실제 차이 때문이 아니라, 거쳐온 경로 때문에 존재하는 반응입니다.

저자는 이 아이디어를 몇 가지 방식으로 테스트했습니다. 먼저, 그들은 AI가 무엇을 해야 하는지 정확히 알고 있는 통제된 비디오 게임과 퍼즐을 만들었습니다. 그들은 DECAF가 AI가 실제 물체가 아닌 "지름길"(예: 배경색을 바탕으로 추측하기)에 의존하고 있는지 찾아낼 수 있다는 것을 발견했습니다. 만약 AI가 지름길을 사용하고 있다면, DECAF의 "증거" 점수는 그 행동과 완벽하게 일치했습니다. 만약 AI가 혼란스러워하거나 마음을 바꾸고 있다면, "모순" 점수가 급증했습니다.

그 다음, 그들은 72개의 서로 다른 AI 모델이 ImageNet-9 데이터셋(다양한 배경이 포함된 이미지 모음)의 이미지를 보는 대규모 테스트를 통해 이를 실제 세계로 가져갔습니다. 그들은 AI가 동일한 "크기"의 반응을 보이면서도 서로 다른 근본적인 행동을 보이는 경우들을 비교했습니다.

결과: 만약 단순히 반응의 크기(magnitude)만 보았다면, 올바른 행동을 맞출 확률은 **35.0%**에 불과했습니다. 이는 거의 동전 던지기 수준이었습니다.
DECAF의 해결책: DECAF를 사용하여 반응의 유형(증거 vs 모순 vs 취약성)을 살펴보았을 때, 그들은 **96.4%**의 확률로 정답을 맞혔습니다.

논문은 또한 우리가 AI에게 정보를 제공하는 방식에 대해 놀라운 사실을 발견했습니다. 그들은 두 가지 방식으로 이미지를 보여주는 것을 테스트했습니다. 하나는 전체 이미지가 서서히 나타나는 방식(블렌딩)이고, 다른 하나는 퍼즐처럼 조각별로 이미지를 드러내는 방식입니다. 그들은 이미지를 보여주는 방법을 바꾸는 것이 전체 반응의 "크기"를 거의 80% 가까이 변화시킨다는 것을 발견했습니다. 그러나 "증거"(확실하고 견고한 이유)는 거의 변하지 않았습니다. 대신, "취약성"(혼란스럽고 경로에 의존적인 노이즈)이 폭발적으로 증가하여 4배 이상 커졌습니다. 이는 전체 반응의 크기가 오해의 소지가 될 수 있음을 증명합니다. 즉, 그것은 종종 이미지 자체가 아니라 이미지를 보여주는 방법에 대한 AI의 민감도를 나타낼 뿐이라는 것입니다.

마지막으로, 저자는 DECAF가 매우 효율적임을 보여주었습니다. 10억 개의 파라미터를 가진 거대한 AI 모델(DINOv2 모델)에서, DECAF는 다른 인기 있는 방법들보다 시간을 4.75배 적게, 메모리를 2.36배 적게 사용하면서도 동일한 성능을 내며 임무를 수행할 수 있었습니다.

요약하자면, 이 논문은 우리가 AI가 얼마나 반응하는지에 너무 집중한 나머지, 그 반응이 무엇을 의미하는지를 간과해 왔음을 시사합니다. 반응을 증거(지지), 모순(반대), 취약성(일시적인 노이즈)으로 세분화함으로써, DECAF는 이 디지털 뇌들이 실제로 무엇을 생각하고 있는지에 대해 훨씬 더 명확하고 정직한 그림을 제공합니다. 이것은 단순히 문이 닫히는 소리를 측정하는 것이 아니라, 왜 문이 닫혔는지를 이해하도록 도와주는 도구입니다.

기술 요약: DECAF – 섭동 응답에서의 증거, 모순 및 취약성 분해

1. 문제 정의

섭동 기반 설명 방법(Perturbation-based explanation methods)은 변형된 입력을 통해 모델 결정의 변화를 측정함으로써 모델의 결정을 해석한다. 그러나 근본적인 의미론적 간극이 존재한다: 표준 지표인 응답 크기(response magnitude)(예측값의 절대적 차이)는 모델이 얼마나 반응하는지는 정량화하지만, 그 반응이 무엇을 의미하는지는 설명하지 못한다.

본 논문은 동일한 응답 크기가 세 가지 뚜렷한 행동 양상으로부터 발생할 수 있음을 식별한다:

정렬(Alignment): 반응이 최종적인 사실-반사실적 차이를 뒷받로한다.
대립(Opposition): 반응이 최종 차이에 반한다 (예: 중간 단계는 한 가지 결과를 시사하지만, 최종 상태는 다른 결과를 시사함).
취약성(Fragility): 반응이 섭동 경로를 따라서는 강하게 나타나지만 종단점(endpoint)에서는 사라지며, 이는 의미 있는 최종 효과보다는 드러내는 과정(reveal process)에 대한 민감성을 나타낸다.

이러한 구별된 행동들을 동일한 것으로 취급하는 것은 중요한 해석적 정보를 가린다. 기존 방법들은 복잡한 궤적을 단일 스칼라로 축소하거나 그래디언트 기반의 내부 신호에 의존하며, 최종 대조(final contrast)와 관련된 중간 응답의 의미론적 역할을 놓친다.

2. 방법론: DECAF

저자는 쌍을 이룬 섭동 응답을 세 가지 의미론적 구성 요소로 분해하는 모델 불가지론적(model-agnostic) 프레임워크인 DECAF(Decomposition of Evidence, Contradiction, And Fragility)를 소개한다.

공식 설정

점수 함수 $q$ , 사실적 입력 $x^+$ , 그리고 반사실적 입력 $x^-$ 가 주어졌을 때, 최종 대조는 $d = q(x^+) - q(x^-)$ 이다. 짝을 이룬 드러내기 궤적(paired reveal trajectory) $(x^+(t), x^-(t))$ (여기서 $t \in [0, 1]$ )는 정보가 없는 상태 $x^0$ 에서 시작하여 종단점으로 진행된다. 부호가 있는 단계 응답(signed stage response)은 $r(t) = q(x^+(t)) - q(x^-(t))$ 이다.

의미론적 라우팅 (Semantic Routing)

DECAF는 최종 대조 $d$ 를 의미론적 기준으로 사용하여 중간 응답 $r(t)$ 를 라우팅한다:

게이트 ( $a$ ): 최종 대조가 유의미한지( $|d| \ge \epsilon$ )를 결정하는 이진 게이트.
방향 ( $s$ ): $d$ 의 부호( $s = \text{sign}(d)$ )는 "올바른" 방향을 정의한다.
분해: 응답은 세 가지 구성 요소로 라우팅된다:
- 증거 (Evidence, $E$ ): 최종 대조가 활성화되어 있을 때 최종 방향과 일치하는 응답 ( $a=1, s \cdot r(t) > 0$ ).
- 모순 (Contradiction, $C$ ): 최종 대조가 활성화되어 있을 때 최종 방향에 반하는 응답 ( $a=1, s \cdot r(t) < 0$ ).
- 취약성 (Fragility, $F$ ): 최종 대조가 미미할 때 발생하는 응답 ( $a=0$ ), 즉 종단점까지 지속되지 않는 민감성을 나타낸다.

이 분해는 손실이 없다(lossless): $|r(t)| = e(t) + c(t) + f(t)$ . 집계된 지표는 궤적 및 데이터셋에 대한 이 구성 요소들의 기댓값이다.

이론적 토대

본 논문은 세 가지 운영 공리—보존(크기 손실 없음), 종단 게이팅(취약성을 미미한 종단점에 격리), 방향 지원(증거와 모순을 부호로 분리)—하에서 이 라우팅이 유일함을 증명한다. 또한, DECAF는 일반적인 크기의 **엄격한 정교화(strict refinement)**이다. 즉, 크기는 DECAF로부터 유도될 수 있지만($Abs = E + C + F$), 그 역은 불가능하다. 왜냐하면 서로 다른 행동 프로필(예: 순수 증거 vs 순수 모순)이 동일한 크기를 낼 수 있기 때문이다.

3. 주요 기여

문제 식별: 섭동 설명에서 크기가 정렬, 역전, 경로 의존적 민감도를 구분하지 못하는 의미론적 간극을 명시적으로 정의함.
쌍을 이룬 드러내기 인터페이스 (Paired Reveal Interface): 매칭된 궤적을 따라 정보가 점진적으로 드러남에 따라 사실-반사실적 대조를 추적하는 프레임워크를 도입함.
DECAF 알고리즘: 종단점 상대적 의미론에 기반하여 응답을 증거, 모순, 취약성으로 분해하는 손실 없고 유일한 알고리즘을 제공함. 이는 그래디언트, 내부 활성화 또는 학습된 설명 모델을 필요로 하지 않음.
행동 검증: 신경망, 선형 모델, 트리 기반 모델 전반에서 이 구성 요소들이 독립적으로 측정된 행동(지름길 의존, 효과 역전, 경로 외 민감성)을 추적함을 입증함.
실용적 유용성: DECAF가 크기가 일치하는 경우에도 응답의 의미를 복구할 수 있음을 보여주며, 안정적인 교차 프로토콜 진단을 제공함.

4. 실험 결과

통제된 검증 (3D Shapes & Covertype)

증거 (Evidence): 상관관계가 있는 지름길(예: 벽 색상 vs 물체 모양)이 있는 시각 작업에서, 증거 성분( $E$ )은 모델의 지름길 역전에 대한 취약성과 강한 상관관계( $\rho = 0.936$ )를 보임.
취약성 (Fragility): 중간 상태의 변화에 민감하도록 설계된 작업(예: 바닥 색상 변화)에서, 취약성 성분( $F$ )은 종단점이 null인 쌍에서의 예측 변화율을 추적함( $\rho = 0.974$ ).
모순 (Contradiction): 맥락 변화에 따라 효과의 방향이 역전되는 작업에서, 모순 성분( $C$ )은 레이블 전환율을 추적하는 반면( $\rho = 0.961$ ), 일반적인 크기는 실패함( $\rho = -0.036$ ).
표 형식 데이터 전이 (Tabular Transfer): Covertype 데이터셋에서 DECAF 구성 요소는 135개의 분류기(선형, 트리, 신경망)에 대해 보존, 역전, 종단 null 변화를 성공적으로 추적하며, 메커니즘 식별 측면에서 SHAP 및 기타 베이스라인보다 우수한 성능을 보임.

실제 감사 (ImageNet-9)

의미론적 복구: 72개의 모델 zoo(24개의 오프더쉘프 ImageNet-1k 모델 및 48개의 파인튜닝된 ImageNet-9 모델)에 대해, DECAF는 응답 크기가 거의 동일한 경우에도 지배적인 행동 역할(증거, 모순 또는 취약성)을 **96.4%**의 정확도로 올바르게 식별함. 반면, 크기만 사용했을 때의 정확도는 **35.0%**에 불-과함.
경로 민감도: 드러내기 경로(예: 글로벌 블렌딩에서 패치 단위 노출로 변경)를 변경했을 때 총 응답 크기는 거의 80% 증가했으나, 이 증가는 거의 전적으로 취약성과 모순에 의해 발생했으며, 증거는 안정적으로 유지됨. 이는 높은 크기가 반드시 더 강한 증거를 의미하는 것은 아님을 보여줌.
순위 안정성: 일반적인 크기에 기반한 모델 순위는 서로 다른 드러내기 경로에 따라 매우 불안정했으나( $\rho \approx 0.17$ ), 증거와 모순에 기반한 순위는 안정적이었음( $\rho > 0.77$ ).

속성 벤치마크 및 확장성

성능: FunnyBirds 및 ImageNet-1k에서, 짧은 순방향 전용(forward-only) DECAF 궤적(3~9단계)은 테스트된 범용 속성 베이스라인(DeepLIFT, Integrated Gradients, SmoothGrad, RISE)보다 우수한 성능을 보임.
효율성: 1B 파라미터 DINOv2 모델에서, 짧은 DECAF 궤적은 그래디언트 기반 베이스라인(Integrated Gradients)과 유사한 품질을 달성하면서도 4.75배 낮은 실행 시간과 2.36배 낮은 피크 메모리를 기록함. 이는 DECAF가 순방향 패스만을 필요로 하기 때문임.

5. 의의 및 주장

본 논문은 DECAF가 섭동 방법론에 내재된 의미론적 모호성을 해결한다고 주장한다. 응답 궤적을 최종 대조와 관련하여 분해함으로써, 주어진 크기가 어떤 종류의 응답으로부터 발생했는지 밝혀낸다.

해석 가능성: 특징을 일관되게 의존하는 모델(증거), 결정이 혼란스럽거나 역전되는 모델(모순), 그리고 최종 상태와 무관하게 특정 경로의 노출에 민감한 모델(취약성)을 구분한다.
견고성: 구성 요소들은 일반적인 크기보다 다양한 섭동 프로토콜에 대해 더 안정적인 진단을 제공한다.
효율성: 그래디언트나 내부 접근 없이도 대규모 모델에 효율적으로 확장 가능한 고품질의 모델 불가지론적 설명 방법을 제공한다.

저자는 이러한 역할들이 선택된 반사실적 쌍, 점수, 그리고 드러내기 경로에 상대적임을 강조한다. 이는 잠재적인 인과 메커니즘을 추론하는 것이 아니라, 특정 개입에 대한 모델의 관찰 가능한 반응 행동을 기술하는 것이다. 본 연구는 향후의 설명 작업이 단순한 스칼라 크기를 넘어 응답 궤적의 의미론적 구성에 주목해야 함을 시사한다.