📊 statistics

Rule of Thumb: Explaining Artificial Intelligence Systems using Partial Information

이 논문은 특정 예측에 가장 관련 있는 특징들을 식별함으로써 제로샷 LLM 분류, 불투명한 시스템 감사, 그리고 과학적 발견을 효과적으로 지원하는 동시에 AI 규제를 준수하는, 모델 불가지론적이며 계산 효율적인 새로운 설명 가능한 AI 프레임워크인 "Rule of Thumb"(RoT)을 소개한다.

원저자: Kaivalya Rawal, Daria Onitiu, Brent Mittelstadt, Sandra Wachter, Chris Russell

게시일 2026-08-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kaivalya Rawal, Daria Onitiu, Brent Mittelstadt, Sandra Wachter, Chris Russell

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 왜 특정 결정을 내렸는지 그 이유를 알아내기 위해 고군분투하고 있다고 상상해 보십시오. 아마도 로봇이 당신의 입사 지원을 거절했거나, 혹은 사진 속의 대상이 개가 아니라 고양이라고 결정했을 수도 있습니다. 이 로봇은 "인공지능(AI)"이며, 컴퓨터 과학의 세계에서 이 인공지능의 뇌를 이해하려는 노력을 우리는 "설명 가능한 인공지능(XAI)"이라고 부릅니다. 큰 문제는 현대의 많은 AI가 "블랙박스"라는 점입니다. 우리는 데이터를 입력하고 답을 얻을 수는 있지만, 그 내부의 톱니바퀴가 어떻게 돌아가는지는 들여다볼 수 없습니다. 오랫동안 과학자들은 문장의 단어를 바꾸거나 사진의 픽셀을 바꾸는 식으로 다양한 입력을 넣어보며 결과가 어떻게 변하는지 관찰함으로써 이 문제를 해결하려 노력했습니다. 이것을 "민감도 분석(sensitivity analysis)"이라고 합니다. 이는 마치 잠긴 금고를 이해하기 위해 망치로 두드려 보고 문이 덜컹거리는지 확인하는 것과 같습니다. 하지만 만약 금고가 너무 무거워서 두드릴 수 없거나, 혹은 망치질을 하다가 로봇을 고장 낼 수도 있다면 어떻게 될까요? 바로 여기에 이 논문에서 소개하는 새로운 방법이 등장합니다. 이 방법은 마스터 키 없이도 블랙박스 내부를 들여다볼 수 있는 더 똑똑하고, 빠르며, 덜 파괴적인 방법을 제시합니다.

이 논문은 AI를 설명하는 새로운 방법인 **"경험칙(Rule of Thumb, ROT)"**을 소개합니다. 기존의 AI 설명 방식이 무엇이 중요한지 알아내기 위해 수천 개의 가짜 시나리오를 실행해야 하는 탐정과 같다면, ROT는 판을 뒤집습니다. 만약 탐정이 "신발"이 결정에 중요한 요소인지 알고 싶다면, 그는 신발을 신지 않은 세상, 신발을 신은 세상, 그리고 서로 다른 신발을 신은 세상을 번갈아 상상하며 매번 결정이 어떻게 바뀌는지 확인해야 합니다. 이는 시간이 너무 오래 걸리고, 만약 "탐정"이 거대한, 비싼 클라우드 컴퓨터(예: 거대 언어 모델)에게 각 시나리오를 실행해 달라고 요청해야 한다면 비용도 엄청나게 발생합니다.

ROT는 방식을 바꿉니다. "이것을 바꾸면 어떻게 될까?"라고 묻는 대신, ROT는 "이것을 이미 알고 있다는 것이 정답에 대해 얼마나 많은 것을 알려주는가?"라고 묻습니다. 이는 마치 요리사가 국물 맛을 보는 것과 같습니다. 소금을 넣었다가 빼고, 다시 소금을 더 넣어보며 맛이 어떻게 변하는지 확인하는 대신, 요리사는 한 숟가락을 맛보고 나서 "아, 소금이 주요 풍미구나"라고 말하는 것과 같습니다. ROT는 AI가 이미 본 데이터를 살펴보고, 어떤 정보 조각들이 최종 결과에 가장 "예측적"이었는지를 계산합니다. ROT는 단순히 발견된 패턴만을 바탕으로 AI가 생각했던 바를 쉽고 이해하기 쉬운 지도로 구축하며, AI를 망가뜨리거나 수백만 번의 새로운 테스트를 실행할 필요가 없습니다.

저자들은 기존의 방법들이 보통 실패하는 세 가지 까다로운 상황에서 이 "경험칙(ROT)"을 테스트했습니다. 첫째, 그들은 마법처럼 작동하는 **거대 언어 모델(LLM)**에 이를 적용했습니다. 질문을 하면 즉시 답을 내놓지만, 내부 코드는 건드릴 수 없는 모델들입니다. 기존 방식은 왜 그렇게 답했는지 알아내기 위해 AI에게 수천 개의 추가 질문을 던져야 했을 것입니다. 이는 너무 느리고 비용이 많이 듭니다. 그러나 ROT는 AI가 이미 내놓은 답변들을 살펴봄으로써 몇 초 만에 중요한 단어들을 찾아냈습니다. 로봇이 법률 판례를 읽는 실험에서, ROT는 인간 변호사가 선택할 법한 문장들과 일치하면서도 정확히 중요한 문장들을 강조해 냈으며, 첫 번째 설명을 제외한 나머지 모든 설명에 대해 차세대 최선책보다 1,300만 배 더 빠르게 수행되었습니다.

둘째, 이 논문은 아마존의 제품 추천 엔진과 같은 **비밀 AI 시스템을 감사(auditing)**하는 문제를 다루었습니다. 보통 비밀 AI가 편향되었는지 혹은 고장 났는지 확인하기 위해, 과학자들은 실제 AI처럼 행동하는 '모방(mimic)' 로봇, 즉 가짜 버전을 만듭니다. 그런 다음 그 가짜를 연구합니다. 하지만 저자들은 문제가 있음을 발견했습니다. 만약 실제와 똑같이 행동하는 두 개의 서로 다른 가짜 로봇을 만든다면, 그들은 결정의 이유에 대해 완전히 다른 설명을 내놓을 수 있습니다. 이는 마치 보이지 않는 게임의 규칙을 추측하기 위해 서로 다른 두 사람에게 묻는 것과 같습니다. 두 사람 모두 점수에 대해서는 맞게 추측할 수 있지만, 규칙에 대해서는 서로 다르게 말할 수 있습니다. 이는 감사를 신뢰할 수 없게 만듭니다. ROT는 가짜 로봇을 만드는 과정을 건너뜁니다. 대신 실제 AI의 과거 결정들을 직접 살펴보고 진실을 찾아냅니다. 실험에서 가짜 로봇들이 어떤 특징이 중요한지에 대해 서로 논쟁하는 동안, ROT는 아마존의 시스템이 "아마존 판매" 제품을 과도하게 우대하고 있다는 숨겨진 편향을 일관되게 보여주었습니다. 이는 가짜 로봇들이 놓치거나 논쟁했던 부분입니다.

마지막으로, 연구진은 AI가 당뇨병의 원인과 같은 세상의 새로운 사실을 찾아내는 데 사용되는 과학적 발견 분야에서 ROT를 테스트했습니다. 여기서 위험 요소는 AI가 "미끼(decoy)" 단서에 속을 수 있다는 점입니다. 비가 올 때마다 소리가 나는 가짜 센서를 누군가 몰래 설치했다면, 로봇은 그 센서 때문에 비가 온다고 생각할 수 있습니다! 표준적인 방법은 이 미끼에 속아 엉뚱한 곳을 가리키지만, ROT는 이러한 소음(noise)을 정확히 무시하고 실제 중요 요인만을 가리켰습니다. 이는 ROT가 속임수에 훨씬 강하며, 데이터가 지배하는 진정한 "경험칙"을 찾는 데 더 뛰어나다는 것을 증명했습니다.

결론적으로, 이 논문은 ROT가 게임 체인저라고 주장합니다. 왜냐하면 ROT는 AI의 뇌를 볼 필요도 없고, 테스트를 위해 AI를 망가뜨릴 필요도 없으며, 연구할 가짜 복사본을 만들 필요도 없기 때문입니다. ROT는 모델에 구애받지 않는(model-agnostic) 빠르고 강력한 도구로서, AI가 닫힌 블랙박스인 상황에서도 작동하며 규제 기관, 과학자, 그리고 기계가 왜 그런 결정을 내렸는지 알고 싶어 하는 모든 이들에게 강력한 도구가 될 것입니다.

기술 요약: Rule of Thumb: 부분적 정보를 이용한 인공지능 시스템의 설명

문제 정의

설명 가능한 인공지능(XAI)은 세 가지 신흥 응용 분야에서 심각한 한계에 직면해 있습니다: 대규모 언어 모델(LLM)을 이용한 제로샷 분류, 불투명한 독점 AI 시스템에 대한 감사, 그리고 과학적 발견을 위한 AI 활용입니다. 주로 민감도 분석(예: SHAP, LIME, Integrated Gradients)에 기반하는 기존 방법들은 입력 특성을 섭동(perturbation)시켜 모델 출력의 변화를 관찰하는 방식에 의존합니다. 이 접근법은 다음과 같은 근본적인 장벽에 부딪힙니다:

접근 불가능성: 민감도 기반 방법은 종종 모델 가중치(그래디언트)에 대한 접근 권한이나, 합성된 섭동 데이터를 사용하여 모델을 쿼리할 수 있는 능력을 요구합니다. 이는 API를 통해서만 접근 가능한 폐쇄형 LLM의 경우 불가능하며, 매우 많은 수의 API 호출(예: 설명 하나당 500~5000회)이 필요하기 때문에 비용이 지나치게 높습니다.
감사 시 발생하는 라쇼몽 효과(Rashomon Effect): 독점 시스템을 감사할 때, 연구자들은 대상 시스템을 근사하기 위해 "모방(mimic)" 모델을 구축하곤 합니다. 그러나 유사한 정확도를 가진 서로 다른 모방 모델들은 서로 다른 내부 메커니즘을 가질 수 있으며, 이는 모순된 설명을 초래합니다(라쇼몽 효과). 이는 모방 모델에 기반한 감사의 타당성을 저해합니다.
과학적 타당성: 민감도 분석은 분포 외(out-of-distribution, 합성) 데이터에서의 모델 행동이 실제 세계의 인과관계를 반영한다고 가정합니다. 이는 허위 가설을 생성할 수 있는데, 즉 모델이 합성된 섭동에 임의적으로 반응하기 때문에 정보가 없는 특성이 중요한 것처럼 보일 수 있습니다.

방법론: Rule of Thumb (ROT)

저자들은 "Rule of Thumb"(ROT)라는 새로운 XAI 정식화를 제안하며, 이는 특성의 중요도를 민감도가 아닌 **예측 가능성(predictiveness)**에 기반하여 정의합니다. ROT는 "특성을 변경하면 출력이 어떻게 변하는가?"라고 묻는 대신, "특정 특성 값을 아는 것이 AI 시스템의 예측을 어떻게 업데이트하는가?"라고 묻습니다.

정식화

ROT는 AI 시스템의 출력 $C(x)$ 를 개별 특성 값들이 제공하는 정보의 합인 가산 함수(additive functions)의 합으로 모델링합니다. 데이터셋 $X$ 와 특성 집합 $\mathcal{J}$ 에 대하여, 모델은 다음과 같이 추정합니다:
$C(x) \approx F\left(\sum_{j \in J} f_{\theta_j}(x_j) + G\right)$
여기서:

$F$ 는 시그모이드(분류) 또는 항등 함수(회귀)입니다.
$f_{\theta_j}(x_j)$ 는 특성 $j$ 가 값 $x_j$ 를 가질 때의 중요성을 나타내는 학습된 함수입니다.
$G$ 는 전역 편향(global bias) 항입니다.
이 추정은 임의의 특성 부분 집합 $J \subseteq \mathcal{J}$ 에 대해 성립합니다.

최적화

목표는 무작위 특성 부분 집합으로부터 도출된 추정치와 실제 모델 출력 사이의 손실을 최소화하는 최적의 가중치 $\theta$ 를 찾는 것입니다. 손실 함수 $L$ 은 모든 데이터 포인트와 모든 가능한 특성 부분 집합에 대해 마진화(marginalized)됩니다:
$\min_{\theta} L = \min_{\theta} \sum_{J \subseteq \mathcal{J}} \sum_{x \in X} p^{|J|} (1-p)^{(|\mathcal{J}|-|J|)} \cdot \ell\left[C(x), F\left(\sum_{j \in J} f_{\theta_j}(x_j) + G\right)\right]$
결정적으로, 이 최적화는 학습 과정 중 특성 중요도에 적용되는 **드롭아웃(dropout)**을 사용하여 효율적으로 해결됩니다. 이를 통해 추가적인 모델 쿼리 없이 전체 비섭동 데이터셋에 모델을 적합시킬 수 있습니다. 일단 적합되면, 특정 데이터 포인트에 대한 특성 중요도는 단순히 $f_{\theta_j}(x_j)$ 의 값이 됩니다.

주요 차이점

섭동 없음: ROT는 합성 데이터를 생성하거나 입력을 섭동할 필요가 없습니다.
비입력 특성: ROT는 확장된 데이터셋에 적합시킴으로써 외부의 비입력 특성(예: 모델에 전달되지 않은 인구통학적 속성)을 설명에 포함할 수 있으며, 이를 통해 모델이 해당 특성을 사용하지 않는다고 주장하더라도 편향을 탐지할 수 있습니다.
모델 불가지론(Model Agnostic): ROT는 가중치에 대한 접근 권한이나 새로운 입력을 쿼리할 수 있는 능력 없이, 오직 기존 데이터에 대한 예측을 관찰하는 능력만을 필요로 합니다.

주요 기여 및 결과

1. LLM을 이용한 제로샷 분류

실험: 저자들은 제로샷 이미지 분류(GPT-4o-mini API) 및 텍ical 분류(사법 판결 결과 및 영화 리뷰)에 ROT를 적용했습니다.
결과: ROT 설명은 인간의 주석과 밀접하게 일치했습니다(사법 사례에 대한 가중 AUROC 0.77로, SHAP의 0.74와 유사).
효율성: 첫 번째 ROT 설명에는 학습이 필요했지만(사법 데이터셋 기준 약 1160초), 이후의 설명은 거의 즉각적이었습니다(<0.1 ms). 반면, SHAP은 설명 하나당 약 1320초가 소요되었습니다. ROT는 기존의 민감도 기반 방법으로는 계산이 불가능했던 LLM에 대한 설명을 가능하게 했습니다.

2. 독점 블랙박스 시스템 감사

실험: 저자들은 Amazon의 이커머스 추천 시스템을 감사하여, Random Forest 모방 모델을 사용했던 The Markup의 연구를 재현했습니다.
결과:
- 라쇼몽 효과: 서로 다른 모방 모델(하이퍼파라미터나 알고อัล리즘이 다른)은 특성 중요도(예: "제품 리뷰"와 "Amazon 브랜드" 중 무엇이 더 중요한지)에 대해 모순된 SHAP/LIME 설명을 생성했습니다.
- ROT의 이점: ROT는 모방 모델 없이도 일관된 설명을 제공했습니다. ROT는 "Amazon 브랜드"를 가장 중요한 특성으로 식별했을 뿐만 아니라, 독자적으로 "Amazon 판매"를 중요한 요인으로 강조하여, 모방 기반 감사가 놓쳤던 잠재적인 자기 우대(self-preferencing) 행위를 밝혀냈습니다.

3. 과학적 발견

실험: 저자들은 당뇨병 예측, 재범률, 대출 승인 데이터셋에 ROT를 테스트했으며, 특히 특정 특성이 무정보적이거나 적대적 "포일(foil)" 특성에 의해 가려지는 시나리오를 설계했습니다.
결과:
- 무정보적 특성: "연령"이 당뇨병 결과와 수학적으로 분리되었을 때, SHAP과 LIME은 여전히 이를 중요하다고 할당하여(허위 가설 생성) 문제가 되었으나, ROT는 이를 중요하지 않다고 정확히 식별했습니다.
- 적대적 강건성: 민감한 특성(예: 인종 또는 성별)보다 "포일" 특성을 우선시하도록 유도하는 적대적 설정에서, SHAP과 LIME은 실패했습니다(민감한 특성을 복구하는 비율 <5%). 반면 ROT는 89% 이상의 성공률을 유지하며 실제 민감한 특성을 정확히 식별했습니다.

4. 계산 효율성 및 환경적 영향

ROT는 대규모 설명 작업에서 SHAP 및 LIME보다 수십 배 더 빠릅니다. 논문은 초기 적합(fit) 이후, ROT가 SHAP이 하나의 설명을 계산하는 시간 동안 수백만 개의 설명을 계산할 수 있다고 언급하며, 이는 XAI의 환경적 발자국을 크게 줄여줍니다.

의의 및 주장

본 논문은 ROT가 민감도 분석에서 특성 예측 가능성으로 패러다임을 전환함으로써 XAI의 오랜 타당성 및 실용성 문제를 해결한다고 주장합니다.

규제 준수: ROT는 규제 기관이 전체 모델 접근 권한이나 새로운 입력을 쿼리할 수 있는 능력 없이 데이터셋에만 접근할 수 있는 고위험 시스템을 감사해야 하는 EU AI Act(예: 제15조 및 제74조)의 요구 사항을 충족하는 도구로 포지셔닝됩니다.
과학적 엄밀성: 인과 관계 메커니즘이나 분포 외 행동에 대한 가정을 피함으로써, ROT는 민감도 기반 방법과 비교하여 가설 생성을 위한 더욱 견고한 베이스라인을 제공합니다.
실제적 배포: ROT는 모델 불가지론적이며, 더 빠르고, 기존에 설명이 불가능했던 시스템(API 전용 LLM 등)을 설명할 수 있는, 기존 XAI 코드베이스의 드롭인 교체(drop-in replacement) 모델로 제시됩니다.

저자들은 ROT가 인과 추론을 해결한다고 주장하는 것이 아니라, 관찰된 데이터의 예측성에 기반하여 모델의 행동을 이해하는 신뢰할 수 있는 방법을 제공하며, 이것이 현대의 독점적인 AI 시스템의 제약 조건에 유일하게 적합한 방식임을 강조합니다.