🤖 machine learning

From Mechanistic to Compositional Interpretability

본 논문은 보다 간결하고 인간과 정렬된 해석을 향해 객관적 검증, 최적화 및 체계적 모델 정제를 가능하게 하기 위해 기계적 설명을 교환하는 구문적 및 의미적 매핑으로 형식화하는 범주론적 프레임워크인 '구성적 해석 가능성'을 소개한다.

원저자: Ward Gauderis, Thomas Dooms, Steven T. Holmer, Kola Ayonrinde, Geraint A. Wiggins

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ward Gauderis, Thomas Dooms, Steven T. Holmer, Kola Ayonrinde, Geraint A. Wiggins

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 동물 인식이나 언어 번역 같은 놀라운 일을 해내는 매우 복잡하고 블랙박스 형태의 기계가 있다고 가정해 봅시다. 당신은 그 기계가 '무엇'을 하는지는 알지만, '어떻게' 하는지는 전혀 모릅니다. 내부에는 인간이 쉽게 이해할 수 없는 기어, 전선, 레버가 뒤엉켜 엉망진창으로 얽혀 있습니다. 이것이 바로 현재 많은 고급 AI 모델의 상태입니다.

제시된 논문은 이 엉킨 실타래를 풀 새로운 방법을 제안합니다. 기계가 어떻게 작동하는지 단순히 '추측'하는 것을 넘어, 이를 설명하기 위한 엄격한 수학적 규칙을 만드는 것입니다. 여기 간단한 비유로 풀어서 설명한 핵심 아이디어가 있습니다.

1. 문제: "그냥 그럴듯한" 이야기

현재 과학자들이 이러한 AI 모델을 설명하려 할 때, 종종 입력과 출력만 살펴봅니다 (예: "고양이를 보았으니 '야옹'이라고 말했다"). 특정 전선을 가리키며 "이 전선은 털을 볼 때 빛난다"고 말하기도 합니다.

논문에 따르면 이는 위험합니다. 자동차 엔진을 보며 "이 피스톤은 차가 빠르게 달릴 때 움직인다"고 말하는 것과 같습니다. 그것이 사실일 수는 있지만, 연료가 어떻게 운동 에너지로 변환되는지 그 '메커니즘'을 설명하지는 못합니다. 표면만 보면 기계가 실제로 어떻게 작동하는지에 대해 사실에 부합하지만 실제로는 틀린 이야기를 할 수 있습니다. 이를 '그냥 그럴듯한 이야기 (just-so story)'라고 합니다. 사실에는 맞지만 실제 내부 논리는 결여된 이야기입니다.

2. 해결책: "가환 (Commutative)" 지도

저자들은 **구성적 해석 가능성 (Compositional Interpretability)**이라는 개념을 도입합니다. 이를 복잡한 기계를 위한 번역 프로젝트라고 생각하세요.

기계를 제대로 설명하려면 서로 완벽하게 일치해야 하는 두 개의 지도가 필요합니다.

지도 A (청사진): 기기의 내부 구조, 즉 전선, 기어, '구문 (syntax)'을 보여줍니다.
지도 B (행동): 버튼을 누를 때 기계가 실제로 '무엇'을 하는지, 즉 '의미 (semantics)'를 보여줍니다.

논문에 따르면, 이 두 지도가 **가환 (commutative)**일 때만 좋은 설명이 유효합니다. 쉽게 말해 다음과 같습니다.

청사진에서 특정 기어의 경로를 따라가면, 행동 지도에서 그 기어가 움직이는 것과 정확히 같은 결과로 이어져야 합니다.
만약 지도들이 맞지 않는다면, 당신의 설명은 깨진 것입니다. 실제로는 다른 일을 하고 있는데 기어에 '속도 조절기'라고 라벨을 붙일 수는 없습니다.

이는 당신의 설명이 단순한 추측이 아니라, 기계의 속살과 행동 사이의 검증된 연결고리임을 보장합니다.

3. 목표: "가장 짧은 이야기" (오컴의 면도날)

유효한 지도를 얻었다면, 어떤 설명이 '최고'인지 어떻게 알 수 있을까요? 논문은 **최소 설명 길이 (Minimum Description Length)**라는 원리를 사용합니다.

친구에게 복잡한 마술을 설명해야 한다고 상상해 보세요.

설명 1: "마술사가 지팡이를 흔들고 마법의 주문을 외우자 토끼가 나타났다." (간단하지만 숨겨진 함정을 놓칠 수 있음)
설명 2: "마술사가 숨겨진 함정 문, 스프링 메커니즘, 특정 조명 각도를 이용해 토끼를 나타나게 했다." (더 복잡하지만 정확함)
설명 3: "마술사가 숨겨진 함정 문, 스프링, 조명 각도, 특정 바람의 흐름, 그리고 비밀 코드를 이용해 토끼를 나타나게 했다." (너무 복잡하고 과잉 설명)

논문에 따르면 최고의 설명은 완벽하게 정확하면서도 가장 짧은 것입니다. 중요한 세부 사항을 빼먹지 않으면서 (신뢰성) 불필요한 잡음은 추가하지 않는 (복잡성) 그 중간 지점입니다.

4. 방법: "압축적 정제 (Compressive Refinement)"

이러한 완벽하고 짧은 설명을 어떻게 찾을 수 있을까요? 저자들은 **압축적 정제 (Compressive Refinement)**라는 과정을 제안합니다.

AI 모델을 레고 블록의 엉망진창 더미라고 생각해 보세요.

현재 상태: 블록들이 기이하고 엉켜 있는 덩어리로 붙어 있습니다. 각 조각이 무엇을 하는지 보기 어렵습니다.
과정: 당신은 조심스럽게 덩어리를 분리하여 깔끔하고 뚜렷한 구조로 다시 조립합니다. 구조를 명확하게 하기 위해 몇 개의 '연결부 (배선)'를 추가할 수도 있지만, 개별 조각은 더 쉽게 이해할 수 있도록 단순화합니다.
결과: 당신은 '계산의 원자 (가장 작고 유용한 부분)'가 단순하고 명확하며, 이들이 연결되는 방식이 논리적인 모델을 얻게 됩니다.

논문에 따르면, 이 '재조립'을 올바르게 수행하면 기계가 실제로 하는 일을 바꾸지 않으면서 더 간단하고 인간 친화적인 설명을 얻을 수 있음이 증명됩니다.

5. 이것이 작동하는 이유: "낙관적" 가정

논문을 작동시키기 위해 저자들은 희망적인 추측 (가설) 을 합니다: AI 가 문제를 해결하는 데 사용하는 패턴은 인간이 그 문제들을 이해하는 데 사용하는 패턴과 아마도 동일할 것이다.

AI 가 고양이를 잘 인식한다면, 그것은 어떤 외계인처럼 이해할 수 없는 수학이 아니라 귀, 수염 같은 단순하고 논리적인 특징을 사용하고 있을 가능성이 높습니다. 모델을 압축하여 이러한 단순한 패턴을 찾아냄으로써, 우리는 본질적으로 '잡음'을 걸러내고 숨겨진 인간이 읽을 수 있는 논리를 찾아내는 것입니다.

요약

간단히 말해, 이 논문은 다음과 같이 말합니다.

추측을 멈추세요: AI 가 무엇을 하는지 보는 것을 넘어, 내부 부품과 행동을 매핑하고 완벽하게 일치하는지 확인하세요.
간단하게 유지하세요: 최고의 설명은 100% 정확하면서도 가장 짧은 것입니다.
기계를 재배치하세요: AI 의 내부 배선을 체계적으로 재구성하여 더 간단하고 명확하게 만들면, 인간이 실제로 이해할 수 있는 설명이 자연스럽게 도출됩니다.

이는 AI 의 블랙박스를 투명하고 이해 가능한 기계로 바꾸기 위한 수학적 '규칙집'을 제공합니다.

기술적 요약: 기계적 해석 가능성에서 구성적 해석 가능성으로

문제 제기
기계적 해석 가능성은 신경 모델을 인간이 이해할 수 있는 구성 요소로 역공학하는 것을 목표로 합니다. 그러나 현재 접근 방식은 공식적인 프레임워크가 부재하여 설명을 객관적으로 검증, 비교, 또는 구성하기 어렵게 만듭니다. 기존 방법들은 종종 구조적으로 충실성을 강제하기보다 충실성을 근사합니다. 또한 해석의 질에 대한 측정 가능한 정의가 없기 때문에, 설명은 내부 메커니즘을 포착하지 못하면서 표면적 행동과만 상관관계를 가지는 '그럴듯한 이야기 (just-so stories)'가 될 위험이 있습니다. 핵심 과제는 해석 가능성이 구성적 (부분이 전체를 합침), 충실적 (내부 계산과 일치), 그리고 간결함 (인간의 설명 길이 최소화) 이 되도록 정의하는 것입니다.

방법론
저자들은 범주론과 최소 설명 길이 (MDL) 원리에 기반한 구성적 해석 가능성 (Compositional Interpretability) 프레임워크를 제시합니다.

범주론을 통한 공식적 정의:
- 구성적 모델: 모델의 구문 (구조) 을 나타내는 문자 다이어그램 $D$ , 구문 범주 $S$ , 의미 범주 (구체적 구현) $C$ , 그리고 구문을 의미로 매핑하는 함자 $[[\cdot]]$ 로 구성된 튜플 $(D, S, C, [[\cdot]])$ 로 정의됩니다.
- 구성적 해석: 구조적 구성 요소에 설명을 할당하는 구문 기반 해석 $I_S: S \to H$ 와 행동에 설명을 할당하는 의미 기반 해석 $I_C: C \to H$ 라는 두 가지 매핑의 쌍으로 정의됩니다.
- 가환성 (Commutativity): 유효한 해석은 다이어그램이 가환 ( $I_S = I_C \circ [[\cdot]]$ ) 해야 함을 요구합니다. 이는 모델의 구조에서 도출된 설명이 관찰된 행동에서 도출된 설명과 일치하도록 일관성을 강제합니다.
MDL 을 통한 최적화:
- 해석 가능성은 모델의 의미에 충실한 가장 간결한 설명을 찾는 제약 최적화 문제로 제시됩니다.
- 충실성: 설명을 모델의 진정한 의미와 일치하도록 수정하는 데 필요한 정보 비용으로 측정됩니다. 저자들은 구성적 충실성을 정의하여, 설명이 전역적인 입력 - 출력 행동뿐만 아니라 개별 구성 요소의 의미를 재구성할 수 있어야 함을 요구합니다.
- 복잡도: 구성적 설명 길이( $L(M, I_S)$ $L (M, I_{S})$ )로 측정되며, 이는 다음과 같이 분해됩니다.
  - 표현 복잡도 ( $L_{rep}$ ): 구문과 원자적 구성 요소의 의미적 복잡성을 기술하는 비용.
  - 해석 복잡도 ( $L_{int}$ ): 이러한 구성 요소들을 인간 개념과 정렬시키는 주관적 비용.
- 총 설명 길이는 설명 자체의 최소 설명 길이에 대한 상한선 역할을 합니다.
압축적 정제 (Compressive Refinement):
- 해석 가능성을 최적화하기 위해, 본 논문은 모델의 구문을 재구조화하면서 의미를 보존하는 ( $[[\cdot]] = [[\cdot]]' \circ R$ ) 함자 $R: S \to S'$ 인 **구문적 정제 (Syntactic Refinement)**를 제안합니다.
- 압축적 정제는 이러한 재구조화가 표현 복잡도를 감소시킬 때 ( $L_{rep}(M') \leq L_{rep}(M)$ ) 발생합니다.
- 간명성 기준 (Parsimony Criterion): 표현 복잡도의 감소가 해석 복잡도의 증가를 상쇄할 때만 정제가 더 나은 설명을 산출합니다.

주요 기여

공식적 프레임워크: 본 논문은 범주론적 기반을 해석 가능성에 확립하여 구문 (구조) 과 의미 (행동) 를 구분하고, 가환 다이어그램을 통해 이들의 정렬을 요구합니다.
정량화 가능한 목표: MDL 을 사용하여 해석 가능성을 제약 최적화 문제로 제시하며, 충실성 (왜곡) 과 복잡도 (설명 길이) 를 분리합니다.
압축적 정제: 기능을 변경하지 않고 모델을 더 단순한 부분으로 재구조화하는 체계적인 방법을 도입하며, 기존 기계적 방법들 (예: 희소성 기반 분해) 을 정제의 하위 클래스로 일반화합니다.
간명성 기준 및 이론적 보장:
- 저자들은 코딩 분포가 해석 분포와 *공단조적 (comonotonic)*일 경우, 압축적 정제가 더 간결한 설명을 보장함을 증명합니다 (구조적 단순성과 인간 이해 가능성의 연결).
- **구성적 희소성 (Theorem 4.5)**을 인용하여, 다항식 크기의 심층 네트워크가 희소 분해를 허용하는 함수를 근사한다고 주장함으로써, "계산의 원자"에 대한 탐색이 가능하고 관리 불가능한 다이어그램 크기로 이어지지 않음을 보장합니다.
- 약한 설명적 낙관주의 원칙을 공식화하여, 모델이 잘 수행된다면 그 핵심 메커니즘은 인간이 이해할 수 있을 가능성이 높으므로, 이러한 메커니즘을 필터링하기 위해 압축을 사용하는 것이 정당함을 시사합니다.

결과 및 주장
본 논문은 새로운 실증 실험을 제시하지는 않지만, 이론적 통합과 개념 증명 (proof of concept) 을 제공합니다:

희소성 휴리스틱을 사용하는 등 주요 기계적 방법들이 구문적 정제의 특정 사례로 볼 수 있음을 보여줍니다.
간명성 기준 하에서, '설명적 낙관주의' 사전 가정이 성립한다면 표현 복잡도를 최소화하는 것이 이론적으로 더 간결하고 인간과 정렬된 설명을 보장함을 증명합니다.
압축성 휴리스틱이 종종 인간 해석 가능성과 정렬되는 이유를 명확히 합니다: 즉, 핵심 메커니즘을 격리하기 위해 중복성을 제거하여 인간 개념에 대응하는 메커니즘을 분리해내기 때문입니다.

의의
본 논문은 기계적 설명의 발견과 평가를 자동화하기 위한 측정 가능하고 최적화 가능한 기반을 제공한다고 주장합니다. 임시방편적인 역공학에서 공식적 구성적 프레임워크로 이동함으로써, 현재 해석 가능성 연구의 객관적 검증 부재를 해결합니다. 이 작업은 해석 가능성을 이진 구조적 제약이 아닌 연속적인 최적화 목표로 위치시켜, 내재적 해석 가능성과 사후 설명 간의 격차를 해소합니다. 저자들은 향후 연구가 이 프레임워크를 활용하여 압축적 정제를 인과 추론과 통합하고, 텐서 네트워크와 같은 도구를 사용하여 확장 가능한 최적화를 수행할 수 있음을 시사합니다.