💻 computer science

DMDIntel: Interpreting Large Language Models via Dynamic Mode Decomposition

이 논문은 동적 모드 분해(dynamic mode decomposition)를 활용하여 LLM의 은닉 상태를 주요 모드로 분해하고 입력 토큰의 순위를 매기는 새로운 해석 가능성 프레임워크인 DMDIntel을 소개하며, 여러 데이터셋과 모델 제품군에 걸쳐 PCA, Integrated Gradients, SHAP와 같은 최신 기여도 산출 방법들보다 우수한 성능을 입증한다.

원저자: Amogh Joshi, Animesh Mukherjee, Sergey Utyuzhnikov

게시일 2026-08-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Amogh Joshi, Animesh Mukherjee, Sergey Utyuzhnikov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 마술사가 모자에서 토끼를 꺼내는 장면을 보고 있다고 상상해 보십시오. 당신은 모자를 보고, 토끼를 봅니다. 하지만 마법은 그 두 가지 사이, 즉 마술사의 소매 안에서 일어나는 찰나의 순간에 발생합니다. 오랫동안 인공지면(AI)은 바로 그 마술사였습니다. 우리는 문장을 입력하고, AI는 답을 내놓지만, 정작 AI가 어떻게 그 답을 결정했는지는 아무도 알지 못합니다. AI는 '블랙박스'이며, 과학자들은 컴퓨터가 실제로 어떤 단어에 주목했는지 확인하기 위해 그 내부를 들여다보려고 필사적으로 노력하고 있습니다. 이 분야를 '해석 가능성(interpretability)'이라고 부릅니다. 이 새로운 논문을 이해하려면 먼저 두 가지를 알아야 합니다. AI가 텍스트를 읽는 방식과 우리가 보통 내부를 들여다보려고 시도하는 방법입니다.

LLM(Large Language Model)이라 불리는 AI 모델들은 우리처럼 단어를 읽지 않습니다. 대신, 모든 단어를 긴 숫자 리스트(벡터)로 변환한 뒤, 마치 계주 경기처럼 일련의 레이어(층)를 통과시킵니다. 각 레이어에서 숫자들은 미세하게 변하며, 현재 단어의 의미를 그 앞의 단어들과 혼합합니다. 경주가 끝날 때쯤, 모델은 최종적인 답변을 결정하는 최종 숫자 세트를 갖게 됩니다. 보통 어떤 단어가 중요했는지 알아내기 위해 과학자들은 모델의 '정적(static)' 상태를 살펴보는 도구들을 사용합니다. 이는 마치 계주 경기의 사진 한 장을 찍고 누가 가장 빨리 달리고 있는지 추측하는 것과 같습니다. 하지만 이 논문은 단 한 장의 사진을 보는 것이 전체 이야기를 놓칠 수 있다고 주장합니다. 대신, 숫자들이 다음 단계로 넘어갈 때 어떻게 진화하는지, 즉 '영화'를 보아야 한다고 주장합니다. 왜냐하면 AI 사고의 비밀은 바로 그 움직임 속에 있기 때문입니다.

여기서 Amogh Joshi와 IIT Kharagpur 및 맨체스터 대학교 연구팀이 도입한 새로운 방법인 DMDINTEL이 등장합니다. AI의 내부 처리를 단순한 숫자의 목록이 아니라, 흐르는 강물이라고 생각해 보십시오. AI가 문장을 읽을 때마다, '물'(숨겨진 정보)은 새로운 단어가 나올 때마다 물결치고 모양을 바꿉니다. 연구진은 유체 역학에서 물이 소용돌이치는 방식을 연구하기 위해 고안된 **동적 모드 분해(Dynamic Mode Decomposition, DMD)**라는 수학적 도구를 사용하여 이 물결을 지도화했습니다.

이 '강물' 비유가 실제로는 어떻게 작동하는지 살펴보겠습니다. AI가 문장을 읽을 때, 단어들의 숨겨진 상태는 복잡하게 소용돌이치는 패턴을 만들어냅니다. DMDINTEL은 이 패턴을 몇 가지 단순하고 반복적인 '모드(modes)' 또는 형태들로 분해합니다. 마치 바다의 복잡한 파도가 몇 가지 기본적인 파도의 형태들의 조합으로 설명될 수 있는 것과 같습니다. 연구진은 AI가 문장을 읽어 나감에 따라 이러한 형태들이 어떻게 커지고, 작아지고, 혹은 진동하는지를 관찰함으로써, 어떤 단어가 최종 결정의 '동력(driver)'이었는지 식별할 수 있다는 것을 발견했습니다. 그들은 AI를 하나의 **동적 시스템(dynamical system)**으로 취급했습니다. 즉, 단어 그 자체만을 보는 것이 아니라, 한 단어에서 다음 단어로 넘어가는 '변화'를 본 것입니다.

연구진은 이 아이디어를 세 가지 다른 AI 모델 계열(Llama, Qwen, Mistral)과 세 가지 다른 작업(리뷰가 긍정적인지 부정적인지 판단하기, 가짜 뉴스 탐지, 혐오 표현 탐지)에 대해 테스트했습니다. 그들은 자신들의 '강물 영화' 방식과 기존의 '정적 사진' 방식들을 비교했습니다. 기존 방식에는 Integrated Gradients, SHAP, 그리고 주성분 분석(PCA) 등이 포함됩니다.

결과는 DMDINTEL이 훨씬 더 뛰어난 탐정임을 시사합니다. 실험에서 이 새로운 방법은 다른 방법들보다 '그라운드 트루스(ground truth, 정답)'에 해당하는 가장 중요한 단어들을 일관되게 더 잘 찾아냈습니다. 예를 들어, AI가 리뷰가 부정적이라고 결정할 때, DMDINTEL은 'trash(쓰레기)', 'unable(불가능한)'과 같은 단어를 최우선 동력으로 정확히 순위를 매겼던 반면, 다른 방법들은 'scheduled(예정된)'나 'conference(컨퍼런스)'와 같이 덜 중요한 단어들에 의해 주의가 분산되기도 했습니다. 이 논문은 AI의 생각을 진화 과정을 관찰함으로써 DMDINTEL이 문장의 논리를 더 잘 포착한다는 것을 보여줍니다. 이는 AI의 추론이 단순히 멈춰 있는 단어들에 관한 것이 아니라, 문장이 구축됨에 따라 의미가 어떻게 흐르고 변형되는지에 관한 것임을 시사합니다.

하지만 저자들은 이것이 모든 AI 문제에 대한 만능 해결책은 아니라고 주의를 기울입니다. 그들의 방법은 AI가 문장을 읽고 단순한 답(예: 분류 작업)을 내놓을 때 가장 잘 작동합니다. 만약 AI가 긴 이야기를 쓰거나 책 한 권을 단어 단위로 번역하기 시작한다면, AI가 생성한 새로운 단어를 다시 시스템에 피드백하기 때문에 수학적으로 까다로워진다는 점을 인정합니다. 하지만 AI가 왜 특정 문장을 '혐오 표현'이나 '가짜 뉴스'로 분류했는지 설명하는 구체적인 작업에 있어서는, 숫자의 춤을 관찰하는 이 새로운 방식이 기계의 마음을 더 명확하고 정확하게 보여준다는 것을 이 논문은 보여주고 있습니다.

기술 요약: DMDINTEL – 동적 모드 분해(Dynamic Mode Decomposition)를 통한 LLM 해석

1. 문제 정의

본 논문은 대규모 언어 모델(LLM)의 해석 가능성(interpretability), 특히 분류 작업에서의 입력 속성(input attribution) 문제를 다룹니다. Integrated Gradients (IG), SHAP, PCA와 같은 기존 방식들은 모델이 어떤 토큰에 주목하는지 식별하는 데 효과적이지만, 저자들은 다음과 같은 중대한 한계가 있다고 주장합니다:

이산적 처리: 이들은 종종 토큰을 이산적이고 고립된 개체로 취급합니다.
시간적 맥락 결여: 모델이 시퀀스를 토큰 단위로 처리함에 따라 발생하는 잠재 정보의 **순차적 진화(sequential evolution)**를 포착하지 못합니다.
파편화된 스냅샷: 추론의 연속적인 서사가 아니라, 은닉 상태(hidden states)가 예측을 형성하기 위해 어떻게 변화하는지에 대한 정적인 뷰만을 제공합니다.

기존의 기계론적 해석 가능성(mechanistic interpretability) 연구는 정적인 프로빙(probing)이나 특정 회로 매핑에 집중하지만, 시퀀스 전반에 걸친 정보의 동적 흐름을 모델링하는 데는 어려움을 겪고 있습니다.

2. 방법론: DMDINTEL 프레임워크

제안된 DMDINTEL 프레임워크는 지도 학습 기반 미세 조정된 디코더 전용(decoder-only) LLM을 **이산 시간 동적 시스템(discrete-time dynamical system)**으로 취급합니다. 이 방식은 임베딩 공간에서의 흐름으로서 은닉 상태의 진화를 모델링하며, 비선형 모델 함수 $F$ 를 선형 대리 연산자(linear surrogate operator)로 근사합니다.

핵심 워크플로우

동적 시스템 공식화:
모델의 상태 전이는 $h_{t+1} \approx F(w_{\le t})$ 로 모델링됩니다 (여기서 $h_t$ 는 토큰 $t$ 에서의 은닉 상태). 저자들은 이 전이를 선형 관계인 $h_{t+1} = A h_t$ 를 사용하여 근사하며, 여기서 $A$ 는 대리 선형 연산자입니다.
데이터 행렬 구축 및 노이즈 제거:
- 레이어 선택: 알고리즘 1(Heuristic)은 "지시 편향(instruction bias)" 벡터(빈 프롬프트로부터 유도됨)와 토큰 은닉 상태 사이의 코사인 유사도를 분석하여 최적의 디코더 레이어( $\ell^*$ )를 선택합니다. 선택된 레이어는 입력 토큰의 충실도와 지시 따르기 편향 사이의 균형을 맞추며, 일반적으로 지시 편향에 대한 유사도가 급격히 상승하기 시작하는 변곡점에 위치합니다.
- 편향 제거: 실제 입력 문장의 신호를 프롬프트 템플릿으로부터 격리하기 위해, 저자들은 은닉 상태에서 지시 편향 벡터( $b$ )를 뺍니다: $\hat{h}_i = h_i - b$ .
- 행렬 형성: 편향이 제거된 은닉 상태들이 데이터 행렬 $X$ 를 형성합니다.
동적 모드 분해 (DMD):
- 표준 DMD: 데이터 행렬로부터 선형 연산자 $A$ 를 근사합니다. 이의 고유값 분해(eigendecomposition)를 통해 DMD 모드(시공간 구조)와 고유값(성장, 쇠퇴 및 진동을 정량화)을 얻습니다.
- 고차 DMD (HODMD): 표준 DMD(마르코프 성질 $h_{t+1} = A h_t$ 를 가정)가 놓칠 수 있는 장기 의존성과 시간적 역학을 포착하기 위해 저자들은 HODMD도 사용합니다. 이는 스택된 스냅샷으로부터 한켈 행렬(Hankel matrix)을 구성하여, 시스템이 이전 타임 스텝들의 선형 결합으로서 은닉 상태를 모델링할 수 있게 합니다.
입력 속성 (토큰 랭킹):
- 모드 랭킹: 모드들은 초기 모드 진폭의 크기 또는 시간 평균 진폭의 크기를 사용하여 그 동적 중요도에 따라 순위가 매겨집니다.
- 토큰 점수 산출: 각 토큰 $w_t$ 에 대해, 기여도는 상태 변화 $\Delta h_t = h_t - h_{t-1}$ 로 측정됩니다. 이 변화량을 상위- $k$ 주요 모드들에 투영(projection)한 스칼라 값을 계산합니다. 상위 모드들에 걸친 이 투영 크기의 합이 해당 토큰의 투영 점수( $s_t$ )가 됩니다.
- 최종 출력: 가장 영향력 있는 예측 드라이버를 식별하기 위해 투영 점수에 따라 토큰의 순위를 매깁니다.

3. 주요 기여

DMDINTEL 프레임워크: 입력 토큰의 순위를 매기기 위해 LLM의 은닉 상태를 해석 가능한 시공간 모드로 분해하는 입력 속성 파이프라인을 도입했습니다.
동적 관점: 디코더 전용 LLM의 은리학적 진화를 입력 속성을 위해 동적 시스템으로 분석한 첫 번째 연구입니다.
경험적 검증: 세 가지 모델 제품군(Llama-3.2-3B, Qwen3-4B, Mistral-7B)과 세 가지 다양한 텍스트 분류 데이터셋(Sentiment, HateXplain, FakeEdit)에 대해 광범-한 평가를 수행했습니다.
성능 우위: DMDINTEL이 ground-truth 토큰을 식별하고 그 순위 중요도를 보존하는 데 있어 PCA, IG, SHAP과 같은 최첨단 베이스라인보다 일관되게 우수한 성능을 보임을 입증했습니다.

4. 실험 결과

저자들은 GPT-4.1에 의해 생성된 ground truth (GT) 랭킹에 대해 Matched Count (MC), Rank-Biased Overlap (RBO), 그리고 Recall@k를 사용하여 프레임워크를 평가했습니다.

Sentiment Analysis (감성 분석): 시간 평균 진폭 랭킹을 사용한 HODMD가 가장 좋은 성능을 보였습니다. 저자들은 이것이 다중 단어 구절(multi-word phrase)의 역학을 포착하기 위해 지연 인자(delay factors)가 필요하기 때문이며, 표준 DMD는 이를 놓친다고 설명합니다. DMDINTEL은 모든 지표에서 PCA, IG, SHAP을 능가했습니다.
HateXplain & FakeEdit: 진폭 기반 랭킹을 사용한 표준 DMD가 가장 효과적이었습니다. 저자들은 특정 키워드(예: 혐오 표현 용어나 정치적 인물)가 분류를 주도하는 이러한 작업의 경우, 상태 진화가 HODMD의 확장된 메모리를 필요로 하지 않는 근사 마르코프 과정(near-Markovian process)을 따른다고 제안합니다. DMDINTEL은 가장 높은 Recall@10을 달 기록하며 가장 많은 ground-truth 토큰을 찾아냈습니다.
정성적 분석: DMDINTEL은 GT와 강력한 일치성을 보였으며, 의미론적으로 관련 있는 토큰들(예: "trash", "unable", "fa**ot")을 일관되게 상위에 배치했습니다. 반면, IG는 문맥을 놓치면서 독성 키워드의 좁은 부분집합에만 집중하는 경-향이 있었고, SHAP은 문맥상 그럴듯하지만 GT에는 없는 토큰들을 드러내기도 했습니다.
충실도 (Perturbation): 토큰 마스킹 실험에서 DMDINTEL은 일관되게 유의미한 정확도 및 확신도 하락을 일으켰으며(종종 1위 또는 2위를 기록), 이는 식별된 토کن들이 실제로 모델의 결정 과정에 결정적임을 확인시켜 줍니다.
강건성: 이 방법은 서로 다른 모델 제품군 전반에서 안정성을 보였으며, 선택된 레이어 인덱스( $\ell^*$ )의 작은 변화에도 비교적 둔감했습니다.

5. 의의 및 주장

본 논문은 DMDINTEL이 전통적인 정적 또는 그래디언트 기반 방식에 비해 더 강력하고 효과적인 입력 속성 렌즈를 제공한다고 주장합니다. LLM을 동적 시스템으로 봄으로써, 이 프레임워크는 파편화된 스냅샷이 아닌 모델 추론의 연속적인 서사를 포착합니다.

저자들은 다음을 강조합니다:

미세 조정된 모델의 은닉 상태를 저차원 시공간 모드로 분해하면, 정보 흐름의 강력한 지표 역할을 하는 해석 가능한 패턴이 드러납니다.
이러한 동적 관점은 특히 순차적 문맥이나 특정 토큰 수준의 트리거가 중요한 작업에서, 출력 분류를 주도하는 토큰을 더 높은 충실도로 식별할 수 있게 합니다.
이 접근 방식은 시스템을 지배하는 방정식에 대한 사전 지식 없이도 복잡한 비선형 모델 동작과 해석 가능한 선형 구조(모드) 사이의 간극을 성공적으로 메웁니다.

6. 한계점

저자들은 현재 연구의 구체적인 경계를 인정합니다:

작업 범위: 프레임워크는 현재 짧은 출력(1-2개 토큰)을 가진 분류 작업에 대해서만 평가되었습니다. 생성된 토큰이 모델에 다시 피드백되는 자기 회귀 생성(예: 기계 번역)에 적용하는 것은 DMD 행렬의 구성을 복잡하게 만들기 때문에 어렵다는 점이 언급되었습니다.
모델 범위: 본 연구는 특정 다운스트림 작업을 위한 지도 학습 기반 지시 미세 조정 모델에 초점을 맞추고 있습니다. 기업들이 출시한 범용 지시 미세 조정 모델은 이 맥락에서 아직 탐구되지 않았습니다.