💬 NLP

Cross-Layer Discrete Concept Discovery for Interpreting Language Models

원저자: Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou

게시일 2026-06-11

📖 4 분 읽기☕ 가벼운 읽기

원저자: Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델(이 대화 뒤에 있는 AI와 같은)을 거대한 다층 공장이라고 상상해 보세요. 원재료(단어)가 바닥층으로 들어와 처리 과정을 거친 후, 꼭대기 층으로 이동하여 최종 제품(답변 또는 결정)을 만들어냅니다.

오랫동안 과학자들은 이 공장이 어떻게 작동하는지 이해하기 위해 한 번에 단 하나의 층만을 들여다보았습니다. 그들은 3층의 한 방을 들여다보고는 "아, 이 기계가 무언가를 하고 있군!"이라고 말하곤 했습니다. 하지만 그들은 결정적인 세부 사항을 놓쳤습니다. 이 공장에는 하층부에서 꼭대기 층까지 물건을 운반하며 중간중간 새로운 물건들과 섞는 특수한 컨베이어 벨트 시스템(이를 "잔차 흐름(residual stream)"이라고 부릅니다)이 있다는 사실입니다.

이 컨베이어 벨트 때문에, 만약 당신이 단 하나의 층만 본다면, 당신은 중복되고 뒤섞인 부품들이 엉망으로 뒤엉킨 모습을 보게 될 것입니다. 어떤 부분이 어디에서 왔는지, 혹은 그것이 실제로 무엇을 의미하는지 구분할 수 없게 됩니다.

문제점: "흐릿한 사진"

이전의 방법들은 이 혼란을 정리하려고 시도했지만, 정보를 부드럽고 연속적인 액체(물과 같은)처럼 취급했습니다. 그들은 물 속에서 패턴을 찾으려 했지만, 물은 너무 유동적이었기에 패턴들이 계속 갈라지고 서로 섞여 버렸습니다. 이는 마치 스무디의 액체 상태만 보고 특정 재료를 식별하려는 것과 같았습니다. 재료가 거기 있다는 것은 알지만, 딸기와 바나나를 쉽게 분리해낼 수는 없는 상태인 것입니다.

해결책: "CLVQ-VAE" 공장 업그레이드

이 논문의 저자들은 CLVQ-VAE라고 불리는 새로운 도구를 만들었습니다. 이것은 두 층 사이에 위치한 스마트 분류 기계라고 생각하면 됩니다.

이것이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다:

적응형 인코더 (스마트 컨베이어): 이 기계는 단순히 아래층에서 원재료를 가져오는 대신, 재료를 부드럽게 조정합니다. 이는 마치 요리사가 원재료를 가져와서 그 본질적인 성격은 바꾸지 않으면서도 다음 단계를 위해 아주 정밀하게 약간의 손질을 하는 것과 같습니다.
이산적 병목 구간 (도장 찍는 기계): 이것이 가장 중요한 부분입니다. 이 기계는 정보가 흐릿한 액체처럼 흐르게 두는 대신, 정보를 유한한 집합의 사전 정의된 도장(이를 "코드북"이라 부릅니다) 위에 "찍히도록" 강제합니다.
- 당신에게 1,000개의 특정한 레고 브릭 상자가 있다고 상상해 보세요.
- 기계가 복잡한 아이디어를 마주했을 때, 점토로 새로운 모양을 만들려고 애쓰는 대신 이렇게 말합니다. "이 아이디어는 42번 브릭과 가장 비슷해."
- 이 과정은 엉망으로 뒤섞인 연속적인 흐릿함을 명확하고 이산적인 라벨로 바꿉니다. 이는 AI가 모호하게 두 가지를 섞어 말하는 대신, "나는 '분노' 브릭을 사용하고 있어" 또는 "나는 '스포츠' 브릭을 사용하고 있어"라고 말하도록 강제하는 것입니다.
디코더 (재구성기): 그 후 기계는 오직 이 특정한 레고 브릭들만을 사용하여 공장의 "꼭대기 층"을 다시 만들어내려고 시러합니다. 만약 기계가 오직 "분노" 브릭만을 사용하여 꼭대기 층을 성공적으로 재구축할 수 있다면, 우리는 "분노"라는 개념이 AI의 결정에 결정적인 역할을 했다는 것을 확실히 알 수 있습니다.

왜 이것이 더 나은가 (결과)

연구진은 영화 리뷰, 독성 댓글 탐지, 뉴스 기사 분류라는 세 가지 작업에서 이 새로운 기계를 기존 방식(단순히 한 층만 보거나 "액체" 접근법을 사용하는 방식)과 비교 테스트했습니다.

그 결과는 다음과 같습니다:

"제거 테스트" (충실도): 연구진이 기계가 찾아낸 특정 "레고 브릭"(개념)들을 제거했을 때, AI의 성능이 급락했습니다. 어떤 경우에는 AI의 업무 수행 능력이 93%나 악화되었습니다. 이는 이 기계가 단순히 무작위한 노이즈를 찾은 것이 아니라, AI가 결정을 내리는 데 사용한 실제 이유를 찾아냈음을 증명합니다.
"판사 테스트" (LLM 평가): 연구진은 다른 AI 모델들에게 판사 역할을 맡겨, 새 기계가 찾은 개념과 기존 방식의 개념을 비교하게 했습니다. 새 기계의 개념은 66.7%의 확률로 상위권에 올랐습니다. 판사들은 새 기계의 개념이 더 이해하기 쉽고 일관성이 있다고 평가했습니다.
"인간 테스트" (해석 가능성): 연구진은 단어 구름(개념의 시각화)을 인간 자원봉사자들에게 보여주었습니다.
- 새로운 기계의 개념을 보았을 때, 인간들은 AI가 무엇을 생각하고 있는지 78%의 확률로 맞출 수 있었습니다.
- 기존 방식의 개념을 보았을 때, 인간들은 54%의 확률로만 정답을 맞혔습니다.
- 또한, 새로운 기계의 결과물을 볼 때 인간들 사이의 의견 일치도가 훨씬 높았습니다. 이는 그 개념들이 더 명확하고 덜 혼란스럽다는 것을 의미합니다.

핵심 비결 (Secret Sauce)

이 논문은 이 작업이 성공할 수 있었던 몇 가지 "기술"을 강조합니다:

온도 샘플링 (Temperature Sampling): 기계가 항상 단 하나의 "최선인" 브릭만 선택하는 대신, 가장 가까운 상위 5개의 브릭 중에서 선택하도록 합니다. 이는 기계에게 다양한 옵션을 탐색할 수 있는 약간의 무작위성을 부여하여, 기계가 똑같은 몇 개의 브릭만 반복해서 사용하는 것에 갇히지 않도록 합니다.
구형 vs 평면 (Spherical vs. Flat): 그들은 브릭을 단순히 거리(평면)가 아닌 브릭이 가리키는 방향(구형)을 기준으로 조직하는 것이, 비록 "평면" 방식이 AI의 원시 숫자를 예측하는 데는 약간 더 나을지라도 인간이 개념을 이해하는 데는 더 도움이 된다는 것을 발견했습니다.

요약

요컨대, 이 논문은 거대 AI의 복잡하고 겹쳐진 생각들을 명확하고 조직된 별개의 "개념"(레고 브릭과 같은) 목록으로 번역하는 방법을 소개합니다. 이를 통해 AI의 여러 계층에 걸쳐 작업을 수행함으로써, 우리는 AI가 무엇을 생각하고 왜 그런 결정을 내리는지를 명확하게 볼 수 있으며, 결과적으로 "블랙박스"와 같은 AI를 훨씬 더 투명하고 이해하기 쉽게 만듭니다.

기술 요약: 언어 모델 해석을 위한 교차 계층 이산 개념 발견 (Cross-Layer Discrete Concept Discovery)

문제 정의

대규모 언어 모델(LLM)을 해석하는 데 있어 트랜스포머의 잔차 스트림(residual stream)이 인접한 계층 간에 특징을 선형적으로 혼합하고 복제한다는 점이 걸림돌이 되고 있습니다. 단일 계층 분석 방법은 이러한 교차 계층 구조를 포착하지 못해, 여러 계층을 함께 조사할 때만 가시화되는 계산 패턴을 놓치는 경우가 많습니다. 최근의 교차 계층 접근 방식인 희소 오토인코더(Sparse Autoencoders, SAEs)는 계층 간 혼합 문제를 다루고 있지만, 연속적인 공간에서 작동합니다. 이러한 공간에서는 개념들이 명확한 경계 없이 많은 뉴런에 "분산(split)"되어 존재하므로, 활성화를 분리하기 위해 임의의 임계값을 설정하거나 다중 벡터 조합을 사용해야 하는 상황을 초래합니다. 인간의 추론이 이산적 범주에 의존한다는 점과 비교했을 때, 이러한 불일치는 해당 방법론의 해석 가능성을 제한합니다.

방법론

저자들은 하위 계층( $l$ )의 표현을 이산 벡터 양자화 병목(discrete vector-quantization bottleneck)을 통해 상위 계층( $h$ )으로 매핑함으로써, 이산적이고 해석 가능한 개념을 발견하도록 설계된 프레임워크인 CLVQ-VAE(Cross-Layer Vector Quantized-Variational Autoencoder)를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

적응형 잔차 인코더 (Adaptive Residual Encoder): 코드북 재할당을 가능하게 하면서도 의미론적 정보를 보존하기 위해, 이 구성 요소는 입력 임베딩에 학습 가능한 보간 메커니즘을 적용합니다. 이는 혼합 계수 $\alpha$ (0에서 0.5 사이로 제한됨)를 사용하여 원래의 임베딩과 선형 변환된 버전을 균형 있게 결합함으로써, 언어적 특징의 파괴를 방지하는 동시에 교차 계층 재구성을 위한 정밀한 수정을 허용합니다.
벡터 양자화기 (Vector Quantizer): 연속적인 인코더 출력을 학습된 집합 $E = \{e_j\}_{j=1}^K$ $E = {e_{j}}_{j = 1}^{K}$ 로부터 하나의 코드북 벡터로 매핑하는 이산 병목 역할을 합니다. 안정적인 학습과 효과적인 코드북 활용을 보장하기 위해 저자들은 다음을 채택했습니다:
- 초기화: K-means (유클리드 또는 구형(Spherical)) 또는 무작위 초기화.
- 확률적 샘플링 (Stochastic Sampling): 결정론적 선택 대신, 온도 제어 확률 분포를 사용하여 상위- $k$ 근접 코드북 벡터로부터 샘플링합니다. 이는 코드북 활용의 균일성과 개념의 다양성을 장려합니다.
- EMA 업데이트: 코드북 벡터는 직접적인 역전파 대신 할당 횟수와 누적 벡터의 지수 이동 평균(Exponential Moving Averages, EMA)을 사용하여 업데이트되며, 이를 통해 안정성을 확보합니다.
트랜스포머 디코더 (Transformer Decoder): 양방향 트랜스포머 디코더는 양자화된 코드북 벡터를 사용하여 대상 계층 $h$ 의 활성화를 재구성합니다. 이 디코더는 크로스 어텐션(cross-attention) 메커니즘을 활용하여 양자화되지 않은 인코더 출력으로부터 정보를 가져오며, 이를 통해 저수준 재구성 세부 사항을 분담함으로써 코드북이 뚜xt한 고수준 개념에 집중할 수 있도록 합니다.

모델은 재구성 손실(디코더 출력과 대상 상위 계층 표현 사이의 평균 제곱 오차)과 커밋 손실(인코더 출력이 코드북 벡터에 확정되도록 유도)이 결합된 손실 함수를 통해 학습됩니다.

주요 기여

이산 교차 계층 매핑: 동일한 계층을 재구성하는 표준 VQ-VAE와 달리, CLVQ-VAE는 트랜스코더(transcoder)로서 작용하여 하위 계층의 중복된 잔차 스트림 특징을 상위 계층의 압축되고 해석 가능한 개념 벡터로 응축합니다.
확률적 샘플링 메커니즘: 상위- $k$ 온도 기반 샘플링과 EMA 코드북 업데이트의 도입은 이산 잠재 공간의 제어된 탐색을 제공하여, 코드북의 다양성을 유지하고 붕괴(collapse)를 방지합니다.
포괄적 평가: 본 프레임워크는 인코더 기반 모델(RoBERTa, BERT)과 디코더 전용 모델(LLaMA-2-7B, Qwen2.5-3B-Instruct)에 대해 세 가지 데이터셋(ERASER-Movie, Jigsaw, AGNews)에서 평가되었습니다.

결과

본 논문은 CLVQ-VAE를 클러스터링, 단일 계층 VQ-VAE, SAE 베이스라인과 세 가지 축에 대해 비교 평가합니다:

충실도 (개념 제거/Ablation): 문장 표현에서 식별된 개념을 제거하면 모델 정확도가 크게 저하됩니다. CLVQ-VAE는 12개 설정 중 5개에서 가장 낮은 섭동 후 정확도를 기록했으며, 개념 제거 시 정확도가 최대 **93.2%**까지 하락했습니다 (RoBERTa/ERASER-Movie 기준). 특히 디코더 모델에서 일관되거나 미미한 하락을 보인 SAE와 비교하여 지속적으로 우수한 성능을 보였습니다.
의미론적 일관성 (LLM-as-a-Judge): 앙상블 LLM 평가 결과, CLVQ-VAE 개념이 비교군 중 1위로 선정된 비율은 **66.7%**였으며, 평균 점수는 1.890으로 단일 계층 VQ-VAE, SAE, 클러스터링보다 높았습니다.
인간 해석 가능성: 인간 대상 연구에서, 주석가들은 CLVQ-VAE 시각화 자료를 통해 모델 예측을 **78.2%**의 정확도로 복원할 수 있었던 반면, 클러스터링의 경우 54.1%에 그쳤습니다. 또한 주석가들은 CLVQ-VAE 시각화에 대해 더 높은 신뢰도(8.44 대 5.98)를 보고했으며, "거의 완벽한" 수준의 주석가 간 일치도( $\kappa = 0.864$ )를 달성했습니다.

또한, 저자들은 초기화 전략 간의 트레이드오프를 발견했습니다. K-means 초기화는 기능적 충실도(더 나은 섭동 결과)가 높은 경향이 있었던 반면, **구형 K-means(Spherical K-means)**는 의미론적 일관성과 인간의 이해도 측면에서 더 높은 정렬을 보이는 개념을 생성했습니다.

의의

본 논문은 CLVQ-VAE가 불투명한 모델 메커니즘을 충실하고 해석 가능한 개념으로 변환하는 강력한 프레임워크를 제공한다고 주장합니다. 이산 표현 학습과 교차 계층 분석을 통합함으로써, 이 접근 방식은 연속적인 SAE의 한계(개념 분산)와 단일 계층 분석의 한계(교차 계층 구조 누락)를 해결합니다. 결과는 발견된 개념들이 모델 예측에 기능적으로 중요할 뿐만 아니라 인간의 이해와도 일치함을 입증하며, 더 투명하고 책임 있는 언어 모델을 향한 경로를 제시합니다. 저자들은 이 방법이 효과적이지만, 활성화 추출을 위한 상당한 메모리가 필요하며 서로 다른 계층 조합에 대해 별도의 학습이 필요하다는 점을 언급했습니다.