Can Cross-Layer Transcoders Replace Vision Transformer Activations? An Interpretable Perspective on Vision
이 논문은 Vision Transformer 의 해석 가능성을 높이기 위해 기존 단일 계층 기반의 희소 오토인코더를 대체하여, 여러 계층의 정보를 통합하여 최종 표현을 재구성하고 계층별 기여도를 분석할 수 있는 '교차 계층 트랜스코더 (CLT)'를 제안하고 그 유효성을 입증합니다.
원저자:Gerasimos Chatzoudis, Konstantinos D. Polyzos, Zhuowei Li, Difei Gu, Gemma E. Moran, Hao Wang, Dimitris N. Metaxas
Imagine you have a massive movie studio (the AI model) that makes movies (recognizes images). 이 거대한 영화 제작소 (AI 모델) 가 영화를 찍는다고 상상해 보세요.
1. 문제점: "어둠 속의 공방" (기존 모델의 한계)
기존의 AI 모델은 12 개의 층 (Layer) 으로 이루어진 거대한 공방과 같습니다.
작업 방식: 1 층에서 재료를 다듬고, 2 층에서 칠을 하고, 3 층에서 조립을 합니다.
문제: 각 층은 서로 다른 일을 하지만, 어떤 층이 최종 영화 (결과물) 에 가장 큰 영향을 미쳤는지는 알 수 없습니다. 마치 "이 영화의 명장면은 1 층의 조명 때문일까, 아니면 12 층의 편집 때문일까?"를 알 수 없는 것과 같습니다.
기존 방법의 한계: 과거에는 각 층을 따로따로 분석하는 도구 (Sparse Autoencoders) 를 썼는데, 이는 "1 층만 보고 12 층의 영향을 설명할 수 없다"는 한계가 있었습니다.
2. 새로운 해결책: "전체 공정을 훑어보는 스마트 감독" (CLT)
이 논문은 **'크로스레이어 트랜스코더 (CLT)'**라는 새로운 도구를 제안합니다.
역할: CLT 는 각 층의 작업을 이전 층들의 결과물들을 조합해서 재현해냅니다.
비유: 마치 "1 층의 재료 + 2 층의 칠 + 3 층의 조립"이 어떻게 합쳐져서 12 층의 완성된 영화를 만드는지, **모든 층의 기여도를 계산해내는 '스마트 감독'**과 같습니다.
특징: 이 감독은 각 층이 최종 결과에 얼마나 '기여 (Credit)'했는지 숫자로 정확히 알려줍니다.
3. 실험 결과: "원작자를 대체할 수 있을까?"
연구진들은 이 CLT 를 실제 AI 의 핵심 부품 (MLP 블록) 으로 갈아 끼워보았습니다.
결과: 놀랍게도, 원래 AI 가 하는 일 (이미지 분류) 을 거의 완벽하게 대체했습니다.
특히, 영화의 **주인공 (CLS 토큰)**을 다루는 부분에서는 오히려 더 잘 하기도 했습니다.
하지만 **배경이나 소품 (패치 토큰)**을 다루는 초기 단계에서는 약간의 실수가 쌓여 성능이 떨어지기도 했습니다.
의미: CLT 는 원래 AI 를 해치지 않으면서도 그 내부 작동 원리를 설명해 줄 수 있는 **신뢰할 수 있는 '대리인 (Proxy)'**이 될 수 있습니다.
4. 발견한 비밀: "주인공과 배경의 다른 운명"
CLT 를 통해 AI 의 뇌를 들여다보니 재미있는 사실이 드러났습니다.
배경 (패치 토큰): 각 층이 자기만의 일을 주로 합니다. (1 층은 1 층의 일, 2 층은 2 층의 일) 마치 각 부서장이 자기 일만 하는 것과 같습니다.
주인공 (CLS 토큰):모든 층의 정보가 섞여 있습니다. 1 층의 정보부터 12 층의 정보까지 모두 모여서 최종 결정을 내립니다. 마치 영화의 주인공이 모든 배우들의 연기를 흡수해서 최종적으로 스토리를 완성하는 것과 같습니다.
🌟 요약: 왜 이 연구가 중요할까요?
투명성 (Interpretability): AI 가 왜 그런 결론을 내렸는지, 어떤 층이 가장 큰 공을 세웠는지를 숫자와 그림으로 보여줍니다. "AI 가 왜 이 사진을 '강아지'라고 했는지"를 설명할 수 있게 됩니다.
신뢰성 (Trust): AI 의 내부 작동 방식을 이해하면, AI 를 더 안전하게 제어하고 신뢰할 수 있습니다.
효율성: 불필요한 층을 제거하거나, 중요한 층만 남기는 등 AI 를 더 가볍게 만들 수 있는 길을 열어줍니다.
한 줄 요약:
"이 연구는 AI 의 검은 상자 (Black Box) 를 열어, 어떤 층이 어떤 역할을 했는지를 마치 영화 스토리보드처럼 명확하게 보여주는 새로운 지도 (CLT) 를 개발했습니다."
논문 요약: Cross-Layer Transcoders 를 통한 비전 트랜스포머 (ViT) 의 해석 가능성 확보
이 논문은 **비전 트랜스포머 (Vision Transformer, ViT)**의 내부 활성화 (activation) 를 해석 가능하고 신뢰할 수 있는 방식으로 분석하기 위해 **교차 계층 트랜스코더 (Cross-Layer Transcoder, CLT)**를 도입하고 그 유효성을 검증한 연구입니다. 기존 방법론의 한계를 극복하고, ViT 의 MLP 블록을 대체할 수 있는 해석 가능한 프록시 모델을 제안하며, 이를 통해 네트워크 깊이에 따른 계층 간 기여도를 정량화합니다.
1. 문제 정의 (Problem)
ViT 의 불투명성: ViT 는 분류 및 생성 등 다양한 작업에서 뛰어난 성능을 보이지만, 내부 표현 (internal representations) 이 불투명하여 해석 가능성 (interpretability) 과 신뢰성 확보가 어렵습니다.
기존 방법론의 한계:
희소 오토인코더 (SAE): 단일 계층 내에서만 작동하여, 트랜스포머의 교차 계층 (cross-layer) 계산 구조나 최종 표현을 형성하는 각 계층의 상대적 중요성을 포착하지 못합니다.
국소적 접근: 정보가 네트워크 깊이를 따라 어떻게 변환되는지에 대한 통찰을 제공하지 못합니다.
2. 방법론 (Methodology)
저자들은 언어 모델 분야에서 사용되던 **Cross-Layer Transcoder (CLT)**를 비전 도메인에 적용하여 ViT 의 MLP 블록을 대체하는 해석 가능한 프록시 모델을 개발했습니다.
CLT 의 구조 및 원리:
인코더 - 디코더 방식: 이전 계층들의 희소 임베딩 (sparse embeddings) 을 학습하여, 특정 타겟 계층의 **MLP 후 활성화 (post-MLP activation)**를 재구성합니다.
교차 계층 재구성: 타겟 계층 j의 출력 y^j는 모든 이전 계층 i(≤j)의 희소 코드 zi와 학습된 디코더 가중치 Wi→jdec의 선형 합으로 표현됩니다. y^j=i≤j∑ziWi→jdec
희소성 (Sparsity): JumpReLU, ReLU-Top-k, Abs-Top-k 등의 비선형 함수를 사용하여 희소 특징을 추출합니다.
삼각형 아키텍처: 미래 계층의 정보가 유입되지 않도록 인과적 (causal) 구조를 가집니다.
학습 및 대체 전략:
Teacher-Forcing: 고정된 ViT (Teacher) 의 활성화 데이터를 기반으로 CLT 를 학습합니다.
Cascaded Replacement: 학습된 CLT 를 사용하여 ViT 의 MLP 블록을 대체합니다. 초기에는 단일 계층만 대체하고, 점차 하위 계층까지 대체 범위를 확대하여 (예: 3→11, 0→11) 성능 저하 여부를 평가합니다.
해석 가능성 도구:
교차 계층 기여도 점수 (Cross-Layer Contribution Scores): 재구성된 출력에서 각 소스 계층이 기여한 비율을 정량화합니다. 이를 통해 어떤 계층이 최종 표현 형성에 가장 중요한지 파악할 수 있습니다.
3. 주요 기여 (Key Contributions)
비전을 위한 CLT 도입: ViT 에서 MLP 블록을 희소하고 계층 인지적인 (depth-aware) 프록시 모델로 성공적으로 대체할 수 있음을 입증했습니다.
정확한 MLP 대체: 특히 후기 계층 (late layers) 이나 전역 분류 토큰 ([CLS]) 에 대해 CLT 가 원본 MLP 를 대체하더라도 제로샷 (zero-shot) 분류 성능을 유지하거나 오히려 향상시킵니다.
교차 계층 기여도 해석:
패치 토큰 (Patch Tokens): 주로 자기 계층 (diagonal-dominant) 의 변환에 의해 결정되며, 인접 계층의 영향은 제한적입니다.
[CLS] 토큰: 네트워크 깊이에 걸쳐 광범위하게 정보를 집계하며, 여러 이전 계층으로부터의 기여를 받습니다.
신뢰성 있는 기여도 분석 (Faithful Attribution):
기여도 점수가 높은 소스 계층을 제거하면 성능이 급격히 저하되고, 상위 4 개 계층만 유지해도 원본 성능을 거의 회복함을 통해 점수의 신뢰성을 입증했습니다.
4. 실험 결과 (Results)
데이터셋 및 모델: CIFAR-100, COCO, ImageNet-100 에서 CLIP ViT-B/32 및 ViT-B/16 모델을 사용하여 평가했습니다.
재구성 정확도:
CLT 는 MLP 후 활성화와 높은 재구성 정확도 (Cosine Similarity: 0.920.97, R2: 0.890.95) 를 보였습니다.
ViT-B/16 이 ViT-B/32 보다 재구성이 더 용이했으며, ReLU-Top-k 희소화 기법이 중간~후기 계층에서 가장 우수한 성능을 보였습니다.
대체 성능 (Zero-shot Classification):
[CLS] 토큰 대체: 모든 계층을 CLT 로 대체하더라도 (0→11) 원본 모델과 유사하거나 더 나은 정확도를 유지했습니다.
패치 토큰 대체: 초기 계층의 패치 토큰을 모두 대체할 경우 성능 저하가 발생했으나, 후기 계층 (7→11, 10→11) 부터 대체하면 성능이 거의 유지되었습니다.
ViT-B/16이 ViT-B/32보다 대체에 더 강건했습니다.
해석 가능성 검증:
기여도 분석: [CLS] 토큰은 초기 계층부터 깊은 계층까지 광범위한 기여를 받는 반면, 패치 토큰은 자기 계층에 집중된 기여를 받음을 시각화했습니다.
Ablation Study: 기여도 점수가 가장 높은 단일 계층을 제거하면 성능이 크게 떨어지고, 상위 4 개 계층만 유지하면 원본 성능의 99% 이상을 회복했습니다. 이는 CLT 가 ViT 의 핵심 작동 원리를 정확히 포착했음을 의미합니다.
5. 의의 및 결론 (Significance)
새로운 해석 가능성 프레임워크: CLT 는 ViT 의 내부 작동 방식을 계층별로 분해하여, "어떤 계층이 어떤 정보를 전달하는가"를 명확히 보여주는 구조적 해석 도구로 작용합니다.
성능과 해석의 양립: 모델의 성능을 희생하지 않으면서도 (오히려 일부 경우 향상), 내부 메커니즘을 투명하게 분석할 수 있는 신뢰할 수 있는 프록시를 제공합니다.
향후 연구 방향:
CLT 를 통해 시각적 원시 특징 (low-level features) 이 어떻게 고수준 의미 추상화로 진화하는지 계층적 개념 발견에 활용.
Attention 헤드를 포함한 완전한 교차 계층 분해 및 멀티모달 LLM 으로의 확장.
이 연구는 비전 모델의 "블랙박스" 문제를 해결하기 위해, 단순한 특징 추출을 넘어 계층 간 인과 관계와 기여도를 정량적으로 분석할 수 있는 강력한 도구인 CLT 를 제안했다는 점에서 중요한 의의를 가집니다.