ICA Lens: Interpreting Language Models Without Training Another Dictionary
이 논문은 희소 오토인코더(sparse autoencoder)를 학습시킬 필요 없이 최적화된 독립 성분 분석(ICA)을 활용하여 언어 모델 활성화로부터 인간이 해석 가능한 방향을 직접 추출하는 실용적이고 효율적인 워크플로인 ICALens를 소개하며, ICA가 모델 해석 가능성을 위한 경쟁력 있고 상호 보완적인 첫 번째 렌즈 역할을 한다는 것을 입증한다.