과거 철학자들은 LLM 이 단어를 어떻게 이해하는지 볼 때, **"단어는 다른 단어들과 얼마나 가까운가?"**로 정의된다고 보았습니다.
비유: 상상해 보세요. 전 세계 모든 단어가 거대한 지도 위에 점으로 찍혀 있습니다.
'사과'와 '배'는 서로 아주 가깝게 붙어 있습니다.
'사과'와 '비행기'는 아주 멀리 떨어져 있습니다.
'왕 (King)'과 '여왕 (Queen)'도 서로 가깝고, '남자'와 '여자'도 가깝습니다.
의미: 이 지도에서 '사과'의 의미는 사과 자체의 고유한 속성이 아니라, '배'나 '과일' 같은 이웃 단어들과의 거리 관계에서 나옵니다.
이론 이름:전체론 (Holism). 즉, 단어 하나하나의 의미는 그 단어 혼자서 결정되는 게 아니라, 모든 단어들이 서로 맺고 있는 관계망 전체에서 결정된다는 것입니다.
2. 새로운 도전: "아니요, 단어는 레고 블록으로 만들어져 있습니다" (분해론)
최근 인공지능 연구자들은 LLM 의 내부 구조를 들여다보다가 놀라운 것을 발견했습니다. 바로 **'스파스 오토인코더 (SAE)'**라는 도구를 이용해 LLM 이 숨겨진 **'특징 (Features)'**들을 찾아낸 것입니다.
비유: LLM 이 단어를 이해할 때, 단순히 이웃 관계만 보는 게 아니라, **수백만 개의 작은 레고 블록 (특징)**을 조합해서 단어를 만든다는 것입니다.
예를 들어, '왕 (King)'이라는 단어는 **[남성] + [왕실] + [지도자] + [가족의 우두머리]**라는 레고 블록들이 모여 만들어진 것입니다.
'사자 (Lion)'라는 단어는 **[포식자] + [강함] + [큰]**이라는 블록들이 모여 있고, 문맥에 따라 **[귀여움]**이나 **[부드러움]**이라는 블록이 추가되기도 합니다.
충격: 만약 이것이 사실이라면, 단어의 의미는 '이웃 관계'가 아니라 이러한 기본 블록들의 조합으로 설명될 수 있습니다. 이는 '전체론'을 무너뜨리는 강력한 반박이 됩니다.
3. 저자의 결론: "레고 블록은 있지만, 그건 의미의 기본 입자가 아닙니다"
저자는 이 '레고 블록 (특징)' 발견이 전체론을 완전히 무너뜨린다고 보지 않습니다. 오히려 전체론이 여전히 유효하다고 주장합니다. 그 이유는 다음과 같습니다.
이유 1: 레고 블록들이 너무 구체적이고 엉뚱합니다. SAE 가 찾아낸 특징들은 우리가 기대하는 '의미의 기본 입자'가 아닙니다.
예시: '왕'을 설명하는 블록이 '남성'이나 '지도자' 같은 추상적인 개념일 수도 있지만, 실제로는 '소금 (salt)', '에어컨 (air conditioning)', '법률 문서' 같은 아주 구체적이고 특이한 주제들이나, 심지어 '1 인칭 대명사 (나/내)' 같은 문법적 특징들도 블록으로 나옵니다.
비유: 마치 '사과'를 설명하기 위해 '사과'라는 블록 대신 '빨간색', '동그란 모양', '과일', '과일가게', '2024 년 생산' 같은 너무 구체적이고 잡다한 조각들이 섞여 있는 것과 같습니다. 이것이 '의미의 기본 단위'라고 보기 어렵습니다.
이유 2: 블록들이 너무 많습니다 (무한한 문제). SAE 는 LLM 의 내부 공간에서 '방향'을 찾아냅니다. 수학적으로 보면, 두 점 (특징) 사이에 무한히 많은 점이 존재할 수 있습니다.
비유: '사과'와 '배' 사이에 '사과 - 배'라는 중간 단어는 있을지 몰라도, '소금'과 '에어컨' 사이에 '소금 - 에어컨'이라는 의미 있는 중간 단어가 존재할 리 없습니다.
결론: 의미의 세계는 연속적인 공간이 아니라, 구분된 (Discrete) 점들로 이루어져 있어야 합니다. SAE 가 찾아낸 특징들은 너무 많고 구체적이라서, 이를 '의미를 구성하는 기본 블록'으로 보기는 어렵습니다.
🏁 최종 요약: 왜 전체론이 살아남는가?
저자는 다음과 같이 결론 내립니다.
SAE 가 찾아낸 특징 (레고 블록) 은 존재하지만, 그것이 단어의 의미를 설명하는 '기본 입자'는 아닙니다. 너무 구체적이고, 문법적이거나, LLM 의 내부 작동 방식에 치우쳐 있기 때문입니다.
오히려 이 특징들도 단어들과 마찬가지로, 서로의 관계 (거리) 를 통해 의미를 가집니다. '소금' 특징과 '에어컨' 특징은 서로 다른 의미를 가지며, 그들 사이의 관계망이 중요합니다.
따라서, LLM 은 여전히 '전체론'적인 방식을 따릅니다. 단어의 의미는 개별적인 레고 블록의 조합이 아니라, 수백만 개의 특징과 단어들이 서로 맺고 있는 거대한 관계망 (지도) 속에서 결정됩니다.
한 줄 요약:
"인공지능이 단어의 의미를 이해할 때, 마치 레고 블록을 조립하듯 기본 요소들을 합친다는 새로운 증거가 나왔지만, 그 '레고 블록'들이 너무 구체적이고 엉뚱해서 결국 단어의 의미는 여전히 모든 단어와 특징들이 서로 맺고 있는 거대한 관계망 (지도) 속에서 결정된다는 옛 생각이 여전히 맞습니다."
논문 요약: 희소 오토인코더 (SAE) 와 대형 언어 모델 (LLM) 에 대한 전체론적 의미론
1. 연구 배경 및 문제 제기 (Problem)
배경: 대형 언어 모델 (LLM) 은 분포적 의미론 (Distributional Semantics) 을 기반으로 작동하며, 이는 단어의 의미가 다른 단어들과의 관계 (근접성) 에 의해 결정된다는 의미론적 전체론 (Holism) 을 지지하는 것으로 해석되어 왔습니다. 즉, 개별 단어의 의미는 고립된 것이 아니라 전체 언어 네트워크 내에서의 위치로 정의됩니다.
도전 과제: 최근 기계적 해석 가능성 (Mechanistic Interpretability) 분야의 발전, 특히 희소 오토인코더 (Sparse Auto-Encoders, SAE) 를 통한 연구는 LLM 의 고차원 공간 내에 해석 가능한 수많은 잠재적 특징 (latent features) 이 존재함을 발견했습니다.
핵심 문제: 이러한 특징 (features) 들의 발견은 LLM 이 단어 의미를 '기본적인 의미 단위 (atomic features)'의 조합으로 구성한다는 분해론적 (Decompositional) 또는 구성론적 (Compositional) 관점을 지지하는 것처럼 보입니다. 이는 기존에 주장되던 '의미는 단어 간 관계에 의해 결정된다'는 전체론적 관점과 상충되는 것으로 여겨집니다. 본 논문은 SAE 특징의 발견이 LLM 의 의미론적 전체론을 반박하는지, 혹은 새로운 해석이 필요한지 분석하는 것을 목표로 합니다.
2. 방법론 (Methodology)
이론적 분석:
LLM 의 의미 표현 방식 (Word2vec 에서 Transformer 로의 진화) 을 철학적 의미론 (전체론 vs 분해론) 과 연결하여 분석합니다.
SAE 를 통해 추출된 특징들이 실제로 단어 의미의 '기본 구성 요소'로 기능할 수 있는지 철학적 논증 (Fodor, Quine 등의 기존 논쟁) 을 통해 검토합니다.
실증적 데이터 검토:
Bricken et al. (2023), Templeton et al. (2024), Lindsey et al. (2025) 등의 최신 SAE 연구 결과를 인용합니다.
SAE 가 생성한 특징들의 구체적인 예시 (예: "growing"이라는 단어에 활성화된 특징들, "salt", "air conditioning" 등 특정 주제 특징) 를 분석하여 그 해석 가능성과 일반성을 평가합니다.
특징의 중복 (duplication), 흡수 (absorption), 그리고 더 복잡한 특징으로의 재구성 (feature composition) 과 같은 SAE 의 기술적 한계를 검토합니다.
3. 주요 기여 및 논의 (Key Contributions & Discussion)
가. SAE 특징에 대한 분해론적 관점의 비판 (Critique of Feature Composition View) 저자는 SAE 특징이 단어 의미를 구성하는 '기본 단위'라는 분해론적 관점이 다음과 같은 이유로 타당하지 않다고 주장합니다.
해석의 불일치: SAE 특징 중 상당수는 의미론적 단위라기보다 구문론적 (syntactic), 형태론적 (morphological), 혹은 모델의 행동 패턴 (예: 아첨하는 태도) 을 반영합니다.
특징의 과도한 세분화: SAE 의 크기가 커질수록 (수백만 개 특징) 특징들이 너무 구체화되어 (예: "파란색 사각형"이 하나의 특징으로 나옴) 오히려 기본 의미 단위를 찾기 어려워집니다. 이는 의미의 '분해'가 아니라 '세분화'에 가깝습니다.
기술적 왜곡: SAE 는 희소성 (sparsity) 을 최적화하는 과정에서 특징 흡수 (feature absorption) 나 특징 재구성 (feature composition) 같은 비직관적인 특징을 학습하게 됩니다. 이는 의미의 본질적인 구조를 반영하기보다 모델의 압축 효율성을 반영합니다.
잔여물 문제 (Residuum Problem): Fodor 가 지적한 바와 같이, 의미의 일부를 제거했을 때 남는 '잔여물'이 여전히 의미 있는 개념인지에 대한 문제가 해결되지 않습니다.
나. 전체론적 관점의 재확인 및 확장 (Reaffirmation of Holism) 저자는 SAE 특징의 발견이 전체론을 무너뜨리지 않으며, 오히려 전체론적 그림을 유지할 수 있다고 주장합니다.
특징과 단어의 동등성: SAE 특징들도 단어 임베딩과 마찬가지로 의미 근접성 (meaning proximity) 에 따라 배열되어 있습니다. 따라서 특징들도 전체론적 네트워크의 일부로 간주될 수 있습니다.
이산성 (Discreteness) 의 가정: SAE 특징은 연속적인 공간에 존재하지만, 인간의 의미 직관은 이산적입니다 (예: '소금'과 '에어컨' 사이에 새로운 의미 있는 특징이 존재하지 않음). 따라서 의미 공간은 실질적으로 이산적인 노드 (단어 및 특징) 의 네트워크로 볼 수 있습니다.
조건부 전체론: 특징들이 셀 수 있는 (countable) 이산적 단위로 간주될 수 있다면, 단어와 특징이 모두 의미 근접성 네트워크에 통합된 전체론적 모델이 유효합니다.
4. 결과 (Results)
SAE 를 통해 발견된 특징들은 LLM 이 단어 의미를 '기본 의미 단위의 조합'으로 구성한다는 분해론적 해석을 지지하지 않습니다.
대신, 특징들은 단어 임베딩과 동등한 수준의 의미 단위로서, 서로 간의 관계 (근접성) 를 통해 의미를 형성하는 확장된 전체론적 네트워크의 일부로 이해되어야 합니다.
SAE 의 기술적 특성 (희소성 최적화, 특징의 세분화) 은 의미의 본질적인 분해 구조를 찾기보다 모델의 내부 표현을 압축하는 방식을 반영하므로, 이를 의미론적 분해의 증거로 보기 어렵습니다.
5. 의의 (Significance)
철학적 의의: LLM 기술의 발전이 반드시 기존 철학적 의미론 (전체론 vs 분해론) 의 패러다임을 바꾸는 것은 아님을 보여줍니다. 오히려 LLM 의 내부 메커니즘 (특징 발견) 을 철학적 논의에 통합하더라도, 의미의 관계적 성격을 강조하는 전체론적 관점이 여전히 강력하게 유지될 수 있음을 입증합니다.
기술적 의의: SAE 와 같은 해석 도구들이 모델의 '생각 과정'을 밝히는 데 유용하지만, 이것이 곧 모델이 인간과 유사한 '기본 개념'을 가지고 있다는 것을 의미하지는 않음을 경고합니다. SAE 특징은 모델의 압축 전략의 산물일 뿐, 의미의 절대적 구성 요소가 아닐 수 있습니다.
미래 전망: 의미론적 네트워크를 이해하기 위해서는 단어와 특징을 모두 포함하는 동적 네트워크 관점이 필요하며, 의미 공간의 연속성과 이산성 사이의 관계를 더 깊이 탐구해야 함을 시사합니다.
결론적으로, 이 논문은 SAE 를 통한 특징 발견이 LLM 의 의미론을 분해론으로 전환시키지 않으며, 오히려 단어와 특징이 모두 포함된 확장된 의미론적 전체론 (Semantic Holism) 을 지지한다고 주장합니다.