Hyperdimensional Probe: Decoding LLM Representations via Vector Symbolic Architectures

초지능형 로봇이 어떻게 생각하는지 알아내려고 노력 중이라고 상상해 보세요. 여러분은 아마도 이야기를 쓰고, 수학 문제를 풀고, 인간처럼 대화할 수 있는 챗봇의 AI 두뇌인 '대규모 언어 모델(LLM)'에 대해 들어본 적이 있을 것입니다. 하지만 여기 함정이 있습니다. 이 로봇들은 매우 놀랍지만, 동시에 '블랙박스'이기도 합니다. 우리는 입력값(질문)과 출력값(답변)을 볼 수는 있지만, 그 내부에서 일어나는 복잡하고 마법 같은 사고 과정은 여전히 미스터리입니다. 과학자들은 두 가지 주요 도구를 사용하여 그 내부를 들여다보려고 시도해 왔습니다. '프로브(probe)'라고 불리는 한 가지 도구는 번역기 역할을 하며, 로봇이 보는 단어를 바탕으로 로봇이 무엇을 생각하는지 추측하려고 합니다. 또 다른 도구인 '희소 오토인코더(Sparse Autoencoder, SAE)'는 로봇의 생각을 단순하고 분리된 재료들의 긴 목록, 마치 레시피처럼 분해하려고 시 합니다. 하지만 두 도구 모두 사각지대가 있습니다. 번역기는 입력 중심의 특징 추출에 집중하지만 로봇이 실제로 어떻게 답변하는지에 대한 더 큰 그림을 완전히 통합하지 못하며, 레시피 제작자는 노이즈 때문에 혼란을 겪거나 최종 출력과의 연결 고리를 놓치곤 합니다. 우리가 이 문제에 관심을 갖는 이유는, AI의 두뇌가 어떻게 작동하는지 이해하지 못한다면, 우리는 그들을 온전히 신뢰하거나 잘못되었을 때 수정할 수 없기 때문입니다. 우리는 단순히 시작이나 끝만이 아니라, 전체 그림을 볼 수 있는 방법이 필요합니다.

이 논문에서 소개하는 새로운 하이브리드 탐정 도구인 '하이퍼디멘셔널 프로브(Hyperdimensional Probe)'가 등장했습니다. 이것을 기존 도구들의 장점을 결합하면서 결함을 해결한 슈퍼 파워 번역기라고 생각해 보세요. 연구진은 '벡터 기호 아키텍처(Vector Symbolic Architectures, VSA)'라고 불리는 것을 사용하여 이 도구를 구축했습니다. 만약 로봇의 뇌를 거대한 아이디어의 도서관이라고 상상한다면, 이전의 도구들은 책의 제목(입력)을 읽으려 하거나 페이지 수(출력)를 세려고 했을 뿐, 이야기가 어떻게 연결되는지는 보지 못했습니다. 그러나 하이퍼디멘셔널 프로브는 특별한 종류의 '하이퍼벡터 대수(hypervector algebra)'를 사용합니다. 이는 고차원 수학을 사용하여 아이디어들을 마치 블록을 쌓듯 서로 섞고 조합하는 세련된 방식입니다. 이 도구는 전통적인 프로브의 '탑다운(top-down)' 관점과 SAE의 '희소성(sparsity, 즉 깔끔하고 조직적인 목록 만들기)'을 통합합니다.

실험에서 저자들은 이 새로운 접근 방식이 다양한 유형의 LLM, 다양한 크기, 그리고 다양한 설정에 걸쳐 일관되게 의미 있는 의미론적 정보(즉, 로봇이 무엇에 대해 생각하고 있는지 실제로 이해함)를 추출해 낸다는 것을 발견했습니다. 그들은 두 가지 특정 시나리오에서 이를 테스트했습니다. 하나는 로봇이 문장을 완성할 때(입력-완성)이고, 다른 하나는 질문에 답할 때(QA 중심 텍ền 생성)입니다. 결과는 이 방법이 기존 방식보다 더 명확한 개념을 찾아내는 데 더 뛰어나다는 것을 시사합니다. 예를 들어, 이 방법은 로봇의 제한된 어휘에 갇혀 있는 로봇의 최종 단어 선택(로짓, logits)만을 바라보는 한계를 극복합니다. 동시에, 개념이 명확하고 경계가 뚜렷해야 하는 상황에서 SAE를 사용할 때 자주 발생하는 '노이즈가 많은' 결과들을 피합니다. 입력 특징과 출력 특징을 동시에 볼 수 있게 함으로써, 이 연구는 신경 표현(neural representations)이 실제로 어떻게 작동하는지에 대한 더 깊고 통합된 이해를 향한 경로를 제시하며, 로봇이 세상을 보는 방식과 그것에 대해 말하는 방식 사이의 간극을 메우고 있습니다.