Geometric Representations of Knowledge Inside Biological Large Language Models: an Empirical Analysis
이 실증적 연구는 생물학적 거대 언어 모델(SCFMs)이 생물학적 지식을 위한 실제적이고 저차원이며 부분적으로 선형화된 기하학적 구조를 인코딩하고는 있으나, 이 구조는 미미하고 종종 비선형적으로 얽혀 있으며 PCA와 같은 고전적인 발현 기반 방법들이 이미 회복할 수 있는 것과 상당 부분 중첩되어 자연어 모델에서 관찰되는 명료하고 규칙적인 기하학적 구조에는 미치지 못한다는 점을 밝히고 있다.