Geometric Representations of Knowledge Inside Biological Large Language Models: an Empirical Analysis
Cette étude empirique révèle que, bien que les grands modèles de langage biologiques (SCFM) encodent une structure géométrique réelle, de faible dimension et partiellement linéarisée pour la connaissance biologique, cette structure est modeste, souvent enchevêtrée de manière non linéaire, et chevauche largement ce que les méthodes classiques basées sur l'expression, telles que l'ACP, peuvent déjà récupérer, ne parvenant pas à la géométrie nette et régulière observée dans les modèles de langage naturel.