A geometric atlas of how ESM3 organizes modalities across depth
Cette étude révèle que dans le modèle de langage protéique multimodal ESM3, les différentes modalités physiques (séquence, structure, structure secondaire et accessibilité au solvant) occupent initialement des sous-espaces distincts avant de fusionner en une représentation partagée de faible dimension entre les couches 25 et 35, tandis que les annotations fonctionnelles restent orthogonales tout au long du processus, cette fusion étant une propriété universelle apprise, indépendante de la longueur de la protéine mais retardée par le désordre structurel.