In Search of Manifolds Inside Protein Language Models: A Largely Negative Report
Este artigo investiga sistematicamente a hipótese do manifold em modelos de linguagem de proteínas (pLMs) utilizando uma bateria abrangente de diagnósticos geométricos e topológicos, concluindo que, ao contrário dos modelos de fundação de célula única, as representações de pLMs são predominantemente de alta dimensão e lineares, em vez de organizadas em torno de manifolds de baixa dimensão.