The Changing Geometry of Grammar: Dimensionality and Neighborhood Reorganization across Transformer Layers

Dentro das mentes digitais dos modelos de linguagem modernos, as palavras não ficam paradas. Quando um computador lê uma frase, ele transforma cada palavra em uma longa lista de números, um ponto flutuando em um vasto espaço invisível com centas de dimensões. Esses pontos não estão espalhados aleatoriamente; eles se agrupam, formando folhas finas e curvas dentro desse vazio de alta dimensionalidade. Cientistas chamam essas folhas de variedades (manifolds), e a espessura da folha conta uma história sobre quanta informação a palavra está carregando. Se uma palavra é livre para mudar em muitas direções, a folha é espessa e complexa. Se a palavra é rigidamente restringida por seus vizinhos, a folha torna-se fina e simples. Essa compressão de informação é uma forma fundamental pela qual esses modelos entendem o mundo, mas, até agora, pesquisadores lutavam para visualizar como o papel específico que uma palavra desempenha em uma frase — seja um substantivo pesado como "gato" ou um conector leve como "o" — molda essa geometria.

Uma equipe de pesquisadores partiu para mapear essa paisagem oculta, questionando se o papel gramatical de uma palavra dita o caminho que ela percorre através das camadas de uma rede neural. Eles focaram na distinção entre palavras de classe aberta, que carregam significados ricos como substantivos e verbos, e palavras de classe fechada, que servem a um propósito estrutural como preposições e pronomes. Ao alimentar milhares de frases em quatro tipos diferentes de modelos de linguagem, eles rastrearam como a forma dos dados mudava camada por camada. Eles descobriram que esses dois tipos de palavras não viajam pela mesma rota. Palavras de classe fechada expandem-se para um espaço mais amplo e complexo no início do processo, apenas para colapsar de volta para uma forma apertada e simples muito antes de seus equivalentes densos em conteúdo. Isso sugere que o modelo primeiro estica essas palavras estruturais para entender como elas se conectam a outras partes da frase e, uma vez que essa conexão é feita, ele as dobra novamente, tendo extraído toda a informação relacional necessária.

Os pesquisadores descobriram que esse dobramento geométrico não é apenas uma flutuação aleatória, mas uma reorganização precisa do entorno de cada palavra. À medida que uma palavra avança pelas camadas da rede, seus vizinhos mais próximos no espaço matemático mudam. Para palavras estruturais, essa mudança acontece de forma rápida e decisiva. Uma palavra como "o" pode começar sua jornada cercada por outros determinantes, mas, conforme a rede processa a frase, ela se desprende desse grupo e se aproxima do substantivo específico que modifica. Essa mudança de vizinhos corresponde exatamente ao momento em que a representação interna da palavra se torna mais simples e comprimida. Em contraste, palavras de conteúdo como "elefante" ou "correr" mantêm uma geometria mais complexa e aberta por mais tempo, refletindo a necessidade contínua de integrar seus significados específicos com o contexto evolutivo da frase.

O estudo também revelou que a arquitetura do modelo importa profundamente. Modelos que leem frases em ambas as direções simultaneamente, como os codificadores (encoders), resolvem essas conexões estruturais precocemente, fazendo com que as mudanças geométricas ocorram nas camadas intermediárias. Modelos que leem estritamente da esquerda para a direita, como os decodificadores (decoders), seguem um caminho diferente, com essas mudanças geométricas ocorrendo mais tarde, conforme o contexto se acumula. Apesar dessas diferenças arquitetônicas, o achado central manteve-se verdadeiro: o caminho que uma palavra percorre através da rede é um reflexo direto de sua função gramatical. Os pesquisadores provaram isso ao mostrar que um computador poderia olhar apenas para a forma dos pontos de dados — sua espessura e como seus vizinhos se deslocavam — e adivinhar corretamente se uma palavra era uma palavra funcional ou de conteúdo, ou até mesmo identificar sua classe gramatical específica, sem nunca ver a própria palavra.

Este trabalho sugere que a gramática de uma frase não é apenas um conjunto de regras que o modelo segue, mas uma realidade física dentro de sua estrutura matemática. O modelo não apenas armazena o significado de uma palavra; ele remodela fisicamente o espaço ao redor dessa palavra para resolver o quebra-cabeça de como ela se encaixa na frase. No momento em que uma palavra estrutural encontra seu parceiro na frase, o modelo colapsa as dimensões extras que precisava explorar, deixando para trás uma representação compacta e eficiente. É como se o modelo construísse um andaime temporário para sustentar a frase e, uma vez que a estrutura esteja segura, ele removesse o andaime, deixando apenas a forma essencial do significado. Essa dança geométrica de expansão e contração fornece uma nova janela sobre como a inteligência artificial compreende o delicado equilíbrio entre as palavras que carregam o significado e as palavras que o sustentam.