Resumo Técnico: A Geometria Conceitual Hierárquica em Modelos de Linguagem Emerge da Co-ocorrência de Palavras

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) e embeddings de palavras exibem estruturas geométricas nas quais relações semânticas, como a hiperonímia (a relação "é-um"), parecem ser codificadas por meio de direções ou subespaços específicos. Trabalhos anteriores, notadamente Park et al. [13], propuseram uma "hipótese de representação linear" sugerindo que a geometria hierárquica surge de um mecanismo funcional onde vetores de conceitos são ortogonais aos seus pais, permitindo manipulação semântica limpa (por exemplo, navegar de "pássaro" para "peixe" sem perder a "animalidade"). No entanto, a origem dessa geometria permanece debatida: é resultado de um design funcional explícito ou uma propriedade emergente da distribuição de dados? Este artigo investiga se a geometria de divisão hierárquica observada em LLMs e embeddings de palavras é uma consequência necessária das estatísticas de co-ocorrência de palavras, em vez de um mecanismo funcional específico de hierarquia.

Metodologia

Marco Teórico

Os autores propõem uma teoria distribucional baseada na suposição de que palavras mais próximas no grafo de hiperônimos do WordNet co-ocorrem com mais frequência no texto.

1. Modelo de Co-ocorrência: Eles definem uma matriz de co-ocorrência normalizada $M^\star$ (relacionada à Informação Mútua Puntual) onde as entradas dependem da distância semântica entre palavras. Eles assumem uma função de kernel $f(\text{dist}(i, j))$ que é positiva e estritamente decrescente com a distância.
2. Decomposição Espectral: O artigo analisa a decomposição em autovalores de $M^\star$ para palavras que formam uma subárvore binária perfeita do WordNet. Usando uma base de wavelets de Haar adaptada à hierarquia, eles provam que os autovetores de $M^\star$ se organizam hierarquicamente:
   • O autovetor principal (modo de escala) varia apenas com a profundidade.
   • Os autovetores subsequentes (modos wavelet) dividem subárvores de níveis grosseiros para finos.
   • O espectro exibe uma ordenação "de grosso para fino", onde os modos não escalares dominantes correspondem a divisões taxonômicas de nível superior antes de sub-ramos mais finos.
3. Modelo Paramétrico: Para fazer previsões quantitativas, os autores instanciam o kernel com uma função de decaimento exponencial $f(d) = \alpha e^{-\beta d}$, ajustando os parâmetros aos dados empíricos de co-ocorrência.

Validação Empírica

A teoria é testada contra dois tipos de representações:

1. Embeddings Word2vec: Os autores constroem embeddings word2vec diretamente a partir dos principais autovetores da matriz de co-ocorrência empírica derivada do corpus Wikipedia. Eles amostram subárvores binárias perfeitas de profundidade $L=3$ da hierarquia do WordNet.
2. Representações de LLM: Eles analisam os vetores de desembedding do modelo Gemma 2B (e as ativações do fluxo residual do Llama 3.2-1B para robustez). Os vetores são centralizados e branqueados para reduzir a anisotropia global.

Métricas:

• Alinhamento do Subespaço Top-k: Como os autovetores teóricos para subespaços degenerados são definidos apenas até uma rotação, os autores comparam o alinhamento dos subespaços top-$k$ entre as matrizes de Gram empíricas e as matrizes de Gram teóricas derivadas do kernel ajustado.
• Ortogonalidade do Vetor de Conceito: Eles replicam o diagnóstico de Park et al. [13], medindo a similaridade de cosseno entre vetores pais e os vetores de "inovação" (filho menos pai) para testar a ortogonalidade aproximada.

Principais Contribuições

1. Origem Distribucional da Hierarquia: O artigo fornece um mecanismo estatístico simples demonstrando que a geometria de divisão hierárquica emerge naturalmente das estatísticas de co-ocorrência de palavras em pares, sem exigir restrições funcionais explícitas ou objetivos de treinamento específicos de hierarquia.
2. Organização Espectral de Grosso para Fino: Os autores provam e verificam que os principais autovetores da matriz de Gram de co-ocorrência se organizam hierarquicamente, separando primeiro ramos taxonômicos amplos (por exemplo, plantas vs. animais) e depois sub-ramos progressivamente mais finos (por exemplo, pássaros vs. peixes).
3. Extensão para LLMs: O estudo demonstra que essa assinatura espectral específica se estende notavelmente bem aos desembeddings de LLMs (Gemma 2B), sugerindo que a geometria hierárquica em LLMs pode ser um subproduto das mesmas estatísticas de co-ocorrência que impulsionam o word2vec.
4. Reinterpretação de Vetores de Conceito: Ao mostrar que um modelo puramente impulsionado por co-ocorrência reproduz o padrão de "inovação ortogonal" observado por Park et al., o artigo argumenta que essa característica geométrica não implica necessariamente um mecanismo funcional para raciocínio hierárquico, mas pode surgir da estrutura espectral das estatísticas em pares.

Resultados

• Alinhamento Teórico vs. Empírico: Tanto nos embeddings word2vec quanto nos desembeddings do Gemma 2B, os subespaços top-$k$ das matrizes de Gram empíricas alinham-se significativamente melhor com as previsões teóricas (baseadas no kernel exponencial ajustado) do que com linhas de base de rótulos embaralhados. Esse alinhamento mantém-se em várias hierarquias semânticas (por exemplo, organismos, cognição).
• Confirmação Visual: Projeções de nós taxonômicos em componentes principais (PCs) revelam a divisão hierárquica prevista. Por exemplo, na taxonomia de organismos, o PC2 separa plantas de animais, enquanto os PCs degenerados 3–4 separam pássaros de peixes e flores de árvores.
• Robustez: Os resultados persistem através de diferentes parametrizações de kernel (exponencial vs. lei de potência), diferentes profundidades de árvore ($L=2$ e $L=3$) e diferentes tipos de representação (desembeddings branqueados, embeddings não branqueados centralizados e ativações internas do fluxo residual).
• Diagnósticos de Vetor de Conceito: O modelo de co-ocorrência reproduz a quase ortogonalidade das inovações pai-filho encontradas em LLMs, confirmando que esse padrão é consistente com uma origem puramente estatística.

Significado e Afirmativas

O artigo afirma refinar a imagem funcional da geometria hierárquica nos espaços de representação. Embora a geometria seja real e robusta, os autores argumentam que ela não precisa surgir de direções de conceitos ortogonais exatas impulsionadas por um mecanismo funcional específico de hierarquia. Em vez disso, a ortogonalidade aproximada observada na prática é uma consequência da estrutura espectral induzida pelas estatísticas de palavras em pares.

O trabalho apoia uma visão mais ampla onde embeddings de palavras são caracterizados por atributos discretos, contínuos e hierárquicos. Palavras com atributos semelhantes co-ocorrem com mais frequência, e essa regularidade estatística por si só dá origem à organização geométrica elegante dos embeddings. Embora tal organização possa ser útil para a função, o artigo postula que ela não é impulsionada por ela. As descobertas sugerem que a estrutura hierárquica em LLMs é uma propriedade emergente da distribuição de dados, em vez de uma necessidade funcional aprendida.