Geometry of Semantic Space: Comparative Study of Discrete and Continuous Models

Resumo Técnico: Geometria do Espaço Semântico – Estudo Comparativo de Modelos Discretos e Contínuos

Definição do Problema
O artigo aborda o desafio de avaliar a qualidade dos modelos de Processamento de Linguagem Natural (PLN) através da análise da consistência geométrica das estruturas semânticas que eles induzem. Embora os embeddings vetoriais supervisionados (ex: CamemBERT) alcancem alto desempenho, suas geometrias induzidas frequentemente exibem distribuições insatisfatórias que podem distorcer a organização do significado. Por outro outro lado, modelos baseados em grafos que dependem de coocorrências lexicais discretas oferecem estruturas de vizinhança mais explícitas. Os autores hipotetizam que comparar as geometrias derivadas desses dois paradigmas no mesmo corpus pode revelar suas respectivas limitações e complementaridades, especificamente no que diz respeito ao quão bem elas refletem a organização do significado concebida pelo ser humano.

Metodologia
O estudo emprega um framework comparativo aplicado ao corpus "Grand Débat National" (aproximadamente 10 milhões de sentenças da consulta pública francesa de 2019). Para garantir uma comparação justa, ambos os modelos utilizam as mesmas unidades linguísticas: cliques de coocorrência regular. Estes cliques são conjuntos de palavras que aparecem juntas com alta probabilidade (medida via Informação Mútua Pontual, PMI), servindo como unidades semânticas contextualizadas em vez de palavras isoladas.

Dois modelos distintos são construídos:

1. Modelo de Grafo ($G_c$): Um grafo discreto onde os nós são cliques de coocorrência. As arestas são definidas por uma função de similaridade $s$ que combina sobreposição lexical e similaridade contextual (ponderada por $\lambda$) usando PPMI (Positive PMI).
2. Modelo Vetorial Supervisionado ($G_b$): Um modelo contínuo utilizando o CamemBERT (um Transformer baseado em RoBERTa pré-treinado em francês). Os cliques de coocorrência são representados por meio da média dos embeddings contextuais de suas palavras constituintes através de sentenças relevantes, resultando em vetores de 768 dimensões. Um grafo $G_b$ é subsequentemente derivado desses vetores com base na similaridade de cosseno ou euclidiana.

Técnicas de Comparação
Os autores utilizam duas abordagens primárias para comparar as geometrias semânticas:

• Embedding de Grafo: O grafo discreto $G_c$ é incorporado em espaços vetoriais usando quatro métodos (Force-Directed, Spectral, Isomap, Node2Vec) para permitir uma comparação geométrica direta com o espaço do CamemBERT.
• Análise Estrutural: O espaço vetorial é convertido em um grafo $G_b$, e ambos, $G_c$ e $G_b$, são analisados utilizando ferramentas de teoria dos grafos, incluindo:
  • Subárvores BFS: Para examinar vizinhanças semânticas locais.
  • Correlação Métrica: Comparando distâncias baseadas em grafos contra similaridades baseadas em vetores.
  • Medidas de Centralidade: Analisando as distribuições de centralidade de grau e intermediação (betweenness centrality).
  • Clustering: Utilizando o algoritmo Infomap para detectar comunidades e avaliar a homogeneidade do cluster e a coerência semântica.
  • Confiabilidade (Trustworthiness - $T_w$): Medindo o quão bem a estrutura local do grafo é preservada no espaço de embedding conforme a dimensionalidade varia.

Resultos Principais

• Consistência Local vs. Global: Os modelos apresentam topologias locais semelhantes; os embeddings do CamemBERT alinham-se bem com a estrutura do grafo discreto no vizinhança imediata de um clique raiz. No entanto, essa correlação decai rapidamente (dentro de 10–15 nós), indicando que o modelo contínuo falha em preservar a organização gradual e progressiva do significado encontrada no grafo discreto.
• Distorção Semântica no Espaço Contínuo: No espaço do CamemBERT, as distinções semânticas são "suavizadas" e médias são calculadas rapidamente. A distribuição das similaridades de cosseno está centrada em torno de 0,9 (em vez de 0), sugerindo um "cone" de vetores concentrados e uma falta de uso efetivo do espaço de alta dimensão (uma manifestação da Maldição da Dimensionalidade).
• Divergência Estrutural:
  • $G_b$ (derivado de vetores): Exibe uma estrutura heterogênea com alguns nós hiperconectados (grau até 100) e muitos nós isolados. Carece de nós com alta centralidade de intermediação, o que significa que nenhum clique único atua como uma ponte significativa entre campos lexicais.
  • $G_c$ (derivado de grafos): Exibe uma estrutura mais homogênea com um grau máximo menor (25) e uma gama mais ampla de centralidade de intermediação. Cliques específicos (ex: ligando ecologia e agricultura) servem como pontes estruturais, criando uma geometria em camadas de proximidade lexical.
• Qualidade de Cluster: O agrupamento via Infomap revela que o $G_c$ produz clusters mais homogêneos com maior coerência semântica. Em contraste, os clusters do $G_b$ frequentemente contêm cliques tematicamente não relacionados (ex: "energia eólica" e "conversa barulhenta").
• Dimensionalidade: O embedding de grafo do $G_c$ alcança alta confiabilidade (>0,7) com dimensões abaixo de 100, sugerindo que a estrutura semântica discreta pode ser efetivamente representada em dimensões menores do que as 768 dimensões utilizadas pelo CamemBERT.

Significância e Alegações
O artigo afirma que, embora os modelos profundos supervisionados sejam eficazes para tarefas de contexto local, eles sofrem de limitações estruturais na representação da organização global do espaço semântico. O modelo de grafo discreto baseado em cliques de coocorrência demonstra:

1. Uma melhor gradação de distâncias semânticas.
2. Uma distribuição mais uniforme do espaço de embedding.
3. Uma estrutura de grafo mais homogênea quanto à conectividade e coerência de cluster.

Os autores sugerem que essas descobertas apontam para uma perspectiva complementar: a integração de insights estruturais baseados em grafos poderia guiar arquiteturas neurais em direção a uma convergência mais estável e interpretável, e potencialmente reduzir a dimensionalidade efetiva necessária para a representação semântica. O estudo é modesto em escopo, observando que é limitado à língua francesa, a um único corpus e a um modelo específico, e convida a novas pesquisas para validar esses achados em outras línguas e arquiteturas.