💬 NLP

Local and Global Regimes of Geometric Complexity in Language Model Representations

Este artigo revela que a relação entre a diversidade lexical e a dimensionalidade intrínseca nas representações de modelos de linguagem passa por uma reversão previsível e dependente de escala, demonstrando que a dimensionalidade intrínseca não é uma medida direta de complexidade, mas sim um reflexo de um princípio organizacional fundamental dos dados linguísticos.

Autores originais: Arwa Osman, Marco Baroni, Iuri Macocco

Publicado 2026-08-17

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Arwa Osman, Marco Baroni, Iuri Macocco

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando entender a forma de uma nuvem massiva e invisível feita de puro pensamento. Este é o mundo da Inteligência Artificial, especificamente o "cérebro" de um Grande Modelo de Linguagem (LLM). Esses modelos não apenas armazenam palavras; eles transformam cada frase que leem em um mapa complexo e multidimensional. Para descobrir o quão complicados são esses mapas, os cientistas usam uma ferramenta chamada Dimensionalidade Intrínseca (ID). Pense na ID como uma forma de medir o quão "espalhado" ou "congestionado" os dados estão. Se um grupo de ideias é muito simples, elas podem se aglomerar em um círculo apertado e plano (baixa ID). Se forem amplamente complexas e diversas, podem se estender em uma selva vasta e de alta dimensionalidade (alta ID). Os cientistas adoram usar a ID para tentar adivinhar o quão inteligente é um modelo ou o quão difícil é uma tarefa, assumindo que um número maior significa uma estrutura mais rica e complexa. Mas aqui está o detalhe: e se o número não estiver nos dizendo nada sobre as ideias, mas apenas sobre como nós as contamos?

Este é o enigma abordado por Arwa Osman, Marco Baroni e Iuri Macocco em seu artigo, "Local and Global Regimes of Geometric Complexity in Language Model Representations". Eles descobriram que a "pontuação de complexidade" (ID) do cérebro de um modelo de linguagem não é uma verdade fixa. Em vez disso, ela muda como um interruptor dependendo de quantas palavras diferentes você fornece a ele versus quantas vezes você as repete. Eles descobriram que, se você tiver uma pequena multidão de palavras únicas, o modelo parece surpreendentemente complexo. Mas se você tiver uma multidão enorme de palavras únicas, o modelo parece ainda mais complexo — mas por um motivo completamente diferente. A parte mais surpreendente? Se você comparar dois tipos de palavras (como "substantivos" e "preposições") sem controlar quantas palavras únicas existem em cada grupo, você pode obter a resposta invertida. Acontece que a "complexidade" que vemos pode ser apenas uma ilusão de ótica causada pelo tamanho do vocabulário, não pela dificuldade real das palavras em si.

A Grande Troca de Vocabulário

Para entender isso, vamos imaginar o cérebro de um modelo de linguagem como uma gigantesca e mágica pista de dança. Cada vez que o modelo vê uma palavra, ele envia um dançarino para a pista para fazer uma pose. Se o modelo vê a palavra "gato" mil vezes, ele envia mil dançarinos "gato". Mesmo que todos sejam dançarinos "gato", eles podem posar de formas ligeiramente diferentes dependendo da frase em que estão (ex: "O gato dorme" vs. "O gato pula").

Os pesquisadores queriam saber: Como o número de diferentes palavras (diversidade lexical) altera a forma desta pista de dança?

Eles montaram um experimento massivo usando um conjunto de dados de 10.000 amostras. Eles criaram 11 cenários diferentes. Em um cenário, usaram apenas 1 substantivo único (como "gato") repetido 10.000 vezes. Em outro, usaram 10.000 substantivos únicos (como "gato", "cachorro", "elefante", etc.), com cada palavra aparecendo apenas uma vez. Eles então mediram a "Dimensionalidade Intrínseca" (ID) das poses dos dançarinos usando uma régua especial chamada GRIDE.

Os Dois Regimes: O Local vs. O Global

Os resultados foram selvagens. A relação entre o número de palavras únicas e a pontuação de complexidade não apenas subiu ou desceu; ela reverteu dependendo da escala da medição.

1. O Regime Local (O Efeito da "Sala Lotada")
Quando os pesquisadores usaram uma escala de medição pequena (olhando para apenas alguns vizinhos de cada vez) e tinham baixa diversidade lexical (poucas palavras únicas, muitas repetições), algo estranho aconteceu. Quanto menos palavras únicas eles tinham, maior era a pontuação de complexidade.

A Analogia: Imagine uma pista de dança com apenas um tipo de dançarino (digamos, "gatos"). Se você tem 10.000 gatos, eles estão todos amontoados. Mas, como há tantos deles, eles são forçados a encontrar cada maneira sutil e minúscula de posar de forma diferente para evitar esbarrar uns nos outros. A área "local" ao redor de qualquer gato individual está densamente povoada com variações. A régua vê essa variação densa e congestionada e diz: "Uau, este é um espaço muito complexo e de alta dimensionalidade!"
O Resultado: Menos palavras únicas = Maior ID (nesta visão local específica).

2. O Regime Global (O Efeito do "Grande Desfile")
Quando eles mudaram para uma escala de medição maior ou aumentaram o número de palavras únicas, a regra inverteu. Agora, ter mais palavras únicas levava a uma pontuação de complexidade mais alta.

A Analogia: Agora imagine um desfile com 10.000 tipos diferentes de dançarinos (gatos, cachorros, elefantes, astronautas, etc.). Cada tipo tem seu próprio lugar distinto na pista de dança. A área "local" ao redor de qualquer dançarino individual está vazia porque não há outros "gatos" por perto para criar o congestionamento. Em vez disso, a régua olha para todo o desfile e vê que os dançarinos estão espalhados por todo o universo de possibilidades. O espaço é enorme porque há tantos tipos diferentes de coisas.
O Resultado: Mais palavras únicas = Maior ID (nesta visão global).

O Ponto de Virada Mágico

A parte mais emocionante do artigo é que os autores não apenas observaram essa inversão; eles predisseram exatamente onde ela ocorreria.

Eles derivaram uma fórmula simples e perfeita para o "ponto de virada" onde a regra muda de "menos palavras = maior ID" para "mais palavras = maior ID". A mudança ocorre quando o número de palavras únicas ( $n$ ) é igual ao número total de amostras ( $N$ ) dividido pela escala de medição ( $k$ ).

A Fórmula: $n = N / k$
O que significa: Se você está olhando para um bairro de 128 dançarinos ( $k=128$ ) e tem 10.000 amostras totais ( $N=10.000$ ), a mudança acontece quando você tem exatamente 78 palavras únicas ( $10.000 / 128 \approx 78$ ).
A Prova: Eles testaram isso em dois modelos gigantes de IA diferentes (Qwen3-8B e Meta-Llama-3-8B) e descobriram que a mudança aconteceu exatamente nesse número previsto todas as vezes. Não foi um palpite; foi uma certeza matemática baseada em como os dados estão organizados.

Por Que Isso Importa (E Por Que Estávamos Errados)

Esta descoberta é um grande rótulo de aviso para os cientistas que utilizam essas ferramentas. O artigo mostra que, se você comparar dois grupos de palavras sem controlar quantas palavras únicas existem em cada grupo, você pode obter a resposta completamente invertida.

A Armadilha "Substantivo vs. Preposição":
Os autores mostraram um exemplo clássico. Em um texto natural, os "substantivos" (como cachorro, casa, ideia) são milhares de palavras únicas, enquanto as "preposições" (como em, sobre, para) são apenas algumas dezenas.

A Visão Padrão: Se você apenas medir a complexidade dos substantivos versus as preposições, os substantivos parecem viver em um espaço muito mais complexo e de alta dimensionalidade. Você poderia pensar: "Os substantivos são tão ricos e variados!"
A Realidade: Os autores combinaram os dois grupos para que ambos tivessem exatamente 25 palavras únicas. De repente, o resultado inverteu! As preposições agora pareciam mais complexas do que os substantivos.
A Lição: A diferença original não era porque os substantivos eram "melhores" ou "mais complexos". Era um artefato (um erro) causado pelo fato de que os substantivos tinham milhares de tipos únicos e as preposições tinham apenas alguns poucos. A ferramenta de medição estava apenas reagindo à contagem de palavras únicas, não à natureza das palavras.

A Conclusão

Este artigo nos ensina que, quando olhamos para a "forma" do cérebro de uma IA, temos que ser muito cuidadosos sobre o que estamos realmente medindo.

Se você está olhando para um pequeno grupo de palavras repetidas, a pontuação de complexidade diz o quanto o modelo varia sua pose para aquela única palavra em diferentes contextos.
Se você está olhando para um enorme grupo de palavras únicas, a pontuação de complexidade diz o quão espalhado está o vocabulário inteiro.

Estas são duas coisas diferentes. Você não pode compará-las diretamente sem perceber que está medindo dois regimes distintos. Os autores encontraram uma regra matemática precisa para dizer em qual regime você está. É um lembrete de que, no mundo da IA, às vezes os números que parecem mais "complexos" são apenas um reflexo de como configuramos o experimento, não um segredo profundo da mente da máquina. A "verdade" da geometria do modelo depende inteiramente da escala na qual você escolhe olhar.

Resumo Técnico: Regimes Locais e Globais de Complexidade Geométrica em Representações de Modelos de Linguagem

Declaração do Problema

A dimensionalidade intrínseca (ID) tornou-se uma métrica padrão para sondar a complexidade representacional de modelos de linguagem (LMs), sendo frequentemente usada para inferir propriedades de estruturas linguísticas (por exemplo, se substantivos ocupam espaços de maior dimensão do que preposições). No entanto, permanece incerto se as diferenças observadas de ID refletem propriedades linguísticas genuínas ou se são meros artefatos da construção do conjunto de dados, especificamente a diversidade lexical (o número de tipos de palavras únicos).

O artigo destaca um confundimento crítico: comparações entre classes de palavras com tamanhos de vocabulário natural vastamente diferentes (ex: substantivos de classe aberta vs. preposições de classe fechada) sem controlar a diversidade lexical produzem resultados de ID enganosos. Quando a diversidade lexical é controlada, esses resultados podem se inverter, sugerindo que os estimadores de ID padrão podem estar medindo propriedades do conjunto de dados em vez da complexidade geométrica intrínseca das próprias representações.

Metodologia

Os autores isolam a diversidade lexical como uma variável experimental controlada para investigar seu impacto nas estimativas de ID.

Construção do Conjunto de Dados: Usando o WikiText-103, os autores construíram 11 condições distintas, cada uma contendo exatamente $N = 10.000$ amostras. Essas condições variaram sistematicamente no número de substantivos alvo únicos ( $n$ ), variando de 1 substantivo único (repetido 10.000 vezes) a 10.000 substantivos únicos (aparecendo uma vez cada). Crucialmente, o contexto precedendo a palavra alvo foi extraído independentemente do corpus, garantindo que a diversidade lexical fosse isolada à identidade do token alvo.
Modelos: Os experimentos foram conduzidos no Qwen3-8B (primário) e no Meta-Llama-3-8B (para validação de arquitetura cruzada).
Estimativa de ID: O estudo empregou o Estimador de Dimensão Intrínseca de Razões Generalizadas (GRIDE) através de seis escalas de vizinhança ( $k \in \{16, 32, 64, 128, 256, 512\}$ ). O GRIDE estima a ID com base na distribuição das razões de distância entre vizinhos próximos.
Validação: A análise foi replicada usando o Estimador de Máxima Verossimilhança (MLE) e um conjunto de dados diversificado por Classe Gramatical (POS) (incluindo verbos, adjetivos, etc.) para garantir que as descobertas não fossem específicas para substantivos ou para o algoritmo GRIDE.

Principais Descobertas e Resultados

1. Uma Transição Dependente de Escala

O estudo revela uma transição nítida entre dois regimes distintos de comportamento de ID, determinados pela relação entre a escala de vizinhança ( $k$ ) e o número de amostras por palavra ( $m = N/n$ ).

Regime Local ( $k < m$ ): Quando a escala de vizinhança é menor que o número de amostras por palavra, o estimador amostra inteiramente dentro da "nuvem" de um único tipo de palavra. Neste regime, a ID está inversamente relacionada à diversidade lexical: condições com menos palavras únicas (e, portanto, mais amostras por palavra) exibem maior ID. Isso reflete a capacidade do modelo de capturar a variabilidade contextual de itens lexicais individuais.
Regime Global ( $k \ge m$ ): Quando a escala excede o número de amostras por palavra, a vizinhança inevitavelmente inclui diferentes tipos de palavras. Neste regime, a ID está diretamente relacionada à diversidade lexical: condições com mais palavras únicas exibem maior ID. Isso reflete a dispersão geométrica de todo o manifold do vocabulário.

2. O Ponto de Transição Exato

Os autores derivam uma fórmula livre de parâmetros para o ponto de transição onde a ordenação da ID se inverte:
$n_{transition} = \frac{N}{k}$
Resultados empíricos confirmam que essa transição ocorre exatamente neste ponto previsto em todas as escalas, modelos e camadas testadas. Quando as curvas de ID são plotadas contra a razão $k/m$ , os dados de diferentes escalas colapsam em uma única trajetória, cruzando a transição em $k/m = 1$ .

3. Interpretação Geométrica

Regime Local: O estimador mede a "riqueza" da geometria local ao redor de um tipo de palavra específico. Mais amostras permitem uma melhor estimativa da variância contextual da palavra, levando a estimativas de ID mais altas para condições de baixa diversidade.
Regime Global: O estimador mede a geometria do espaço de substantivos mais amplo. À medida que o número de palavras únicas aumenta, o estimador amostra mais direções independentes no espaço de representação, levando a estimativas de ID mais altas para condições de alta diversidade.
Saturação: No regime global, a ID eventualmente satura conforme a "razão global" (a fração de vizinhos pertencentes a diferentes tipos de palavras) se aproxima de 1. Além de certa diversidade lexical, adicionar mais palavras únicas gera retornos decrescentes na estimativa de ID.

4. Reversão de Efeitos Linguísticos Aparentes

O artigo demonstra que a diferença de ID "Substantivo vs. Preposição" observada em comparações sem controle de diversidade lexical (onde substantivos mostram ID mais alta) é um artefato da diversidade lexical. Quando as duas classes são pareadas para tamanho de vocabulário (ex: 25 tipos únicos cada), a relação se inverte, com preposições mostrando ID mais alta. Isso confirma que a diferença original era impulsionada pela construção do conjunto de dados, não pela categoria sintática.

Significância e Alegações

O artigo afirma que as estimativas de ID não são medidas absolutas de complexidade, mas são altamente sensíveis à interação entre a construção do conjunto de dados (diversidade lexical) e a escala do estimador.

Cautela na Interpretação: Pesquisadores devem exercer extremo cuidado ao interpretar diferenças de ID entre categorias (ex: classes de palavras, línguas ou domínios). Se as categorias diferirem em diversidade lexical, as comparações de ID podem ser inválidas, a menos que as condições caiam no mesmo regime (local ou global).
Ferramentas de Diagnóstico: Os autores fornecem uma fórmula ( $n_{transition} = N/k$ ) e um diagnóstico de "fração de mesma palavra" para determinar em qual regime uma condição experimental específica ocupa. Isso permite que pesquisadores verifiquem se estão medindo a variabilidade contextual local ou a estrutura do manifold global.
Estrutura Fractal: A observação de que os perfis de ID (como o "pico" ou "corcova" de camada intermediária) aparecem em ambos os regimes sugere uma organização "fractal-like" dos dados linguísticos em LLMs, onde padrões geométricos semelhantes emergem tanto em escalas estreitas (locais) quanto amplas (globais).
Princípio Geral: A descoberta desses dois regimes revela um princípio geral de como os dados linguísticos são organizados em LLMs, lançando nova luz sobre as estruturas de manifold internas desses modelos.

Os autores concluem que, embora a ID seja uma sonda valiosa, seus valores dependem da "visão" do manifold proporcionada pela escala específica e pela composição do conjunto de dados, e as comparações entre diferentes regimes não são diretas.