💬 NLP

A Hyperbolicity Atlas of Large Language Model Hidden States

Este artigo apresenta o primeiro estudo sistemático demonstrando que a hiperbolicidade de Gromov nos estados ocultos de LLMs é impulsionada primariamente pela profundidade da camada — atingindo o pico nas camadas médias e tornando-se mais semelhante a uma árvore nas camadas finais — em vez da escala do modelo, oferecendo um diagnóstico prático para compreender estruturas de distância hierárquica através de diferentes famílias de modelos e domínios de entrada.

Autores originais: Zhichao Yang, Yuanze Hu, Gen Li, Qingchen Yu, Shiying Duan, Xinyu Wang, Ye Qiu, Zeming Liu, Guangxu Chen, Zhaoxin Fan

Publicado 2026-09-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhichao Yang, Yuanze Hu, Gen Li, Qingchen Yu, Shiying Duan, Xinyu Wang, Ye Qiu, Zeming Liu, Guangxu Chen, Zhaoxin Fan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Dentro dos computadores que alimentam a inteligência artificial moderna, existe um mundo oculto de números. Quando essas máquinas leem uma frase ou processam uma pergunta, elas não armazenam as palavras como texto. Em vez disso, elas traduzem cada palavra em uma longa lista de números, um vetor, que existe em um vasto espaço multidimensional. Por anos, cientistas souberam que as coisas que essas máquinas processam — como a estrutura de uma árvore genealógica, as etapas em um programa de código ou a lógica de uma história — são frequentemente hierárquicas. Elas têm um topo, uma base e muitos ramos entre eles. Uma questão natural surgiu: será que as listas internas de números que a máquina cria para entender essas coisas também se organizam em uma forma semelhante a uma árvore? Se o mapa interno da máquina parecer uma árvore, isso pode significar que o computador está organizando a informação de uma forma que espelha as estruturas complexas da linguagem e da lógica humana. Para responder a isso, pesquisadores recorreram a um conceito matemático chamado hiperbolicidade, que atua como uma régua para medir o quão "semelhante a uma árvore" é uma coleção de pontos. Uma pontuação baixa significa que os pontos estão organizados em uma hierarquia limpa e ramificada, enquanto uma pontuação alta significa que eles estão espalhados de uma forma mais caótica e plana.

Uma equipe de pesquisadores de Pequim e Guangzhou propôs-se a mapear essa geometria oculta nos modelos de linguagem mais avançados disponíveis hoje. Eles não construíram uma nova máquina nem alteraram o funcionamento das existentes. Em vez disso, atuaram como cartógrafos, pegando dez modelos diferentes de código aberto e submetendo-os a quatro tipos de tarefas muito diferentes: resolver problemas matemáticos, escrever códigos de computador, responder perguntas sobre senso comum e julgar a veracidade de afirmações. Para cada única palavra nos comandos de entrada, eles mediram a distância entre as listas de números que a máquina criou. Eles fizeram isso para mais de 800.000 medições específicas, cobrindo dez modelos diferentes de vários tamanhos e cada camada de processamento dentro de cada máquina. O objetivo era criar um atlas, um mapa detalhado mostrando exatamente onde a estrutura interna dessas máquinas se parece com uma árvore e onde não se parece.

A descoberta mais marcante foi que o tamanho da máquina importava muito menos do que o lugar onde você olhava dentro dela. Muitas pessoas assumem que um modelo maior, com mais parâmetros, é automaticamente "mais inteligente" ou mais estruturado. Os pesquisadores descobriram que isso é amplamente falso. Simplesmente tornar um modelo maior não tornou sua estrutura interna consistentemente mais parecida com uma árvore. Em alguns casos, um modelo maior era, na verdade, menos organizado do que um menor, e em outros, era mais organizado. O verdadeiro padrão emergiu quando observaram a profundidade do processamento da máquina. À medida que a informação se movia da primeira camada da rede para o meio, a estrutura tornava-se desordenada e plana, perdendo sua forma de árvore. Os números nas camadas intermediárias estavam aglomerados e complexos, refletindo uma mistura de muitos tipos diferentes de informação. No entanto, conforme os dados chegavam às camadas finais, pouco antes de a máquina produzir uma resposta, a estrutura mudava dramaticamente. Os números retornavam a um arranjo muito mais claro e semelhante a uma árvore. Isso sugere que a máquina começa com uma mistura caótica de possibilidades e depois as comprime em uma forma estruturada logo no final.

Os pesquisadores também descobriram que o tipo específico de modelo e a tarefa para a qual foi treinado mudavam o mapa significativamente. Dois modelos do mesmo tamanho podem ter geometrias internas completamente diferentes dependendo de seu treinamento. Por exemplo, um modelo especializado em escrever código mostrou uma estrutura de árvore muito forte ao processar tarefas de programação, mas um modelo treinado para matemática geral não mostrou o mesmo padrão, mesmo ao ser solicitado para resolver problemas matemáticos. Na verdade, o modelo especializado em código tornou a estrutura dos comandos de código mais parecida com uma árvore do que o modelo geral, enquanto o modelo especializado em matemática manteve sua estrutura mais complexa. Isso significa que a "forma" do pensamento da máquina não é uma propriedade fixa de seu tamanho, mas um resultado flexível de como ela foi treinada e do que está fazendo no momento.

Em última análise, este estudo fornece uma nova maneira de entender como a inteligência artificial organiza a informação. Ele mostra que o mundo interno desses modelos não é uma paisagem estática e uniforme. Em vez disso, é uma jornada dinâmica onde a informação começa em um estado complexo e plano, vaga por uma seção central congestionada e finalmente se estabelece em uma forma estruturada, semelhante a uma árvore, ao final. Os pesquisadores concluem que olhar apenas para a resposta final ou para o tamanho total de um modelo não é suficiente para compreender seus processos internos. Para realmente ver como essas máquinas pensam, deve-se observar o caminho que a informação percorre, notando que as mudanças estruturais mais importantes acontecem nos momentos finais antes de uma decisão ser tomada. Este mapa oferece uma ferramenta prática para que os cientistas vejam onde esses modelos estão organizando seus pensamentos e onde ainda estão lutando, revelando que a geometria da inteligência é muito mais matizada do que uma simples medida de tamanho poderia mostrar.

Resumo Técnico: Um Atlas de Hiperbolicidade dos Estados Ocultos de Grandes Modelos de Linguagem

Declaração do Problema
Embora os Grandes Modelos de Linguagem (LLMs) armazenem informações de tokens em vetores euclidianos, as estruturas semânticas e sintáticas que eles processam (ex: taxonomias, implicação, árvores sintáticas) são inerentemente hierárquicas. A geometria hiperbólica é teoricamente bem adequada para representar tais hierarquias com baixa distorção. No entanto, uma questão crítica permanece aberta: mesmo quando os LLMs não são explicitamente treinados em variedades hiperbólicas, seus estados ocultos internos exibem uma organização métrica do tipo árvore? As análises de representação existentes (probing, anisotropia, dimensão intrínseca) caracterizam a dispersão ou a complexidade local, mas não testam diretamente se as distâncias entre os estados ocultos se comportam como uma hierarquia. Este artigo aborda essa lacuna investigando sistematicamente se os estados ocultos de tokens de prompts exibem Hiperbolicidade de Gromov (HG).

Metodologia
Os autores constroem um "Atlas de Hiperbolicidade" medindo a Hiperbolicidade de Gromov normalizada ( $\delta_{rel}$ ) através de quatro eixos: escala de parâmetros, profundidade de camada, família de modelos e domínio de entrada.

Métrica: O estudo utiliza a condição de quatro pontos para a Hiperbolicidade de Gromov. Para uma quadrupela de pontos, $\delta$ é calculado como metade da diferença entre a maior e a segunda maior soma das distâncias parciais. Para permitir a comparação entre modelos com diferentes dimensões ocultas, os autores utilizam um estatístico normalizado pelo diâmetro: $\delta_{rel}(X) = \hat{\delta}(X) / \text{diam}(X)$ , onde $X$ é um conjunto de vetores de estados ocultos. Um $\delta_{rel}$ mais baixo indica uma estrutura mais próxima de uma métrica de árvore.
Escopo de Dados: A análise abrange 818.904 medições de amostra-camada de dez checkpoints de pesos abertos (Llama, Qwen2.5, Qwen2.5-Math, Qwen2.5-Coder, DeepSeek-R1-Distill-Qwen) variando de 1,5B a 8B parâmetros.
Domínios: Os experimentos utilizam quatro conjuntos de dados distintos: MATH500 (raciocínio matemático), HumanEval (geração de código), WinoGrande (resolução de pronome de senso comum) e TruthfulQA (veracidade).
Design Experimental: Crucialmente, o estudo mede apenas os estados ocultos do prompt. As respostas geradas são excluídas para garantir que as propriedades geométricas reflitam a distribuição de entrada, em vez de serem confundidas pelo comprimento da decodificação, correção da resposta ou comportamentos de geração específicos do modelo.
Protocolo: Para cada prompt e camada, 2.000 quadrupelas de estados ocultos de tokens são amostradas para estimar $\delta_{rel}$ . Comparações estatísticas utilizam medianas e intervalos interquartis, com testes de postos sinalizados de Wilcoxon para comparações de camadas pareadas e testes de Kruskal–Wallis para comparações de famílias/domínios não pareados.

Principais Resultados
O estudo produz quatro conclusões primárias sobre a geometria dos estados ocultos de LLMs:

Efeitos de Escala são Fracos e Não Monotônicos: A contagem de parâmetros por si só é um preditor ruim de hiperbolicidade. Embora a trilha "base" mostre um leve deslocamento para estruturas menos semelhantes a árvores (maior $\delta_{rel}$ ) em tarefas formais (MATH500, HumanEval), ela se desloca para estruturas mais semelhantes a árvores em tarefas de senso comum. Inversamente, modelos especializados em matemática mostram um aumento de $\delta_{rel}$ através dos domínios conforme a escala cresce. O efeito agregado é pequeno e mascara reversões significativas específicas de domínio.
A Profundidade Domina a Geometria: A profundidade da camada é o fator mais estável. Os estados ocultos seguem uma trajetória consistente de três partes:
- Camadas iniciais: Sensíveis à entrada e à tokenização.
- Camadas intermediárias: Formam um platô de alto $\delta_{rel}$ (próximo a 1,0), indicando uma organização altamente não-arbórea onde múltiplas restrições relacionais estão simultaneamente ativas.
- Camadas finais: Exibem uma queda acentuada em $\delta_{rel}$ , movendo-se para uma estrutura mais semelhante a uma árvore. Essa queda é consistente entre modelos e domínios, embora a magnitude varie.
Famílias Correspondentes Ocupam Regimes Distintos: Em escalas de parâmetros correspondentes (ex: 7B/8B), diferentes famílias de modelos exibem perfis geométricos significativamente distintos. Por exemplo, modelos Llama mostram consistentemente um $\delta_{rel}$ de camada final menor do que variantes Qwen. Além disso, a especialização importa mais do que a escala: um modelo especializado em código (Qwen2.5-7B-Coder-Instruct) organiza prompts de código (HumanEval) em uma estrutura altamente semelhante a uma árvore ( $\delta_{rel} \approx 0,438$ ), enquanto o modelo base e os modelos especializados em matemática tratam os mesmos prompts como menos semelhantes a árvores.
Domínios Interagem com Especialização: A relação entre um conjunto de dados e a hiperbolicidade não é fixa; ela depende do histórico de treinamento do modelo. Prompts de código tornam-se semelhantes a árvores especificamente no modelo de programador (coder), enquanto a especialização em matemática não reduz universalmente o $\delta_{rel}$ em todos os domínios. Isso sugere que um $\delta_{rel}$ mais baixo é um alinhamento entre a organização representacional aprendida por um modelo e a distribuição específica do prompt.

Significância e Alegações
O artigo posiciona a Hiperbolicidade de Gromov não como uma prova de raciocínio simbólico ou um identificador de circuito causal, mas como uma ferramenta de diagnóstico prática. Sua significância reside na sua capacidade de:

Mapear onde as estruturas de distância hierárquica aparecem e desaparecem dentro da profundidade de um modelo.
Revelar como a especialização (ex: codificação vs. matemática) reorganiza a geometria de domínios específicos.
Demonstrar que comparações de modelos baseadas apenas na contagem de parâmetros são insuficientes; família e especialização são variáveis críticas.

Os autores argumentam que a hiperbolicidade deve ser interpretada como uma propriedade do modelo–camada–domínio, e não como um atributo estático de um modelo. A abordagem de "atlas" fornece um framework necessário para entender que a organização geométrica dos estados ocultos é uma trajetória (movendo-se de um alto $\delta_{rel}$ em camadas médias para um $\delta_{rel}$ mais baixo em camadas finais) que é modulada por objetivos de treinamento e domínios de entrada. Este trabalho complementa as análises geométricas existentes ao oferecer uma métrica de semelhança de árvore baseada em distância que é comparável entre diversas arquiteturas e escalas de modelos.

Mais como este