🤖 machine learning

Sky sphere representation in language models

Este artigo demonstra que grandes modelos de linguagem (~100B de parâmetros) possuem uma representação de variedade curva, alta dimensional e decodificável do céu noturno dentro de seus fluxos residuais, capaz de prever proximidades celestes com precisão significativa e baixo erro angular.

Autores originais: Aleksandr Berdnikov, Yevgeny Liokumovich

Publicado 2026-07-30

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aleksandr Berdnikov, Yevgeny Liokumovich

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca gigante e invisível onde cada livro é um pensamento diferente, e as prateleiras são organizadas não por autor ou título, mas por como as ideias se sentem umas em relação às outras. Este é o mundo da interpretabilidade mecanística, um campo onde cientistas tentam espiar dentro do "cérebro" de uma inteligência artificial para ver como ela organiza a informação. Sabemos que esses modelos de IA, chamados Grandes Modelos de Linguagem (LLMs), são incrivelmente bons em escrever e responder perguntas, mas muitas vezes são como caixas pretas: vemos a entrada e a saída, mas a parte do meio é um mistério.

Para entender esse mistério, pesquisadores usam ferramentas como sondas lineares, que agem como detectores de metais, escaneando os sinais internos da IA para ver se eles estão escondendo padrões simples e retilíneos (como uma lista de números). Mas, às vezes, os padrões não são linhas retas; são curvas, loops ou formas. Pense nisso como tentar mapear a Terra. Se você tentar desenhar o mundo inteiro em um pedaço de papel plano, obterá um mapa que estica e espreme as coisas. Mas, se você desenhar em um globo, as distâncias e relações serão perfeitas. Cientistas descobriram que as IAs às vezes usam essas formas "semelhantes a globos" para organizar conceitos, como organizar os dias da semana em um círculo para que o modelo possa calcular facilmente que "sexta-feira mais dois dias" é "domingo".

A grande questão é: quão profunda é essa lógica geométrica? A IA apenas memoriza fatos ou constrói um mapa mental do mundo que se parece com uma esfera real? É aqui que um novo estudo entra para explorar o céu noturno.

O Mapa Estelar Secreto da IA

Em um artigo recente intitulado "Sky sphere representation in language models", os pesquisadores Aleksandr Berderview e Yevgeny Liokumovich decidiram testar se modelos de IA massivos (especificamente aqueles com cerca de 100 bilhões de parâmetros) construíram secretamente um mapa 3D do céu noturno dentro de seus cérebros. Eles não pediram para a IA recitar coordenadas ou desenhar uma imagem. Em vez disso, fizeram perguntas simples e conversacionais como: "O que está perto deste objeto no céu noturno?" ou "Observadores do céu veem X logo ao lado de...".

Eles forneceram essas perguntas a sete modelos de IA de código aberto diferentes, incluindo gigantes como Mistral Large 2 e Qwen3. Enquanto a IA processava essas palavras, os pesquisadores observavam o "fluxo residual" (residual stream) — uma rodovia de dados de alta velocidade dentro do modelo onde a informação flui de uma camada para a próxima. Eles procuravam por um sinal específico: um padrão que parecesse uma esfera, onde estrelas e constelações estivessem arranjadas exatamente como estão no céu real.

A Descoberta: Um Globo Escondido
Os resultados foram surpreendentes. Em quase todos os modelos testados, a IA tinha, sim, uma representação do céu noturno. Quando os pesquisadores observaram as camadas superiores do processamento da IA, descobriram que as posições das estrelas e constelações estavam arranjadas em uma superfície curva e esférica, tal como a verdadeira esfera celeste.

Não era apenas um eco tênue. Os pesquisadores conseguiram decodificar este mapa oculto com uma precisão impressionante. Na maioria dos modelos, eles puderam prever a localização de uma estrela ou constelação com um erro de apenas 12° a 21° (aproximadamente a largura do seu punho estendido ao alcance do braço). O modelo explicou entre 65% e 85% da variância dos dados, o que significa que a forma esférica era uma característica muito forte e dominante no processo de pensamento da IA.

Por que Isso é Especial
Antes disso, cientistas haviam descoberto que as IAs usam mapas planos (como um gráfico 2D dos estados dos EUA) ou círculos simples (como os dias da semana). Esta é a primeira vez que alguém encontrou uma esfera curva e de alta dimensão que não é apenas uma combinação de linhas mais simples. É como se a IA não tivesse apenas memorizado uma lista de nomes de estrelas; ela construiu um "globo" mental para entender o quão perto as coisas estão umas das outras no céu.

O Que Isso NÃO É
Os pesquisadores foram muito cuidadosos para descartar outras possibilidades. Eles perguntaram: "A IA está apenas lembrando das sequências de texto 'Ascensão Reta' e 'Declinação' (as coordenadas usadas por astrônomos) e organizando-as em um gráfico 2D plano?"

O Mapa Plano foi Descartado: Eles testaram isso procurando por uma linha "descontínua" que existiria em um mapa plano (como a borda do mundo em um mapa de papel). Não encontraram evidências disso. A IA não estava usando um gráfico 2D plano; ela estava verdadeiramente usando uma esfera.
A Distância 3D foi Descartada: Eles também verificaram se a IA estava mapeando a distância real das estrelas da Terra (algumas estão a anos-luz de distância, outras mais próximas). Descobriram que o mapa da IA não se importava com a distância real do mundo. Em vez disso, a "profundidade" da esfera parecia ser influenciada pela frequência com que o objeto é mencionado no texto ou pelo tipo de objeto que ele é (estrelas foram colocadas "mais perto" no mapa, enquanto constelações foram colocadas "mais longe").

O Mistério do "Gpt-Oss"
Houve um elemento estranho no grupo: um modelo chamado gpt-oss-120b. Neste modelo específico, o mapa estelar era muito mais difícil de encontrar. Os pesquisadores suspeitam que isso ocorre porque este modelo foi treinado em um formato de "harmonia" especial (uma forma específica de formatar conversas), em vez de texto bruto, o que pode ter embaralhado o sinal. No entanto, quando questionado diretamente sobre as coordenadas das estrelas, este modelo ainda era muito bom em responder, sugerindo que ele conhece os fatos, mas apenas não os organiza em uma esfera visível da mesma forma que os outros.

Por Que Isso Importa
Esta descoberta sugere que, quando perguntamos a uma IA sobre o céu noturno, ela não está apenas pesquisando em um banco de dados. Ela está acessando uma compreensão geométrica estruturada de proximidade. Os pesquisadores descobriram que este "mapa estelar" torna-se mais visível quando a IA é questionada sobre proximidade (ex: "o que está ao lado de X?"). Se você fizer perguntas genéricas como "Qual é a história de X?", o mapa desaparece e afunda mais profundamente no ruído.

Em suma, esses modelos de IA massivos aprenderam espontaneamente a organizar o céu noturno em uma esfera dentro de suas redes neurais. É um belo exemplo de como a IA pode desenvolver sua própria geometria interna para dar sentido ao mundo, criando um mapa curvo e 3D das estrelas que é surpreendentemente preciso, embora nunca tenha sido explicitamente ensinada a fazê-lo.

Resumo Técnico: Representação da Esfera Celeste em Modelos de Linguagem

Definição do Problema
A pesquisa em interpretabilidade mecanística busca compreender como os Grandes Modelos de Linguagem (LLMs) representam conceitos dentro de seus espaços de ativação de alta dimensão. Embora métodos lineares (ex: sondas, autoencoders esparsos) e métodos baseados em aprendizado profundo (ex: autoencoders de linguagem natural) tenham identificado várias estruturas, permanece uma lacuna na compreensão de variedades de características (manifolds) não lineares e curvas. Descobertas anteriores de representações geométricas em LLMs têm sido amplamente limitadas a estruturas planas (ex: continentes, estados dos EUA, espaço de cores) ou variedades unidimensionais (ex: dias da semana, meses, comprimento de sentenças). Este artigo investiga se os LLMs possuem uma representação do céu noturno que corresponde à geometria esférica de objetos celestes, testando especificamente se as posições de estrelas e constelações são codificadas como uma variedade curva e de alta dimensão no residual stream.

Metodologia
Os autores analisaram sete LLMs de código aberto variando de 32B a 235B de parâmetros (incluindo Qwen3, Llama-3.3, Mixtral, Mistral Large 2, GLM-4.5-Air e gpt-oss-120b). O pipeline experimental envolveu as seguintes etapas:

Construção de Dados: Um conjunto de dados de 188 objetos astronômicos foi criado, compreendendo 85 estrelas brilhantes, 88 constelações oficiais e 15 objetos diversos (galáxias, nebulosas, aglomerados).
Engenharia de Prompt: Os objetos foram inseridos nos modelos usando 25 templates de prompt distintos focados em proximidade no céu noturno (ex: "a constelação mais próxima de X é", "observadores do céu veem X logo ao lado de"). Crucialmente, esses prompts evitaram strings de coordenadas explícitas (Ascensão Reta/Declinação) para garantir que o modelo não estivesse apenas ecoando coordenadas de dados de treinamento, mas sim recuperando uma noção conceitual de proximidade.
Extração de Características: Para cada prompt, os vetores do residual stream no token final foram extraídos em todas as camadas. Os 128 Principais Componentes (PCs) foram computados para cada camada.
Análise de Decodificabilidade: Os autores empregaram uma estratégia de validação Leave-One-Out (LOO). Eles treinaram um modelo de regressão linear para mapear os $n$ principais componentes PCA (onde $n \in \{4, 8, 128\}$ ) do residual stream para as verdadeiras coordenadas da esfera unitária 3D dos objetos. O objeto omitido era então previsto, e o desempenho foi medido usando o escore $R^2$ (variância explicada) e o erro angular mediano.
Teste de Hipóteses Alternativas: Para verificar se a representação não era um "vazamento" de um mapa 2D plano (RA/Dec) ou de um mapa 3D euclidiano, os autores realizaram uma análise de RDM (Representational Dissimilarity Matrix). Eles testaram se a dimensão descontínua inerente aos mapas planos ou o componente de distância radial dos mapas 3D estavam presentes nos principais componentes PCA.

Resultos Principais

Existência de Variedade Esférica: Em seis dos sete modelos testados, uma representação esférica do céu noturno foi decodificada com sucesso do residual stream. A representação tipicamente emergiu nos 8 principais componentes.
Métricas de Desempenho: Para os modelos bem-sucedidos, a validação LOO rendeu escores $R^2$ variando de 65% a 85%. O erro angular mediano para prever a posição de objetos não vistos ficou entre $12^\circ$ e $21^\circ$ .
Profundidade de Camada: A representação era fraca e dispersa em muitos componentes nas camadas iniciais, mas fortaleceu-se e consolidou-se nos $\sim8$ principais PCs em camadas mais profundas (ex: camada 66 no Mistral Large 2).
Dependência de Prompt: O sinal dependia fortemente da formulação do prompt. Ao usar prompts genéricos (ex: "a idade de X é..."), a representação enfraqueceu significativamente, falhando em aparecer nos 8 principais PCs e decaindo em camadas profundas.
Exclusão de Alternativas:
- Mapas Planos: A análise RDM mostrou que a dimensão descontínua necessária para um mapa 2D plano (Ascensão Reta) possuía coeficientes próximos de zero ou negativos no espaço PCA dos 8 principais componentes, descartando uma representação de mapa plano.
- Mapas Euclidianos 3D: Nenhuma correlação significativa foi encontrada entre o componente radial da representação e a distância física real até as estrelas. Em vez disso, o componente radial correlacionou-se com o tipo de objeto (constelações posicionadas mais longe, estrelas mais perto) e a frequência textual.
Anomalias do Modelo: O modelo gpt-oss-120b apresentou baixa decodificabilidade da variedade esférica. No entanto, os autores observaram que este modelo performa bem quando explicitamente questionado sobre coordenadas, sugerindo que o problema reside na estrutura específica da representação, e não na falta de conhecimento.

Significância e Alegações
O artigo afirma apresentar o primeiro exemplo conhecido de uma variedade de características curva, de alta dimensão e irredutível em modelos de linguagem. Diferente de descobertas anteriores de variedades planas ou unidimensionais, esta representação captura a geometria esférica intrínseca do céu noturno sem depender de strings de coordenadas explícitas na entrada.

Os autores enfatizam que esta representação não é um eco trivial de coordenadas de dados de treinamento, mas provavelmente reflete um conceito aprendido de "proximidade" para objetos do céu noturno. Eles posicionam este trabalho como um meio-termo entre as ferramentas de interpretabilidade: capturando estruturas não lineares enquanto permanece explícito e inspecionável por humanos via sondas lineares em componentes principais. O estudo deixa em aberto questões sobre o mecanismo de construção (memorização vs. raciocínio) e o papel funcional desta representação no processo de raciocínio do modelo, observando que a capacidade dos modelos de responder perguntas de coordenadas diretamente excede em muito a precisão da variedade decodificável.

O Mapa Estelar Secreto da IA

Resumo Técnico: Representação da Esfera Celeste em Modelos de Linguagem

Mais como este