💬 NLP

What Makes Two Language Models Think Alike?

Este artigo introduz um novo método para mapear a atividade neural em características linguísticas interpretáveis para revelar que as semelhanças entre 43 modelos de linguagem diversos são impulsionadas principalmente por sua data de lançamento e família de modelos, em vez de escala ou classe arquitetônica.

Autores originais: Louis Jalouzot, Christophe Pallier, Emmanuel Chemla, Yair Lakretz

Publicado 2026-06-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Louis Jalouzot, Christophe Pallier, Emmanuel Chemla, Yair Lakretz

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma sala cheia de diferentes chefs. Alguns são treinados em culinária francesa, outros em japonesa, e alguns são autodidatas. Todos eles têm o mesmo trabalho: prever o próximo ingrediente em uma receita.

A grande questão que os pesquisadores fizeram é: Esses chefs realmente pensam sobre ingredientes da mesma forma?

Por exemplo, quando um chef vê uma frase como "O gato perseguiu o rato", eles focam no fato de ser uma história sobre animais (sintaxe), ou apenas focam nas palavras específicas "gato" e "rato" (vocabulário)?

O Jeito Antigo: Medindo a "Forma"

Anteriormente, os cientistas tentavam comparar esses chefs (modelos de IA) observando a "forma" de seus pensamentos internos. Imagine tirar uma foto de como cada chef organiza seus ingredientes em um balcão. Se as fotos parecem geometricamente semelhantes, os cientistas assumiam que os chefs pensavam de forma parecida.

Mas isso tinha um problema: era como uma caixa preta. Podia dizer que dois chefs organizavam os ingredientes de forma semelhante, mas não podia explicar o porquê. Talvez ambos agrupassem as coisas por cor, ou talvez ambos agrupassem as coisas por peso. O método antigo não conseguia explicar o "porquê".

O Novo Jeito: A "Assinatura Linguística"

Este artigo introduz uma maneira nova e mais simples de olhar para dentro da mente dos chefs. Em vez de apenas olhar para a forma da organização, eles perguntam: "O quanto cada regra específica importa para este chef?"

Eles criaram uma ferramenta chamada Modelo de Codificação de Aprendizado de Métricas (MLEM). Pense nisso como um tradutor que converte os pensamentos internos bagunçados e complexos do chef em um boletim simples de Características Linguísticas.

Este boletim lista coisas como:

Tempo Verbal: A frase é sobre o passado ou o futuro?
Sujeito: A frase é sobre uma pessoa ou sobre muitas?
Estrutura da Frase: É uma frase simples ou uma complexa com uma "oração relativa" (como "O homem que está usando um chapéu...")?

A ferramenta mede o quanto os pensamentos internos do chef mudam quando essas regras mudam. Se o pensamento do chef salta drasticamente quando você muda do tempo passado para o futuro, essa característica tem uma pontuação alta em seu boletim. Este boletim é chamado de "Assinatura Linguística."

O Experimento: 43 Chefs, 10 Famílias

Os pesquisadores testaram 43 modelos de IA diferentes (os "chefs"). Esses modelos vinham de diferentes "famílias" (como a família Llama, a família GPT ou a família Mamba) e tinham tamanhos diferentes (de minúsculos a gigantescos) e arquiteturas diferentes (formas diferentes de construir o cérebro).

Eles compararam as Assinaturas Linguísticas de cada modelo contra todos os outros.

A Grande Descoberta: É Sobre "Família" e "Era", Não de Tamanho

Os resultados foram surpreendentes. Os pesquisadores descobriram que o que faz dois modelos pensarem de forma semelhante não é o quão grandes eles são, mas sim quem são seus pais e quando eles nasceram.

A Família Importa Mais: Modelos da mesma família (por exemplo, todos os modelos "Llama") tinham assinaturas muito semelhantes, mesmo que um fosse minúsculo e o outro fosse enorme. Eles foram criados com as mesmas "receitas de treinamento" e projetos arquitetônicos, então aprenderam a priorizar as mesmas regras linguísticas.
A Data de Lançamento Importa: A data em que um modelo foi lançado foi o preditor mais forte de similaridade. Isso é como dizer: "Chefs treinados em 2024 pensam mais parecidos do que chefs treinados em 2020". Isso ocorre porque toda a indústria muda suas técnicas juntas ao longo do tempo (novas funções de ativação, melhores dados de treinamento, etc.).
O Tamanho Não dita o Estilo: Simplesmente tornar um modelo maior (adicionando mais parâmetros) não o fazia subitamente começar a pensar como um tipo completamente diferente de modelo. Um modelo pequeno e um gigante da mesma família ainda compartilhavam as mesmas "prioridades linguísticas".

O "Loop" do Pensamento

Os pesquisadores também observaram como essas assinaturas mudavam conforme a informação passava pelas camadas do modelo (como uma mensagem passando por uma corrida de revezamento).

Eles descobriram que modelos da mesma família seguiam o mesmo caminho. Eles começavam com um certo foco, moviam-se para um pico de complexidade nas camadas intermediárias e depois voltavam para um foco mais simples no final. É como um loop. Isso sugere que, embora os modelos sejam de tamanhos diferentes, todos resolvem o problema da linguagem com os mesmos "passos de dança".

A Conclusão

Em resumo, este artigo argumenta que não devemos apenas olhar para o quão "grande" ou "complexo" um IA é para entender como ele pensa. Em vez disso, devemos olhar para sua Assinatura Linguística — um perfil do que as regras que ele mais valoriza.

O estudo mostra que arquitetura e escala são menos importantes do que a "família" e a "geração" do modelo. Dois modelos podem ser construídos de forma diferente e ter tamanhos diferentes, mas se vierem da mesma família e era, provavelmente priorizarão as mesmas características linguísticas, fazendo com que "pensem de forma semelhante".

Resumo Técnico: O Que Faz Dois Modelos de Linguagem Pensarem de Forma Semelhante?

Definição do Problema

Os métodos tradicionais para comparar Grandes Modelos de Linguagem (LLMs) baseiam-se em métricas de similaridade geométrica (ex: Análise de Similaridade Representacional, Análise de Correlação Canônica ou regressão linear) para determinar se dois modelos compartilham espaços representacionais semelhantes. Embora esses métodos possam confirmar que as representações se alinham, eles funcionam como "caixas pretas" que falham em explicar o porquê desse alinhamento. Especificamente, eles não conseguem distinguir se a similaridade surge de estratégias linguísticas explícitas compartilhadas (ex: codificar as mesmas estruturas sintáticas) ou de vieses lexicais superficiais.

Este artigo aborda a questão de saber se os modelos de linguagem convergem no nível algorítmico da hierarquia de Marr (o nível de representações e operações), apesar de escolhas implementacionais divergentes (arquitetura e treinamento). Busca-se identificar quais características linguísticas específicas impulsionam as similaridades e diferenças entre os modelos, indo além da geometria bruta para a interpretabilidade baseada em características.

Metodologia: Similaridade de Assinatura Linguística

Os autores propõem uma abordagem inovadora usando Modelos de Codificação de Aprendizado de Métrica (MLEMs) para mapear a atividade neural em características linguísticas interpretáveis.

Modelos de Codificação de Aprendizado de Métrica (MLEMs):
- Em vez de prever características a partir da atividade neural (decodificação) ou ajustar modelos de codificação univariados a neurônios individuais, os MLEMs aprendem uma função de distância sobre um conjunto de características de estímulos interpretáveis (ex: tempo verbal, número do sujeito, tipo de oração relativa).
- O modelo aprende uma matriz simétrica definida positiva $W$ que pondera características individuais e suas interações.
- O objetivo é maximizar a correlação de Spearman entre as distâncias pareadas das incorporações neurais ( $D_N$ ) e as distâncias pareadas dos vetores de características ( $D_F$ ) ponderadas por $W$ . Isso preserva a topologia relativa dos estímulos em vez de escalas absolutas.
Assinaturas Linguísticas (Perfis de Importância de Características):
- Para cada camada de um modelo de linguagem, os autores computam as Importâncias de Características (FIs). Estas são definidas como a diminuição média na pontuação de correlação de Spearman do MLEM quando a matriz de distância de uma característica específica é permutada aleatoriamente.
- Este vetor de FI constitui a assinatura linguística da camada, quantificando o quanto cada característica linguística impulsiona a organização das distâncias neurais naquela camada.
- A assinatura global de um modelo é definida pelo perfil desses FIs por camada.
Medição de Similaridade:
- Nível de Camada: As assinaturas de duas camadas específicas são comparadas usando distância euclidiana (L2).
- Nível de Modelo: Para comparar modelos inteiros com diferentes números de camadas, os autores utilizam Dynamic Time Warping Multidimensional (DTW). Isso alinha os perfis de importância de características ao longo do eixo de profundidade, permitindo a comparação de modelos com diferentes contagens de camadas ou pontos de emergência de características deslocados.
- Modelagem Preditiva: Um segundo MLEM é treinado na matriz de similaridade de nível de modelo resultante para determinar quais propriedades do modelo (ex: arquitetura, escala, data de lançamento) melhor predizem a similaridade da assinatura linguística.

Configuração Experimental

Modelos: 43 modelos de linguagem autorregressivos de 10 famílias, cobrindo de 100M a 14B de parâmetros.
Arquiteturas: Transformers Decoders (ex: GPT-2, Llama-3.2, OLMo-2), Modelos de Espaço de Estados (Mamba, Mamba-2) e Redes Neurais Recorrentes (RWKV-7).
Dataset: Um dataset sintético de 7.7k sentenças geradas via Gramáticas Livres de Contexto (dataset de Orações Relativas), balanceado para mitigar correlações entre 12 características linguísticas (incluindo propriedades sintáticas, locais de anexação e frequências lexicais).
Avaliação: Os estados ocultos do último token foram extraídos para todos os modelos.

Principais Resultados

1. Dinâmica de Camada

Desempenho de Codificação: O desempenho do MLEM (correlação de Spearman) segue um perfil consistente através dos modelos: baixo em camadas rasas e profundas, atingindo o pico em camadas médias (0.5–0.7). Isso se alinha com descobertas anteriores de que a informação sintática é processada principalmente em camadas médias.
Evolução de Características: Características sintáticas (Tipo de Oração Relativa, Local de Anexação) mostram pico de importância nas camadas médias.
Trajetórias de Família: Modelos dentro da mesma família traçam trajetórias notavelmente semelhantes em um espaço PCA compartilhado de assinaturas linguísticas, mesmo quando diferem significativamente em contagem de parâmetros e profundidade. Algumas famílias exibem trajetórias "em loop", onde as camadas finais retornam próximo às assinaturas das camadas iniciais, potencialmente refletindo restrições impostas pelo objetivo de previsão do próximo token.

2. Impulsionadores da Similaridade de Modelo

Impulsionadores Primários: A similaridade entre as assinaturas linguísticas dos modelos é impulsionada fortemente pela data de lançamento e pela família do modelo.
- A Data de Lançamento atua como um proxy para o desenvolvimento geral de LLMs, resumindo mudanças correlacionadas em arquitetura, normalização, codificação posicional e dados de treinamento.
- A Família do Modelo indica que as assinaturas linguísticas são moldadas por linhagens arquiteturais específicas, e não apenas pela escala.
Impulsionadores Secundários/Menores: Contagem de parâmetros, contagem de tokens de treinamento e profundidade fazem contribuições menores.
Classe de Arquitetura: Uma vez que a família e a data de lançamento são contabilizadas, a classe de arquitetura ampla (Transformer vs. SSM vs. RNN) contribui pouco para explicar a similaridade.

3. Convergência vs. Divergência

Os resultados apoiam uma versão parcial da Hipótese da Representação Platônica. Embora diferentes arquiteturas possam compartilhar perfis representacionais, elas não colapsam para um único ponto final conforme a escala aumenta. Em vez disso, a convergência é estruturada pela família do modelo e geração.
A análise de nível de característica confirma que assinaturas semelhantes correspondem à organização real do espaço neural em relação às principais características (validado via Escalonamento Multidimensional), enquanto assinaturas dissimilar mostram padrões de agrupamento distintos.

Significância e Alegações

O artigo afirma fornecer um método para ligar descrições simbólicas teoricamente motivadas diretamente às representações neurais. Ao mudar de comparações geométricas brutas para similaridade baseada em características, a abordagem:

Explica o Alinhamento: Vai além de afirmar que os modelos são semelhantes para explicar o porquê (isto é, eles priorizam as mesmas variáveis linguísticas).
Desafia a Primazia de Escala/Arquitetura: Sugere que a "maneira" como os modelos de linguagem resolvem o processamento de linguagem é moldada mais pela família do modelo e geração (data de lançamento) do que pela escala ou classes arquiteturais específicas.
Generalização: Os autores postulam que este framework de comparação baseado em características pode ser estendido para outros domínios (fala, visão) e outros sistemas neurais (cérebros biológicos) sempre que os estímulos puderem ser pareados com características teóricas explícitas.

O trabalho não afirma resolver o problema da interpretabilidade inteiramente, mas oferece uma métrica interpretável específica para comparar as "prioridades linguísticas" de diferentes sistemas neurais.