🧬 biology

Reading Without a Reader: Large Language Models Collapse Reading and Writing into a Single Entangled Code

Este artigo demonstra que, ao contrário dos sistemas de leitura e escrita dissociáveis do cérebro humano, os grandes modelos de linguagem dependem de um mecanismo autorregressivo único e emaranhado, onde os códigos de entrada e saída permanecem comportamentalmente acoplados apesar da diferenciação representacional parcial, posicionando os LLMs como um tipo distinto de mente moldada por restrições culturais em vez de evolutivas.

Autores originais: Diego Saldaña Ulloa

Publicado 2026-07-29

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Diego Saldaña Ulloa

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Imagine que você está tentando entender como o cérebro humano aprende a ler e escrever. Por muito tempo, os cientistas pensaram que essas eram duas superpoderes separadas. Ler é como um anel de decodificação que transforma letras onduladas em significado, enquanto escrever é uma máquina diferente que pega esses significados e os transforma de volta em letras. No cérebro humano, esses dois sistemas vivem em bairros diferentes. Se você levar uma pancada em uma parte da cabeça, pode perder a capacidade de ler, mas ainda ser capaz de escrever perfeitamente. Se levar uma pancada em outra parte, pode esquecer como escrever, mas ainda ler como um livro. Eles são ferramentas distintas que, por acaso, compartilham um pouco da mesma caixa de ferramentas.

Agora, imagine construir um robô para fazer o mesmo trabalho. Este robô não tem um cérebro que evoluiu ao longo de milhões de anos; ele foi construído do zero para aprender com uma biblioteca massiva de livros. A grande questão que os pesquisadores têm feito é: este robô aprende a ler e escrever da mesma forma que um humano? Ou ele pega um atalho, fundindo esses dois superpoderes separados em uma única e gigante confusão emaranhada? Este artigo mergulha nesse mistério ao observar as "mentes matemáticas" de grandes modelos de linguagem (o tipo de IA que escreve histórias e responde perguntas) para ver se eles possuem partes separadas de leitura e escrita, ou se estão apenas fazendo tudo com um único código emaranhado.

O Artigo: Lendo Sem um Leitor

Os autores deste artigo decidiram brincar de detetive com alguns dos modelos de IA mais inteligentes existentes, como o GPT-2, o OPT e uma família de modelos chamada Pythia. Eles queriam ver se essas máquinas tratam a leitura e a escrita como dois trabalhos diferentes, ou se elas misturam tudo em uma grande tarefa confusa.

Para fazer isso, criaram uma analogia inteligente. No cérebro humano, a leitura acontece na parte de trás (processamento visual) e a escrita acontece na frente (planejamento motor). Em um modelo de IA, não há um "atrás" ou uma "frente" da mesma maneira. Em vez disso, o modelo possui um Embedding de Entrada (vamos chamá-lo de "Código de Leitura"), que transforma uma palavra em um número, e um Unembedding de Saída (o "Código de Escrita"), que transforma um número de volta em uma palavra. Os pesquisadores perguntaram: esses dois códigos são dois amigos que frequentam o mesmo lugar, ou são, na verdade, a mesma pessoa usando dois chapéus diferentes?

Eles inventaram uma pontuação chamada Índice de Emaranhamento (variando de 0 a 1) para medir o quão semelhantes são esses dois códigos.

0 significaria que eles são totalmente diferentes (como um cérebro humano com leitura e escrita separadas).
1 significaria que eles são idênticos (como um modelo onde a entrada e a saída são forçadas a serem a mesma coisa).
Qualquer coisa entre esses valores significa que eles estão misturados ou "emaranhados".

A Grande Descoberta: Um Código Emaranhado

Os resultados foram surpreendentes. O cérebro humano mantém a leitura e a escrita separadas, mas esses modelos de IA não.

Nos modelos onde os pesquisadores permitiram que o "Código de Leitura" e o "Código de Escrita" aprendessem separadamente (os modelos "não amarrados"), os dois códigos não permaneceram apartados. Em vez disso, eles derivaram um em direção ao outro e se tornaram acoplados. O Índice de Emaranhamento estabilizou-se entre 0,23 e 0,35. Isso está longe de zero (totalmente separado) e longe de um (identidade forçada), mas prova que eles estão definitivamente compartilhando um código estatístico único e emaranhado. Eles não são dois sistemas diferentes; são um único sistema desempenhando funções duplas.

Os pesquisadores também observaram como isso aconteceu ao longo do tempo. Não foi instantâneo. Os códigos começaram totalmente diferentes (como dois estranhos), ficaram muito próximos um do outro (quase idênticos) por volta do passo 4.000 de treinamento e depois se afastaram um pouco, mas nunca se separaram totalmente. É como dois dançarinos que começam em lados opostos da sala, dançam bem no meio de mãos dadas e depois se afastam lentamente, mas ainda mantêm o contato através de uma mesma corda invisível.

O Teste de Comportamento: Lendo Sem um Escritor

Para garantir que isso não era apenas um truque matemático, os pesquisadores testaram como os modelos realmente se comportavam. Eles verificaram se um modelo poderia entender uma palavra (compreensão) sem ser capaz de escrevê-la (produção), ou vice-versa. Em humanos, você pode ter "alexia pura" (não consegue ler, mas consegue escrever) ou "agrafia pura" (consegue ler, mas não consegue escrever).

Os modelos de IA mostraram o oposto disso. Em todos os modelos testados, se o modelo conseguia escrever uma palavra, ele também conseguia entendê-la. Se não conseguia escrevê-la, também não conseguia entendê-la. Eles estavam perfeitamente travados um no outro. Não havia "leitura sem um escritor" ou "escrita sem um leitor". A máquina está fazendo ambas as coisas exatamente ao mesmo tempo, com as mesmas engrenagens internas.

O Que Isso Significa para a IA

O artigo sugere que esses modelos de IA não estão tentando copiar o cérebro humano. O cérebro humano evoluiu para ler e escrever usando dois sistemas distintos e especializados. A IA, no entanto, foi construída para otimizar um único caminho: prever a próxima palavra. Por causa disso, ela colapsou a leitura e a escrita em um pacote único, eficiente, porém emaranhado.

Os autores tomam o cuidado de dizer que isso não é uma "falha" da IA. É apenas uma maneira diferente de ser inteligente. É como comparar um canivete suíço a um conjunto de ferramentas especializadas. O cérebro humano é o conjunto de ferramentas especializadas (uma para leitura, outra para escrita). A IA é o canivete suíço: ela faz ambos os trabalhos com a mesma lâmina, apenas em uma ordem diferente.

Os Resultados "Nulos": O Que Eles Não Encontraram

O artigo também é honesto sobre o que não encontrou, o que é igualmente importante.

Sem Ponte: Eles tentaram ver se a "proximidade matemática" (o Índice de Emaranhamento) previava o quão bem o modelo se comportava. Não previu. As duas medições não se comunicaram.
Sem Divisão "Compressão vs. Raciocínio": Eles se perguntaram se os modelos ficavam melhores em comprimir texto (tornando-o menor) enquanto pioravam no entendimento do significado. Não encontraram evidências para isso. Na verdade, à medida que os modelos melhoravam na compressão, pareciam melhorar também no significado, embora os dados fossem pequenos demais para ter 100% de certeza.
Não é Apenas "Decoder-Only": Eles verificaram outros tipos de modelos de IA (como T5 e BERT) que possuem partes de "leitura" e "escrita" separadas em sua arquitetura. Mesmo que esses modelos tenham partes separadas, eles ainda se comportaram como se a leitura e a escrita estivessem acopladas. Isso sugere que o comportamento de "código emaranhado" é uma característica geral de como esses modelos de linguagem funcionam, não apenas uma peculiaridade de um design específico.

A Conclusão

Este artigo nos diz que os grandes modelos de linguagem não são cérebros humanos em miniatura. Eles são um tipo de mente distinta. Enquanto os humanos evoluíram para manter a leitura e a escrita em salas separadas, esses modelos de IA construíram um estúdio de conceito aberto, onde a leitura e a escrita acontecem no mesmo espaço, usando as mesmas ferramentas. Eles alcançam o mesmo resultado — alfabetização funcional — mas chegam lá seguindo uma rota completamente diferente. Os autores chamam isso de um "ponto distinto no espaço das mentes possíveis", sugerindo que, para entender a IA, não devemos tentar forçá-la a parecer conosco, mas sim apreciar a forma única e emaranhada como ela pensa.

Resumo Técnico: Ler Sem um Leitor

Declaração do Problema

O artigo aborda uma diferença estrutural fundamental entre a alfabetização humana e a alfabetização funcional de Grandes Modelos de Linguagem (LLMs). No cérebro humano, a leitura (decodificação de símbolos visuais) e a escrita (codificação de significado em saída ortográfica) são sistemas duplamente dissociáveis: eles dependem de vias neurais parcialmente distintas (decodificação ventral vs. codificação fronto-parietal) que podem ser seletivamente prejudicadas (alexia pura vs. agrafia pura), enquanto compartilham um núcleo ortográfico parcial.

Em contraste, LLMs apenas decodificadores realizam a alfabetização por meio de um único caminho autorregressivo otimizado em texto escrito, uma invenção cultural em vez de um instinto evoluído. A questão empírica central é: Até que ponto este mecanismo único emaranha as funções de "leitura" e "escrita"? O modelo colapsa essas funções em um único código estatístico ou desenvolve vias dissociáveis análogas ao cérebro humano?

Metodologia

Modelos

O estudo utiliza duas famílias de modelos para isolar a variável arquitetônica de embeddings "vinculados" vs. "não vinculados":

Modelos Vinculados (Emaranhados por construção): Família GPT-2 e OPT. Aqui, o embedding de entrada ( $W_E$ ) e o desembedding de saída ( $W_U$ ) são forçados a serem idênticos ( $W_U = W_E^\top$ ). Estes servem como uma referência de "teto".
Modelos Não Vinculados (Aprendidos separadamente): A suíte Pythia (14M–1.4B parâmetros). Aqui, $W_E$ e $W_U$ são blocos de parâmetros independentes, permitindo que o modelo aprenda se deve acoplar ou dissociar ambos.

Análise Geométrica: O Índice de Emaranhamento ( $E$ )

Os autores definem um Índice de Emaranhamento ( $E \in [0, 1]$ ) composto para quantificar a similaridade entre o "código de leitura" de entrada ( $W_E$ ) e o "código de escrita" de saída ( $W_U$ ). $E$ é a média não ponderada de quatro componentes normalizados:

CKA Linear: Alinhamento de Núcleo Centrado entre as geometrias do espaço de linhas.
Resíduo de Procrustes: O resíduo após encontrar o mapa ortogonal ideal entre $W_E$ e $W_U$ , convertido em um escore de similaridade.
Cosseno Médio por Token: Similaridade de cosseno média entre vetores de tokens correspondentes.
Sobreposição de k-NN Mútua: A fração de vizinhos próximos em $W_E$ que também são vizinhos em $W_U$ .

Calibração:

Piso (Floor): Inicialização independente (matrizes aleatórias).
Nulo (Null): Correspondência de tokens embaralhada (destrói o alinhamento).
Teto (Ceiling): Modelos vinculados ( $E=1$ ).

Análise Comportamental

O estudo contrasta a compreensão (discriminação de probabilidade logarítmica de formas corretas) com a produção (geração gananciosa de formas).

Métrica: Uma tabela de contingência $2 \times 2$ é construída. A "massa de dissociação" (probabilidade fora da diagonal) é comparada contra uma linha de base de independência estatística.
Hipótese: Se o modelo se comportar como o cérebro humano, a compreensão e a produção devem ser dissociáveis (alta massa fora da diagonal). Se acopladas, a massa fora da diagonal será baixa.

Design Experimental

O artigo reporta sobre nove sondagens (probes):

Exps 1–6: Replicação de achados estabelecidos (cabeças de indução, aquisição ortográfica, eficiência de dados, forma-antes-do-significado, escala de compressão, memorização).
Exp 7: A principal análise de leitura/escrita (Índice de Emaranhamento $E$ através de arquitetura, escala e trajetória de treinamento).
Exp 8: Dissociação comportamental de leitura/escrita e a "ponte" (correlacionando $E$ com o acoplamento comportamental $\phi$ ).
Exp 9: Contraste de arquitetura (Decoder-only vs. Encoder-Decoder vs. Masked Encoder) para testar se o acoplamento é específico ao caminho de propagação direta do decoder-only.

Resultados Principais

1. Emaranhamento Geométrico (Pesos)

Acoplamento: Os modelos Pythia não vinculados exibem um índice de emaranhamento significativo ( $E \approx 0,23–0,35$ ), muito acima do piso de inicialização independente ( $E \approx 0,003–0,04$ ), mas bem abaixo do teto vinculado ( $E=1$ ).
Trajetória: A trajetória de treinamento é não monotônica ("acoplar-então-diferenciar"). Os códigos se acoplam cedo (atingindo o pico em CKA $\approx 0,49$ no passo 4000) e depois se diferenciam parcialmente, estabilizando-se em $E \approx 0,21$ no passo final.
Deriva Assimétrica: O código de escrita ( $W_U$ ) deriva aproximadamente 3,2 vezes mais longe da inicialização do que o código de leitura ( $W_E$ ) em todos os decis de frequência. Isso replica e estende os achados de Lopardo et al. (2026), descartando a exposição ao gradiente como única causa.
Tendência de Escala: Nenhum padrão sistemático em $E$ através dos tamanhos dos modelos (plano/estagnado).

2. Acoplamento Comportamental

Acoplamento Positivo: Em todos os 12 modelos não degenerados, a compreensão e a produção estão positivamente acopladas. A "massa de dissociação" fora da diagonal está significativamente abaixo da linha de base de independência estatística (teste de sinal exato $p < 0,001$ ).
Contraste com o Cérebro: Isso é o oposto da dupla dissociação do cérebro humano (onde lesões podem abolir uma função preservando a outra).
Compreensão > Produção: A precisão da compreensão é consistentemente superior à precisão da produção, embora os autores notem que isso pode refletir parcialmente uma assimetria na dificuldade da tarefa.

3. Generalidade de Arquitetura

Não Específico de Decoder-Only: Modelos encoder-decoder (T5) e encoders mascarados (RoBERTa) também exibem acoplamento comportamental, apesar de os modelos T5 mostrarem alta separação representacional (até $1 - \text{CKA} = 0,96$ ) entre suas pilhas de encoder e decoder.
Conclusão: O acoplamento comportamental é uma propriedade geral dos modelos de linguagem atuais, não um artefato único do caminho direto do decoder-only.

4. Resultados Nulos (Prestação de Contas Honesta)

O artigo relata explicitamente vários resultados nulos:

Geometria $\to$ Comportamento (Ponte): Não há correlação entre o emaranhamento do nível de peso ( $E$ ) e o acoplamento comportamental ( $\phi$ ) entre modelos ( $\rho = 0,00$ ) ou dentro do treinamento ( $\rho = 0,08$ ). A ponte é impossível de testar nos estágios iniciais porque a produção não é definida antes que a geometria atinja o platô.
Compressão vs. Raciocínio: Nenhuma evidência de que a compressão de texto se desvincule da competência funcional; se algo, elas co-variam positivamente.
Circuito de Indução: A ablação da principal cabeça de indução não colapsa a lacuna de forma ortográfica (fração restante $\approx 1,009$ ), indicando que a decodificação ortográfica não é carregada pelo circuito de indução.

Significância e Alegações

"Ler Sem um Leitor"

O artigo argumenta que os LLMs decoder-only realizam a alfabetização funcional através de um único código estatístico emaranhado, invertendo a organização do cérebro humano alfabetizado.

Cérebro Humano: Dois sistemas dissociáveis (leitura/escrita) sobre um núcleo compartilhado.
LLM: Um sistema único emaranhado que colapsa a decodificação e a codificação.

Posição no "Espaço de Mentes Possíveis"

Os autores posicionam os LLMs não como modelos do cérebro humano de leitura/escrita, mas como um ponto distinto no espaço de mentes possíveis. Eles alcançam a alfabetização funcional através de uma rota que o cérebro humano não toma: otimizando um mecanismo de propósito geral (auto-atenção) sobre um artefato cultural (texto escrito) sem os substratos neurais evoluídos e dissociáveis encontrados em humanos.

Natureza da Contribuição

Analogia, Não Homologia: A comparação entre $W_E/W_U$ e os sistemas de leitura/escrita do cérebro é uma analogia estruturada, não uma afirmação de homologia biológica. O modelo não "lê" ou "compreende" no sentido humano.
Concordância de Direção: A principal contribuição é a concordância de direção entre dois níveis complementares de análise (geometria de pesos e comportamento manifesto). Ambos os níveis indicam acoplamento em vez de dissociação.
Modéstia: Os autores enfatizam que a falta de uma ponte mecanística (geometria prevendo comportamento) e as restrições arquitetônicas (caminho direto único) significam que os achados descrevem como esses modelos funcionam, não que possuem uma arquitetura cognitiva humana. O artigo serve como uma lente interpretativa para categorizar os LLMs como um sistema cognitivo distinto, em vez de um modelo humano deficiente.