💬 NLP

Repeated Sequences Reveal Gaps between Large Language Models and Natural Language

Este artigo apresenta uma nova estrutura de avaliação baseada em subsequências repetidas e entropias de Rényi para demonstrar que, ao contrário da linguagem natural, que exibe organização estrutural de longo alcance estável, os modelos de linguagem grandes mais avançados apresentam desvios sistemáticos e dependentes do tamanho em seus padrões de crescimento de entropia, revelando lacunas fundamentais na forma como capturam a estrutura estatística profunda do texto além da fluência superficial.

Autores originais: Kumiko Tanaka-Ishii

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kumiko Tanaka-Ishii

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Fluência vs. Estrutura

Imagine que você está ouvindo duas pessoas contar uma história.

Pessoa A fala perfeitamente. Cada frase flui suavemente, a gramática está correta e ela nunca gagueja.
Pessoa B também fala perfeitamente, mas tem um segredo: na verdade, ela está apenas repetindo as mesmas poucas frases uma e outra vez, ou está construindo uma história costurando pequenos blocos de Lego pré-fabricados, sem nunca criar uma nova forma.

Por muito tempo, achamos que os Modelos de Linguagem de Grande Escala (LLMs), como o GPT, estavam ficando tão bons que soavam exatamente como humanos. Mas este artigo faz uma pergunta mais profunda: Eles realmente entendem como construir uma história longa de dentro para fora, ou são apenas muito bons em soar fluidos no curto prazo?

A autora, Kumiko Tanaka-Ishii, desenvolveu uma nova maneira de "ouvir" essas histórias, não verificando se fazem sentido gramaticalmente, mas observando como elas reutilizam suas próprias palavras e padrões ao longo de grandes distâncias.

A Ferramenta: O Detector de "Eco"

Para encontrar a diferença, a autora usa um conceito chamado Subsequências Repetidas.

Pense em um texto como um corredor longo.

Linguagem Natural (Humanos): Quando um humano escreve um romance, ele planta sementes cedo. Ele introduz um personagem, um tema ou uma frase específica. À medida que a história avança, ele volta a essas sementes, rega-as e faz brotar novos ramos. A história "ecoa" a si mesma. Ela reutiliza estruturas antigas para construir novos significados.
LLMs (IA): A autora descobriu que os modelos de IA muitas vezes agem como um disco riscado ou um hall de espelhos. Eles podem repetir coisas, mas não parecem ter aquele mesmo "eco" estrutural profundo, onde partes antigas da história são ativamente reorganizadas para apoiar as partes novas.

O artigo mede isso contando quantas vezes pequenos pedaços de texto (como sequências de 5 ou 10 letras) aparecem novamente mais tarde no documento.

Os Dois Tipos de Crescimento: O Jardim vs. A Fábrica

O artigo compara como a "informação" cresce à medida que um texto fica mais longo. Ele identifica duas maneiras principais pelas quais isso pode acontecer:

O Jardim de Lei de Potência (Linguagem Natural):
Imagine um jardim onde você continua plantando flores novas e únicas, mas também continua reutilizando a mesma treliça e cerca para sustentá-las. À medida que o jardim cresce, a variedade de flores aumenta, mas a estrutura (as cercas e treliças) é reutilizada uma e outra vez.
O artigo descobre que a escrita humana se comporta assim. Ela segue um padrão de "Log-Potência". Isso significa que o texto está constantemente reciclando seu próprio DNA estrutural. É eficiente e profundamente interconectado.
A Linha de Fábrica (Modelos de IA):
Imagine uma fábrica que continua produzindo produtos. À medida que a fábrica opera por mais tempo, ela continua fazendo itens ligeiramente diferentes, mas não parece ter aquele mesmo reuso recursivo profundo de seu próprio plano interno.
O artigo descobriu que os modelos de IA, especialmente os mais antigos ou menores, se comportam de maneira diferente. Eles mostram um padrão de "Lei de Potência" que sugere que estão constantemente gerando nova complexidade estrutural, sem o mesmo nível de reuso profundo e eficiente encontrado na escrita humana.

O Experimento: O Teste de "Embaralhamento"

A autora testou isso em:

Romances escritos por humanos (do Projeto Gutenberg).
Histórias geradas por IA (criadas por GPT-3.5, GPT-4 e modelos mais recentes).

Eles igualaram os comprimentos para que a comparação fosse justa. Em seguida, realizaram um "teste de eco" matemático (usando algo chamado Entropia de Rényi) para ver como o texto se reutilizava.

Os Resultados:

Humanos: Não importa o quão longo fosse o livro, o padrão de "eco" permanecia estável. Os humanos reutilizavam consistentemente seus próprios padrões estruturais de maneira previsível e eficiente.
IA: O padrão da IA mudava dependendo do quão "grande" era o modelo.
- Modelos de IA menores eram muito caóticos na forma como reutilizavam (ou falhavam em reutilizar) a estrutura.
- À medida que os modelos de IA ficavam maiores (como o GPT-5), eles começavam a parecer mais como humanos, mas ainda mostravam uma diferença sistemática. Eles estavam ficando melhores em imitar o "eco", mas a matemática subjacente de como construíam suas histórias ainda era distinta da de um autor humano.

A Armadilha da "Repetição Máxima"

O artigo também analisou a frase repetida mais longa em um texto (como encontrar a frase mais longa que aparece duas vezes).

Estudos anteriores focavam nessas repetições "extremas".
A autora argumenta que isso é como tentar entender uma floresta olhando apenas para a árvore mais alta. É instável e enganoso.
Em vez disso, olhar para todos os pedaços repetidos (a "distribuição") fornece uma imagem muito mais clara e estável da verdadeira estrutura do texto.

A Conclusão Final

Este artigo não diz que a IA é "ruim" ou que não consegue escrever boas histórias. Ele diz que IA e humanos constroem histórias de maneiras diferentes.

Humanos escrevem referenciando e recombinando constantemente suas próprias palavras e estruturas passadas, criando uma rede apertada e eficiente de significado que cresce de uma maneira matemática específica (Log-Potência).
IA escreve prevendo a próxima palavra, o que cria um tipo diferente de padrão de crescimento (mais próximo da Lei de Potência). Mesmo os modelos de IA mais inteligentes ainda não dominaram completamente a arte humana de "reciclagem estrutural" ao longo de grandes distâncias.

A autora conclui que precisamos de novas ferramentas para medir a IA. Não podemos apenas perguntar: "Ela passou no teste?" ou "Ela é fluente?". Precisamos perguntar: "Ela constrói seu mundo da maneira que um humano faz?". E, por enquanto, a resposta é: Não exatamente.

Resumo Técnico: Sequências Repetidas Revelam Lacunas entre Modelos de Linguagem de Grande Escala e a Linguagem Natural

Declaração do Problema
Embora os Modelos de Linguagem de Grande Escala (LLMs) demonstrem alta fluência e coerência em contextos locais, permanece um desafio aberto determinar se eles capturam a organização estatística de longo alcance da linguagem natural. Métodos de avaliação existentes, que dependem fortemente de benchmarks baseados em tarefas ou análises de contexto curto, fornecem apenas evidências indiretas sobre a estrutura global do texto gerado. Trabalhos anteriores identificaram problemas como repetição excessiva e diversidade reduzida nas saídas de LLMs, sugerindo que alto desempenho em tarefas não garante estrutura de longo alcance semelhante à humana. Especificamente, há uma falta de diagnósticos quantitativos que possam distinguir como a linguagem natural e os LLMs reutilizam elementos estruturais estabelecidos ao longo de grandes extensões.

Metodologia
Os autores propõem um quadro de avaliação complementar baseado na distribuição de subsequências repetidas em várias escalas, vinculando essas estatísticas às entropias de Rényi de ordem superior.

Contagem de Subsequências Repetidas: O método define o número de blocos repetidos ( $D_m$ ) de comprimento $m$ dentro de uma sequência de comprimento $n$ . Diferentemente de análises focadas em repetições máximas (que podem ser numericamente instáveis), esta abordagem examina a distribuição de todas as subsequências repetidas.
Entropia de Rényi de Ordem Superior: Os autores relacionam o espectro de blocos repetidos às entropias de Rényi ( $H_\alpha$ ) de ordem $\alpha \ge 2$ . Isso permite uma caracterização de comprimento finito do crescimento da entropia. A entropia empírica $\hat{H}_\alpha(m)$ é calculada com base na frequência dos tipos de blocos observados.
Caracterização Funcional: O artigo modela o crescimento do número efetivo de blocos distinguíveis ( $\log_2 S_m$ $lo g_{2} S_{m}$ ) usando duas formas sublineares:
- Ansatz de lei de potência: $\log_2 S_m \propto m^\beta$ , associado à expansão de graus de liberdade estruturais.
- Ansatz logarítmico-potência: $\log_2 S_m \propto (\log_2 m)^\gamma$ , associado à forte reutilização estrutural, onde o comprimento da descrição cresce lentamente em relação ao comprimento da sequência.
Procedimento de Estimação: Uma estimação em dois estágios é empregada para lidar com efeitos de tamanho finito. Primeiro, um termo de correção ( $\Delta_\alpha$ ) derivado de polinômios de Touchard é estimado com base na razão entre blocos totais e blocos distintos. Segundo, os expoentes $\beta$ e $\gamma$ são ajustados aos valores corrigidos da entropia empírica.

Configuração Experimental
O estudo compara textos de linguagem natural com textos gerados por GPT através de quatro gerações de modelos: gpt-3.5turbo, gpt-4o-mini, gpt-5-mini e gpt-5.

Conjuntos de Dados: Textos de linguagem natural foram amostrados do Projeto Gutenberg (romances) para corresponder às distribuições de comprimento das saídas do GPT. Todos os textos foram pré-processados para remover metadados e caracteres não alfabéticos.
Controles: Os experimentos foram conduzidos em 100 textos por categoria, com distribuições de comprimento correspondentes para controlar efeitos do comprimento da sequência. Testes adicionais em ensaios e escrita científica confirmaram que as tendências observadas em narrativas eram consistentes entre gêneros.

Principais Resultados

Ajuste do Modelo: Em todos os conjuntos de dados, o modelo logarítmico-potência geralmente forneceu um ajuste melhor ( $R^2 > 0,97$ ) para a linguagem natural do que o modelo de lei de potência, particularmente para textos mais longos. Isso sugere que o crescimento da entropia da linguagem natural é dominado pela reutilização estrutural, em vez de uma expansão contínua de novos graus de liberdade estruturais.
Estabilidade na Linguagem Natural: A linguagem natural exibiu padrões estáveis de crescimento de entropia (expoentes médios $\beta$ e $\gamma$ ) entre diferentes conjuntos de dados e comprimentos de texto, apesar da variabilidade entre textos individuais. Isso indica uma forma de "universalidade fraca" ao nível da população.
Deslocamentos Sistemáticos em LLMs: Em contraste, os textos gerados pelo GPT mostraram deslocamentos sistemáticos e estatisticamente significativos nos expoentes estimados à medida que o tamanho do modelo aumentava.
- Modelos menores (por exemplo, gpt-3.5turbo) mostraram uma forte preferência pelo modelo log-potência, mas com características de expoentes diferentes.
- À medida que o tamanho do modelo aumentou para gpt-5, tanto $\beta$ quanto $\gamma$ aumentaram monotonicamente, afastando-se dos padrões estáveis da linguagem natural.
- Testes estatísticos (testes t de duas amostras de Welch) confirmaram uma separação clara entre a linguagem natural e as saídas do GPT-5 ( $p \approx 0$ ).
Comparação com Repetição Máxima: Embora o crescimento das subsequências repetidas maximamente (expoente $\eta$ ) mostrasse alguma convergência entre gpt-5 e a linguagem natural, o método baseado em distribuição proposto revelou diferenças mais pronunciadas e sistemáticas na organização de longo alcance.

Principais Contribuições

Formulação Distribucional: O artigo propõe uma formulação distribucional da repetição que permite uma caracterização de comprimento finito do crescimento da entropia por meio de entropias de Rényi de ordem superior, superando a instabilidade das estatísticas de repetição máxima.
Diagnóstico Estrutural: Demonstra diferenças sistemáticas entre a linguagem natural e textos gerados por LLMs no comportamento de crescimento da entropia. Especificamente, revela que, enquanto a linguagem natural exibe padrões estáveis dominados pela reutilização, os LLMs exibem deslocamentos sistemáticos na organização estrutural que correlacionam com o tamanho do modelo.

Significância e Alegações
O artigo afirma que a entropia de subsequências repetidas serve como um diagnóstico estrutural quantitativo capaz de revelar diferenças sistemáticas na organização de longo alcance que são invisíveis para fluência superficial ou avaliações baseadas em tarefas.

Os autores interpretam a escala logarítmico-potência na linguagem natural como evidência de "forte reutilização estrutural", onde os textos são gerados através da recombinação e reindexação de recursos linguísticos compartilhados. Em contraste, os expoentes variáveis nos LLMs sugerem uma manifestação mais fraca dessa organização "estrutura-como-referência", potencialmente devido ao objetivo de previsão do próximo token e à utilização finita do contexto. O trabalho estabelece que os LLMs atuais de última geração, apesar de sua fluência, não replicam totalmente a organização estatística de longo alcance da linguagem natural, fornecendo uma nova métrica para avaliar a fidelidade estrutural do texto gerado.