🤖 machine learning

When More Becomes Less: Position-Dependent Repetition Effects in Language Models

Este artigo demonstra que o impacto da repetição de tokens nas previsões de modelos de linguagem é dependente da posição, revelando que, enquanto a repetição adjacente aumenta consistentemente a probabilidade do alvo, a repetição deslocada produz um efeito de U invertido onde a probabilidade atinge um pico e depois declina à medida que a repetição aumenta, desafiando a suposição de que os efeitos de repetição são uniformes independentemente da posição de leitura.

Autores originais: Han-yu Wang

Publicado 2026-08-06

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Han-yu Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Vida Secreta da Repetição nos Cérebros de IA

Imagine que você está tentando ensinar um robô a contar uma história. Você dá a ele um comando, como o início de uma frase, e pede que ele adivinhe a próxima palavra. É assim que muitos sistemas de Inteligência Artificial (IA) modernos, conhecidos como Grandes Modelos de Linguagem, funcionam. Eles são como mecanismos de preenchimento automático superpotentes que leram quase tudo na internet. Para descobrir se eles realmente "sabem" algo, os cientistas costem usar um truque chamado "teste cloze". É como um quebra-cabeça de preencher lacunas: você mostra à IA uma frase com uma palavra faltando e vê se ela consegue adivinhar a correta.

Por anos, pesquisadores acreditaram em uma regra simples sobre como esses cérebros de IA lidam com a repetição. Eles pensavam que, se você repetisse uma palavra repetidamente no comando, a IA ficaria mais confiante sobre essa palavra, assim como um humano pode se sentir mais confortável com um conceito quanto mais o ouve. Isso é chamado de "priming" (preparação). Se você disser "maçã, maçã, maçã", a IA deve pensar: "Ok, isso é definitivamente sobre maçãs!" e prever "maçã" com alta confiança. Os cientistas assumiram que essa confiança continuaria subindo quanto mais cópias da palavra você adicionasse, não importa onde na frase pedissem para a IA fazer seu palpite. Mas e se essa suposição estiver errada? E se o cérebro da IA funcionar de forma diferente dependendo de onde você pede para ela olhar? É essa pergunta que o artigo de Han-yu Wang aborda, explorando uma estranha peculiaridade onde "mais" repetição leva a "menos" confiança, mas apenas sob condições específicas.

Quando Mais se Torna Menos: O Ponto Esquecido da IA

Neste estudo, o pesquisador configurou um pequeno experimento inteligente para testar como os modelos de IA reagem à repetição. Imagine que você tem uma palavra mágica, digamos "gato". Você pode mostrar essa palavra à IA de duas maneiras diferentes, mas mantém o início da história exatamente o mesmo.

O Teste "Logo ao Lado" (Sonda Adjacente):
Primeiro, você escreve uma longa lista de palavras "gato" até o final da frase: "gato, gato, gato, gato... [adivinhe aqui]". Você pede para a IA adivinhar a próxima palavra.

O que aconteceu: Assim como a antiga regra previa, a IA ficou cada vez mais confiante. Quanto mais palavras "gato" você adicionava, mais certa ela ficava de que a próxima palavra seria "gato". Era como um batido de tambor ficando cada vez mais alto.

O Teste "Recomeço Fresco" (Sonda Deslocada):
Depois, o pesquisador fez algo sorrateiro. Ele escreveu a mesma longa lista de palavras "gato" no início, mas depois adicionou um ponto final e uma nova estrutura de frase antes de pedir o palpite. Ficou assim: "gato, gato, gato, gato... . O céu é azul. [adivinhe aqui]".

O que aconteceu: Foi aqui que o truque de mágica falhou. Em vez de ficar mais confiante, a confiança da IA fez uma cambalhota estranha. No início, adicionar algumas palavras "gato" ajudou. Mas assim que a lista ficou muito longa (cerca de 5 a 10 cópias), a IA começou a perder sua confiança. Quando você chegou a 30 palavras "gato", a IA estava, na verdade, menos propensa a adivinhar "gato" do que era com apenas algumas cópias.

O pesquisador chama esse formato de "U invertido". É como se a IA ficasse um pouco animada no início, mas depois ficasse sobrecarregada ou confusa pela quantidade pura de repetição quando precisa saltar para uma nova frase para encontrar a resposta.

A Grande Descoberta: Tudo Depende de Onde Você Olha

A descoberta mais importante deste artigo é que a posição da pergunta importa imensamente. A mesma lista de palavras repetidas pode tornar a IA mais inteligente se você perguntar imediatamente após a lista, mas torná-la mais burra se você perguntar uma frase depois.

O estudo testou isso em 13 modelos diferentes de IA, variando de pequenos a muito grandes. Eles descobriram que esse padrão de "U invertido" aconteceu em todos eles. Não foi apenas um acaso com um cérebro de computador específico. Eles até testaram em outras quatro línguas — espanhol, chinês, alemão e francês — e o mesmo padrão estranho apareceu. Isso sugere que não é um erro na forma como a IA fala inglês, mas uma peculiaridade fundamental em como esses modelos processam informações repetidas.

O Que NÃO É (E O Que É)

O pesquisador não parou apenas em encontrar o padrão; ele atuou como detetive para descobrir por que isso estava acontecendo. Ele queria ter certeza de que não era apenas porque a frase ficou muito longa, ou porque a IA estava cansada, ou porque estava pensando em palavras relacionadas a "gato" (como "gatinho" ou "ronronar").

Não é sobre o comprimento: Eles testaram frases com o mesmo número de palavras, mas usando palavras de preenchimento aleatórias e entediantes em vez de repetir "gato". A queda estranha de confiança não aconteceu.
Não é sobre palavras relacionadas: Eles tentaram substituir a palavra repetida "gato" por palavras que significam o mesmo ou que são relacionadas. Novamente, não houve queda de confiança.
É sobre a repetição exata: A queda só aconteceu quando a mesma palavra exata era repetida repetidamente antes de uma nova frase começar.

Isso significa que a IA não está apenas ficando "entediada" ou "confusa" com um texto longo. Algo específico acontece quando o mesmo token (a unidade digital de uma palavra) é repetido muitas vezes antes de um novo começo de frase.

Dentro do Cérebro da IA

Para entender o que estava acontecendo, o pesquisador espiou dentro dos mecanismos de "atenção" dos modelos. Você pode pensar na atenção como um holofote que a IA direciona para diferentes partes da frase.

O Holofote Encolhe: À medida que a lista de palavras "gato" crescia, a quantidade de atenção que a IA dava a cada palavra "gato" individual diminuía. Isso faz sentido; se você tem uma quantidade fixa de holofote e precisa iluminar 30 coisas, cada coisa recebe menos luz.
O Orçamento Total Cresce (em alguns modelos): Surpreendentemente, nos modelos que mostraram a maior queda de confiança, a quantidade total de atenção que a IA dava ao bloco inteiro de "gato" na verdade aumentou conforme a lista ficava mais longa. Era como se a IA estivesse gritando "Olhem para todos esses gatos!" cada vez mais alto, mas, de alguma forma, quando precisava saltar para a nova frase, esse grito tornava mais difícil lembrar a palavra específica "gato".

Por Que Você Deve se Importar?

Este artigo é um rótulo de aviso para qualquer pessoa que tente testar o quão inteligentes são esses modelos de IA. Se você é um cientista tentando ver se uma IA conhece um fato, e usa um método que repete uma palavra muitas vezes para "preparar" (priming) a IA, você pode estar obtendo o oposto do que espera. Se você fizer a pergunta uma frase depois, pode acidentalmente tornar a IA menos propensa a dar a resposta correta.

O estudo mostra que não podemos tratar a posição de uma pergunta como um detalhe neutro. Onde você faz a pergunta muda a resposta. É um lembrete de que esses cérebros de IA são complexos e às vezes contraintuitivos: às vezes, ouvir uma palavra muitas vezes não ajuda você a lembrá-la; pode apenas fazer você esquecê-la, especialmente se tiver que esperar um momento antes de responder.

O pesquisador testou isso em 13 modelos e encontrou o efeito em todos eles. Ele verificou em 42 combinações diferentes de modelos e línguas, e o padrão se manteve sempre. Embora não possam dizer exatamente por que o cérebro da IA funciona desta forma (é uma correlação, não uma explicação completa do mecanismo), eles provaram que esse efeito de "mais se torna menos" é real, consistente e acontece de forma generalizada. É uma pequena, mas crucial peça do quebra-cabeça para entender como esses cérebros digitais realmente pensam.

Resumo Técnico: Efeitos de Repetição Dependentes da Posição em Modelos de Linguagem

Declaração do Problema

Estudos de sondagem do tipo cloze em modelos de linguagem (LMs) frequentemente variam a frequência de um token alvo no prompt para medir efeitos na predição (por exemplo, priming semântico ou aprendizagem em contexto). Esses estudos assumem implicitamente que o posicionamento de leitura (onde a predição do modelo é amostrada) é ortogonal à manipulação: que o efeito da repetição na probabilidade de predição permanece consistente, independentemente de o slot de predição estar situado imediatamente após o bloco repetido ou estar deslocado para uma nova estrutura de frase.

Este artigo desafia essa suposição, demonstrando que a posição do slot de leitura altera fundamentalmente como a repetição afeta a recuperação. Especificamente, enquanto a repetição atua como um primer monotônico quando o slot é adjacente ao bloco repetido, ela produz um efeito de "U invertido" não monotônico quando o slot é deslocado, fazendo com que a probabilidade do alvo decline conforme a contagem de repetições aumenta além de um certo ponto.

Metodologia

O Design de Dois Probes Pareados

O autor introduz um design experimental de prefixo pareado para isolar o efeito da posição de leitura:

Probe Adjacente: O slot de predição é colocado imediatamente após um prefixo contendo $N$ cópias de um token alvo (ex: alvo × N [MASK]).
Probe Deslocado: O slot de predição é movido para uma estrutura de frase nova seguindo o mesmo prefixo (ex: alvo × N . <nova estrutura de frase> [MASK]).

O estudo mantém o prefixo de alvo repetido fixo enquanto varia apenas a posição do slot. A contagem de repetição $N$ varia de 0 a 30.

Configuração Experimental

Modelos: 13 modelos de linguagem de acesso aberto foram testados, incluindo 2 LMs mascarados (MLMs: ModernBERT-base/large) e 11 LMs causais (CLMs) de variados tamanhos e arquiteturas (família Qwen2.5, SmolLM2, Phi-3.5, OLMo-2).
Alvos: 261 substantivos de um único token curados manualmente, filtrados por tokenizador para garantir a validade de token único.
Idiomas: O efeito foi replicado em inglês, espanhol, chinês, alemão e francês usando checkpoints multilíngues.
Métricas: A estatística primária é a queda por palavra (per-word drop), definida como $(peak_w - P(N=30)_w) / peak_w$ , onde $peak_w$ é a probabilidade máxima observada para uma palavra através de $N \in \{1, 3, 5, 10, 20, 30\}$ . Uma queda positiva com um intervalo de confiança de bootstrap excluindo zero indica o efeito de U invertido.

Ablação e Controles

Para isolar o mecanismo, o autor realizou:

Ablação causal de seis condições: Substituiu o bloco repetido por repetições truncadas, deleções, preenchimentos aleatórios, preenchimentos de vizinhos semânticos e repetições não relacionadas.
Controle de pragmática de moldura: Variou a estrutura da frase para descartar artefatos da estrutura específica da moldura.
Resposta pré-declarada: Forneceu o alvo explicitamente no início do prompt para testar se o efeito persiste quando existe uma rota de recuperação alternativa.
Análise interna: Mediu a atenção por token do alvo e o orçamento total de atenção atribuído ao bloco repetido.

Principais Resultados

1. O U Invertido Deslocado

A descoberta central é uma dissociação comportamental entre os dois posicionamentos de probe:

Slot Adjacente: $P(\text{alvo})$ sobe monotonicamente com $N$ e atinge um platô, consistente com a intuição padrão de priming.
Slot Deslocado: $P(\text{alvo})$ sobe até um pico precoce (tipicamente $N \in \{1, 3, 5, 10\}$ ) e depois declina conforme $N$ aumenta para 30. Este "U invertido deslocado" foi observado em todos os 13 modelos testados, sendo a queda por palavra estatisticamente significativa (IC excluindo zero) em todos os casos.

2. Robustez e Generalização

Translinguística: O efeito replicou-se em 42 células (4 modelos × 4 idiomas × 3 molduras) em espanhol, chinês, alemão e francês.
Escala e Arquitetura: O efeito aparece em diversos tamanhos de modelo (360M a 14B parâmetros) e arquiteturas (MLMs e CLMs). No entanto, a magnitude da queda não é uma função monotônica da contagem de parâmetros; por exemplo, dentro da família Qwen2.5, os modelos de 1.5B e 14B mostraram quedas maiores do que o modelo de 7B.
Ajuste de Instrução (Instruction Tuning): O ajuste de instrução (ex: Qwen2.5-7B vs. Qwen2.5-7B-Instruct) não eliminou o efeito; em alguns casos, aumentou a magnitude da queda.

3. Mecanismo Causal

Repetição Lexical Exata: O efeito é impulsionado especificamente pela repetição lexical exata do alvo. Preenchimentos de vizinhos semânticos (que ativam o campo semântico do alvo) falharam em reproduzir o U invertido, e preenchimentos aleatórios/deleções eliminaram o efeito inteiramente.
Não é Comprimento ou Redundância: O efeito não é uma função do comprimento da sequência ou de redundância genérica.
Correlatos Internos:
- Atenção por token: A atenção recebida por cada token alvo individual cai conforme $N$ aumenta.
- Orçamento do Bloco Total: Em LMs Causais, o orçamento de atenção total atribuído ao bloco repetido cresce com $N$ (sub-diluição), enquanto no LM Mascarado, o orçamento permanece aproximadamente constante. Isso sugere que o treinamento autorregressivo induz uma dinâmica específica onde o modelo aloca recursos totais crescentes ao bloco repetido, mas o sinal por token degrada em um contexto deslocado.

Significância e Alegações

O artigo reivindica duas contribuições primárias:

Descoberta Empírica: Os atuais modelos de linguagem de acesso aberto falham em agregar a repetição lexical exata de forma aditiva em slots deslocados. Adicionar cópias de um alvo pode diminuir sua probabilidade em uma cláusula além do bloco, mesmo quando o mesmo prefixo consegue realizar o priming em um slot adjacente. Isso contradiz a suposição de que os efeitos de repetição são independentes da posição.
Instrumento Metodológico: O "design de dois probes com prefixo pareado" fornece uma ferramenta para separar a continuação de padrão local da recuperação deslocada. O autor argumenta que qualquer estudo de sondagem controlado que envolva conteúdo repetido (ex: benchmarks de aprendizagem em contexto, sondagens de conhecimento factual) não pode tratar a posição de leitura como ortogonal à manipulação. Uma manipulação que aparece como priming monotônico em uma posição pode inverter em outra posição que é efetivamente pontuada em muitos benchmarks.

O autor mantém-se modesto quanto ao mecanismo subjacente, observando que suas sondagens internas são correlacionais. Ele sugere que o efeito pode advir da cooperação de softmax entre chaves repetidas, dinâmicas de attention-sink, ou priors de recência específicos de modelos autorregressivos, mas seus dados não distinguem entre esses candidatos. Ele também nota limitações, como a restrição a alvos de um único token e a falta de uma explicação clara para a exceção de inversão de curva média do SmolLM2-1.7B.