💬 NLP

Sequence Repetition Enhances Token Embeddings and Improves Sequence Labeling with Decoder-only Language Models

Este artigo demonstra que a repetição de sequências, uma alternativa menos invasiva à remoção da máscara causal, permite efetivamente que modelos de linguagem apenas decodificadores aproveitem o contexto bidirecional para tarefas de rotulagem de sequências, gerando embeddings de tokens e desempenho superiores em comparação tanto com modelos apenas codificadores quanto com decodificadores não mascarados, permanecendo eficiente através do uso de representações de camadas intermediárias.

Autores originais: Matija Luka Kukić, Marko Čuljak, David Dukić, Martin Tutek, Jan Šnajder

Publicado 2026-01-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Matija Luka Kukić, Marko Čuljak, David Dukić, Martin Tutek, Jan Šnajder

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: A "Via de Mão Única" vs. A "Via de Mão Dupla"

Imagine que você está tentando entender uma frase.

Modelos apenas de codificador (como o BERT) são como uma pessoa lendo um livro que pode olhar tanto para frente quanto para trás. Eles podem ver a palavra antes e a palavra depois para entender o significado de uma palavra específica. Isso é ótimo para tarefas onde você precisa rotular cada palavra individualmente (como encontrar nomes de pessoas ou lugares).
Modelos apenas de decodificador (como os que alimentam os chatbots) são como uma pessoa lendo um livro que só tem permissão para olhar para frente. Eles só podem ver o que vem depois da palavra atual. Eles foram construídos para prever a próxima palavra, não para analisar a frase inteira de uma vez.

Devido a essa limitação da "via de mão única", os modelos apenas de decodificador historicamente foram piores em rotular cada palavra de uma frase em comparação aos modelos de "via de mão dupla".

A Solução Antiga: Quebrando as Regras

Para consertar isso, pesquisadores tentaram uma abordagem de "marreta": eles removeram fisicamente a regra que impede o modelo de olhar para trás. Eles pegaram a "via de mão única" e a transformaram em uma "via de mão dupla" alterando a arquitetura interna do modelo.

A desvantagem: Isso é como reconstruir o motor de um carro apenas para fazê-lo andar de ré. É complicado, invasivo e exige muita reengenharia.

A Nova Solução: "Repetição de Sequência" (A Câmara de Eco)

Os autores deste artigo descobriram um truque muito mais simples e que "não requer ferramentas". Em vez de mudar o motor do modelo, eles apenas repetiram a frase antes de alimentá-la ao modelo.

A Analogia:
Imagine que você está tentando entender a palavra "Banco" na frase: "Eu fui à margem do rio."

Decodificador Normal: Ele vê "Eu fui à margem do..." e tem que adivinhar "margem" baseando-se apenas no que veio antes. Ele pode pensar em um banco de dinheiro.
Repetição de Sequência: Você alimenta o modelo com isto: "Eu fui à margem do rio. Eu fui à margem do rio. Eu fui à margem do rio."

Quando o modelo está processando a segunda ou a terceira cópia da frase, ele já "viu" a palavra "rio" na cópia anterior. Embora o modelo ainda esteja tecnicamente apenas autorizado a olhar "para frente", a repetição o engana para que ele veja todo o contexto. É como ter um eco que permite que você ouça o início da frase enquanto está lendo o final dela.

O Que Eles Descobriram

1. Mais Repetições = Melhor Compreensão
Estudos anteriores sugeriram que repetir uma frase uma vez era o suficiente, e que fazer mais não ajudava. Os autores descobriram o oposto para tarefas de nível de palavra.

A Descoberta: Repetir a frase 2, 4 ou até 8 vezes realmente tornou o modelo mais inteligente na rotulagem de palavras.
Por quê? Cada repetição dá ao modelo outra "chance" de processar a informação. É como ler um parágrafo difícil três vezes; na terceira vez, você entende a nuance muito melhor.

2. Isso Vence os Modelos de "Via de Mão Dupla"
Surpreendentemente, usar este truque de repetição em modelos apenas de decodificador fez com que eles tivessem um desempenho melhor do que os tradicionais modelos de "via de mão dupla" (codificadores) e até melhor do que os modelos onde a regra de olhar para trás foi removida manualmente.

O Resultado: O truque simples de repetir o texto funcionou melhor do que as mudanças arquitetônicas complexas.

3. O Truque da "Saída Antecipada" (Economizando Tempo e Dinheiro)
Repetir o texto torna a entrada mais longa, o que torna o computador mais lento e custa mais dinheiro para rodar.

A Correção: Os autores descobriram que o modelo não precisa terminar de ler o texto repetido inteiro para obter uma boa resposta. Eles descobriram que interromper o modelo no meio de suas camadas (uma "saída antecipada") ainda trazia resultados de alta qualidade.
A Analogia: É como ler um livro para entender um ponto da trama. Você nem sempre precisa ler a última página; às vezes, ler até o meio do livro é o suficiente para pegar a ideia geral, e isso economiza seu tempo.
O Benefício: Eles puderam obter o mesmo alto desempenho do modelo completo, mas computando-o 1,4 vezes mais rápido (ou até 4 vezes mais rápido em alguns casos) ao interromper o processo precocemente.

Resumo do Aprendizado

O artigo prova que você não precisa reconstruir um modelo de linguagem apenas de decodificador para torná-lo bom em rotular palavras. Você só precisa repetir o texto de entrada.

Simples: Sem mudanças no código do "cérebro" do modelo.
Eficaz: Cria uma "via de mão dupla" falsa que funciona melhor que a real.
Eficiente: Ao interromper o modelo cedo, você mantém a velocidade e o baixo custo.

Os autores concluem que este método simples de "repetição" é uma ferramenta poderosa e prática que torna os modelos de IA modernos mais versáteis sem a necessidade de engenharia complexa.

Resumo Técnico: A Repetição de Sequências Melhora os Embeddings de Tokens e Aperfeiçoa a Rotulagem de Sequências com Modelos de Linguagem Apenas Decoders

Definição do Problema
Os modernos modelos de linguagem de grande escala (LLMs) apenas decoders são treinados de forma autorregressiva, condicionados apenas ao prefixo de uma sequência via uma máscara causal. Esta arquitetura unidirecional contrasta com as tarefas de Rotulagem de Sequências (SL) (ex: Reconhecimento de Entidades Nomeadas, Slot Labeling), que inerentemente se beneficiam de contexto bidirecional para atribuir rótulos a tokens individuais. Historicamente, a SL dependeu de modelos apenas encoders (ex: BERT, RoBERTa) que suportam nativamente a atenção bidirecional. Embora os modelos apenas decoders tenham demonstrado capacidades de escalonamento superiores, adaptar o SL a eles geralmente requer mudanças arquiteturais invasivas, como a remoção total ou seletiva da máscara causal (CM). Essas modificações alteram a funcionalidade base do modelo e exigem uma reengenharia significativa. Além disso, embora a repetição de sequências de entrada (SR) tenha sido explorada para melhorar representações de nível de sequência, sua eficácia para embeddings de nível de token e desempenho de SL permanece subexplorada.

Metodologia
Os autores propõem a Repetição de Sequência (SR) como uma alternativa não invasiva para permitir a bidirecionalidade em modelos apenas decoders sem modificar sua arquitetura central.

Mecanismo: A sequência de entrada $s$ é repetida $r$ vezes para formar uma nova sequência $s_k$ de comprimento $k \cdot n$ (onde $k = r+1$ ). Devido à máscara causal, os tokens em repetições posteriores podem atender a todos os tokens em repetições anteriores. A análise teórica da matriz de pesos de atenção mostra que, conforme $k$ aumenta, a proporção de blocos de atenção totalmente bidirecionais aproxima-se de 1, permitindo efetivamente que o modelo processe tokens com contexto total.
Configuração Experimental: O estudo avalia a SR em sete modelos apenas decoders (Gemma-7B, Gemma2-2B/9B, Qwen3-1.7B/4B/8B, Mistral-7B) e quatro conjuntos de dados de SL (CoNLL03, SemEval-2014 Rest14, NLU++, ACE05).
Baselines: O desempenho é comparado contra:
1. Decoder Mascarado: Fine-tuning padrão sem repetições ( $r=0$ ).
2. Desmascaramento Total (Full Unmasking): Remoção total da máscara causal.
3. Desmascaramento Central (Middle Unmasking): Remoção da máscara causal apenas das camadas centrais $N/3$ (uma estratégia de adaptação eficiente em parâmetros).
4. Modelos Apenas Encoders: RoBERTa e ModernBERT.
Estratégia de Eficiência: Para mitigar o custo computacional do aumento do comprimento da sequência, os autores empregam Saída Antecipada (Early Exiting), extraindo embeddings de camadas intermediárias ( $L \in \{9, 14, 19, 24\}$ ) em vez da camada final.

Principais Contribuições

Eficácia da SR para Tarefas de Nível de Token: O artigo demonstra que a SR é uma estratégia simples e prática que inerentemente permite a bidirecionalidade em modelos apenas decoders. A SR produz embeddings de nível de token que superam tanto modelos fortes apenas encoders quanto decoders desmascarados em múltiplos benchmarks de SL.
Benefício de Múltiplas Repetições: Contrariando descobertas anteriores em tarefas de nível de sequência onde repetições adicionais ofereciam retornos decrescentes ou degradação, este trabalho descobre que aumentar o número de repetições ( $r > 1$ ) melhora consistentemente o desempenho de SL. Os autores hipotetizam que repetições adicionais aumentam a capacidade de processamento efetiva do modelo para cada token.
Eficiência via Saída Antecipada: O estudo mostra que a extração de embeddings de camadas intermediárias (especificamente camadas 19 e 24 em um modelo de 32 camadas) combinada com a SR atinge desempenho comparável ao de embeddings da camada final enquanto reduz significativamente o overhead computacional (até $1.39\times$ mais eficiente).

Resultados

Ganhos de Desempenho: Os modelos SR alcançam consistentemente os maiores scores de Micro F1. Por exemplo, o Mistral-7B com SR ( $r=4$ ) alcançou um score médio de 83,79%, superando o Desmascaramento Central (83,35%) e o Desmascaramento Total (83,34%). A SR também superou os baselines apenas encoders (RoBERTa: 78,53%, ModernBERT: 76,08%).
Contagem de Repetição: O desempenho geralmente melhora conforme $r$ aumenta de 0 para 4 ou 8. Embora modelos menores (ex: Gemma2-2B) tenham mostrado saturação de desempenho ou leves quedas após $r=2$ ou $r=4$ , modelos maiores (ex: Mistral-7B, Qwen3-8B) continuaram a se beneficiar de contagens de repetição mais altas.
Estabilidade: A SR não apenas melhorou o desempenho médio, mas também reduziu a variância (desvio padrão) dos resultados em comparação com as estratégias de desmascaramento.
Saída Antecipada: Embeddings da camada $L=14$ ou superior igualaram ou excederam o desempenho da camada final ( $L=32$ ) em vários casos, validando o uso de camadas intermediárias para eficiência sem sacrificar a qualidade.
Tamanho do Modelo: Mesmo modelos apenas decoders menores (ex: Qwen3-0.34B via saída antecipada) treinados com SR performaram de forma comparável ou superior ao RoBERTa de 0.35B parâmetros, sugerindo que a SR permite que decoders menores compitam com encoders especializados.

Significância e Alegações
O artigo afirma que a Repetição de Sequência mitiga as limitações estruturais dos modelos apenas decoders, permitindo que performem efetivamente em tarefas de nível de token inerentemente bidirecionais sem modificação arquitetural. Os autores posicionam a SR como uma alternativa mais eficiente e adaptável à remoção da máscara causal, ampliando a aplicabilidade de LMs apenas decoders para tarefas anteriormente dominadas por encoders. As descobertas enfatizam que as camadas intermediárias são críticas para tarefas downstream e que aumentar as contagens de repetição pode aumentar a capacidade de processamento em vez de degradar o desempenho, desafiando suposições anteriores sobre repetição em LMs. O trabalho sugere que a SR oferece um trade-off favorável entre qualidade e eficiência, particularmente quando combinada com estratégias de saída antecipada.