💬 NLP

EndPrompt: Efficient Long-Context Extension via Terminal Anchoring

EndPrompt é um método eficiente para estender a janela de contexto de modelos de linguagem grandes para 64K usando apenas sequências de treinamento curtas, ao anexar um prompt terminal com índices posicionais de comprimento-alvo, alcançando assim desempenho superior em benchmarks como RULER e LongBench, ao mesmo tempo em que evita os altos custos computacionais do ajuste fino em comprimento total.

Autores originais: Han Tian, Luxuan Chen, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Jinman Zhao, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Dawei Yin

Publicado 2026-05-15

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Han Tian, Luxuan Chen, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Jinman Zhao, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Dawei Yin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno brilhante (o modelo de IA) que é ótimo em ler contos, mas fica confuso quando solicitado a ler uma enciclopédia inteira. Geralmente, para ensinar esse aluno a lidar com a enciclopédia, você teria que fazê-lo ler a obra completa repetidamente. Isso é caro, lento e requer uma biblioteca massiva de livros longos que são difíceis de encontrar.

O artigo "EndPrompt" propõe um atalho inteligente. Em vez de forçar o aluno a ler o livro inteiro, você lhe dá um conto e, em seguida, anexa uma nota minúscula e específica no final que diz: "Este é o fim de um livro muito longo".

Veja como funciona, dividido em conceitos simples:

1. O Problema: O Custo "Quadrático"

Pense em ler um documento longo como tentar conectar cada palavra individual a todas as outras palavras no texto. Se você dobrar o comprimento do texto, o trabalho necessário para conectar as palavras não apenas dobra; quadruplica. Isso torna o treinamento de IA em textos longos incrivelmente caro e lento.

2. A Solução: O Truque do "Bookend"

Os pesquisadores perceberam que a IA não precisa realmente ler o meio de um livro de 64.000 palavras para entender como lidar com esse comprimento. Ela apenas precisa entender a distância entre o início e o fim.

Eles criaram um método chamado EndPrompt:

O Primeiro Segmento: Eles pegam um trecho normal e curto de texto (como um conto) e o mantêm intacto. Este é o "início" do livro.
O Segundo Segmento: Eles anexam um "prompt terminal" muito curto (algumas palavras) ao final.
O Truque Mágico: Embora o texto físico seja curto, eles dizem ao relógio interno da IA que o conto está na posição 0 e a nota minúscula no final está na posição 64.000.

3. A Analogia: A "Banda de Borracha Esticável"

Imagine que o mecanismo de atenção da IA é como uma banda de borracha.

Antigo Jeito: Para ensinar a banda de borracha a esticar até 64.000 polegadas, você tinha que esticá-la fisicamente até lá durante o treinamento, o que era difícil e exigia muita força (poder de computação).
Jeito EndPrompt: Você mantém a banda de borracha curta (fisicamente), mas pinta uma marca no final e diz: "Esta marca está a 64.000 polegadas de distância". Como a IA usa uma ferramenta matemática específica (chamada RoPE) que entende a distância como um padrão (como uma onda), ela aprende que a "onda" de distância entre o início e essa marca final é enorme.

Ao manter a história inteira (sem cortá-la em pedaços), a IA aprende o significado da história enquanto simultaneamente aprende a matemática das relações de longa distância.

4. Por Que Funciona (A Teoria da "Suavidade")

O artigo explica que a matemática da IA é "suave". Se você ensinar a ela como lidar com uma distância de 1 polegada e uma distância de 64.000 polegadas, a matemática preenche naturalmente as lacunas para as distâncias intermediárias (como 10.000 ou 30.000 polegadas) sem necessidade de ser explicitamente ensinada em cada passo individual. É como ensinar alguém a pular uma poça pequena e um cânion gigante; a pessoa intuitivamente descobre como pular um rio de tamanho médio no meio.

5. Os Resultados: Mais Rápido, Mais Barato, Melhor

Os pesquisadores testaram isso em modelos de IA populares (família LLaMA), tentando fazê-los lidar com 64.000 palavras em vez de apenas 8.000.

Eficiência: Eles usaram apenas sequências curtas de treinamento, economizando quantidades massivas de tempo e dinheiro.
Desempenho: A IA teve um desempenho melhor do que modelos que foram forçados a treinar em sequências completas e caras.
Versatilidade: Funcionou bem para várias tarefas, como responder perguntas, resumir textos e escrever código, provando que a IA não apenas memorizou o truque, mas realmente aprendeu a lidar com contextos longos.

Resumo

EndPrompt é uma maneira de ensinar uma IA a lidar com quantidades massivas de texto sem fazê-la ler quantidades massivas de texto. Ao manter os dados de treinamento curtos, mas "esticar" os rótulos de posição no final, a IA aprende o conceito de "longa distância" de forma eficiente. É como ensinar um corredor a correr uma maratona fazendo-o correr uma curta distância enquanto usa sapatos que dão a sensação de estar correndo uma maratona.

Resumo Técnico: EndPrompt – Extensão Eficiente de Contexto Longo via Ancoragem Terminal

1. Declaração do Problema

Estender a janela de contexto de Modelos de Linguagem de Grande Escala (LLMs) para lidar com entradas significativamente mais longas do que seus limites de pré-treinamento (por exemplo, de 8K para 64K tokens) é um desafio crítico para aplicações como QA de documentos longos, compreensão de código e recuperação de evidências. A abordagem predominante envolve o ajuste fino de modelos em sequências no comprimento alvo. No entanto, esse método incorre em custos proibitivos de memória e computação quadráticos devido à escala do mecanismo de atenção. Além disso, a coleta de corpora de alta qualidade e de formato longo é difícil.

Alternativas existentes, como interpolação de posição, atenção esparsa ou simulação baseada em blocos, frequentemente introduzem limitações: podem exigir treinamento substancial em sequências longas, alterar estruturas de atenção ou dividir texto contíguo de maneiras que prejudicam a continuidade semântica. Uma questão aberta fundamental permanece: é necessária supervisão densa em sequências de comprimento total para uma extensão de contexto confiável, ou sinais posicionais esparsos e estruturados são suficientes?

2. Metodologia: EndPrompt

Os autores propõem o EndPrompt, um método que alcança uma extensão de contexto eficaz utilizando apenas sequências de treinamento curtas. A ideia central é que expor um modelo a distâncias posicionais relativas de longo alcance não requer a construção de entradas físicas de comprimento total.

Mecanismo Central

O EndPrompt constrói uma sequência de treinamento composta por dois segmentos:

Contexto Curto Intacto: O texto original curto de treinamento é preservado como o primeiro segmento.
Prompt Terminal: Um prompt breve e genérico é anexado como um segundo segmento.

Manipulação de Índices Posicionais:
Enquanto o comprimento da sequência física permanece curto ( $a + b$ ), os índices posicionais atribuídos são manipulados para abranger a janela de contexto alvo ( $L$ ):

O contexto curto retém índices locais $[0, a-1]$ .
O prompt terminal recebe índices próximos ao limite alvo $[L-b, L-1]$ .
Interpolação Posicional (PI): Para adaptar o Embedding de Posição Rotacional (RoPE) a esse intervalo, os índices são reescalados por um fator $s > 1$ , reduzindo efetivamente a frequência angular da codificação posicional.

Fundamentação Teórica:
O método aproveita as propriedades do RoPE e da PI:

Restrição de Suavidade: A PI reduz a frequência efetiva das variações posicionais, induzindo um viés de suavidade sobre a função de atenção. Isso suprime oscilações de alta frequência instáveis em distâncias intermediárias não observadas.
Parâmetros Compartilhados: Os Transformers utilizam projeções de consulta e chave compartilhadas para todas as distâncias. Ao fornecer supervisão esparsa em ambos os extremos (contexto curto local e prompt terminal de longo alcance), o método restringe o espaço de parâmetros compartilhados, impedindo que o modelo aprenda comportamentos independentes e instáveis para distâncias intermediárias não observadas.
Integridade Semântica: Diferentemente de métodos baseados em blocos que dividem o texto, o EndPrompt preserva a continuidade semântica do contexto original, garantindo que o modelo aprenda interações de longo alcance sem interromper a previsão local de tokens.

Objetivo de Treinamento

O modelo passa por um ajuste fino autoregressivo padrão. A função de perda inclui previsões tanto para o contexto original quanto para o prompt terminal, com os tokens terminais recebendo um peso não nulo. Isso força o modelo a atender do ancoragem terminal de volta ao contexto original através da distância atribuída artificialmente grande, atuando como um regularizador implícito.

3. Contribuições Principais

Framework EndPrompt (ET): Um método de extensão de contexto eficiente que utiliza sequências de treinamento curtas, manipulação de índices posicionais e um prompt final anexado para simular supervisão posicional de longo alcance.
Preservação Semântica: Um design que mantém o contexto original como um segmento não dividido, preservando a continuidade semântica enquanto usa o prompt final como uma ancoragem terminal estável para criar relacionamentos de longa distância.
Análise Teórica: Uma explicação fundamentada no RoPE e na Interpolação Posicional, demonstrando como a variação posicional suave e os parâmetros compartilhados do Transformer permitem a generalização sobre distâncias intermediárias não observadas.
Validação Empírica: Avaliação abrangente mostrando que a supervisão posicional esparsa estruturada pode induzir uma generalização de contexto longo confiável sem treinamento de comprimento total.

4. Resultados Experimentais

O método foi avaliado em modelos da família LLaMA (LLaMA-2 7B e LLaMA-3 8B), estendendo a janela de contexto de 8K para 64K.

Benchmarks:

RULER (Benchmark Sintético): O EndPrompt alcançou uma pontuação média de 76,03, superando o LCEG (72,24), o LongLoRA (72,95) e o ajuste fino de comprimento total (69,23). Demonstrou robustez particular em tarefas complexas de recuperação de informações (por exemplo, Multi-needle, Rastreamento de Variáveis).
LongBench (Tarefas a Montante): O EndPrompt garantiu a maior pontuação média (38,30) em tarefas incluindo QA de Documento Único/Múltiplo, Sumarização, Aprendizado com Poucos Exemplos e Conclusão de Código, superando o ajuste fino de comprimento total (35,63).
Capacidades de Texto Curto: Após o ajuste fino supervisionado, o método manteve forte desempenho em benchmarks padrão de texto curto (MMLU, GSM8K, HumanEval, HellaSwag), alcançando uma média de 53,56, superando outras linhas de base.

Estudos de Ablação:

Modelos Base: O método provou ser eficaz em diferentes arquiteturas (Mistral-7B, LLaMA-2-7B).
Comprimento de Extensão: O desempenho permaneceu estável ao estender para 32K, 96K e até 128K, com apenas degradação menor em comprimentos extremos.
Quantidade de Tokens: Aumentar os dados de treinamento de 0,5B para 2,0B tokens resultou em melhorias consistentes de desempenho.
Robustez do Prompt: O método foi insensível a variações específicas na redação do prompt final, dependendo da posição estrutural em vez da memorização de tokens específicos.
Compatibilidade: A combinação do EndPrompt com Embedding de Salto Posicional (ET(PoSE)) produziu as maiores pontuações em ambos os benchmarks.

5. Significado e Alegações

O artigo afirma que o EndPrompt desafia a suposição predominante de que o treinamento denso em sequências longas é necessário para uma extensão confiável da janela de contexto. Ao demonstrar que os modelos podem adquirir capacidades de contexto longo a partir de supervisão posicional esparsa em sequências curtas, o trabalho oferece uma alternativa prática e economicamente viável ao ajuste fino de comprimento total.

Os autores enfatizam que o sucesso do método decorre da sinergia entre:

Preservar a integridade semântica evitando a divisão de texto em blocos.
Utilizar o viés de suavidade da Interpolação Posicional.
Restringir parâmetros compartilhados através de supervisão em dupla escala (local e terminal).

O artigo conclui que uma adaptação confiável a contextos longos pode ser induzida através do design de supervisão posicional informativa, mantendo as sequências de treinamento físicas curtas enquanto alcança desempenho de última geração em benchmarks de contexto longo.