Technische Samenvatting: EndPrompt – Efficiënte Extensie van Lange Context via Ankeren aan het Einde

1. Probleemstelling

Het uitbreiden van het contextvenster van Large Language Models (LLMs) om invoer aanzienlijk langer dan hun voortrainingslimieten te verwerken (bijvoorbeeld van 8K naar 64K tokens) is een kritieke uitdaging voor toepassingen zoals vragen beantwoorden over lange documenten, codebegrip en het ophalen van bewijs. De heersende aanpak omvat het fijnafstemmen van modellen op sequenties met de doelstellinglengte. Deze methode brengt echter verbodsdure kwadratische geheugen- en rekenkosten met zich mee als gevolg van de schaling van het aandachtsmechanisme. Bovendien is het verzamelen van hoogwaardige, langwerpige corpora moeilijk.

Bestaande alternatieven, zoals positie-interpolatie, sparse attention of simulatie op basis van chunks, brengen vaak beperkingen met zich mee: ze kunnen aanzienlijke training op lange sequenties vereisen, aandachtsstructuren wijzigen, of aaneengesloten tekst opsplitsen op een manier die de semantische continuïteit beschadigt. Een fundamentele open vraag blijft: Is dichte supervisie op sequenties van volledige lengte noodzakelijk voor betrouwbare contextextensie, of kunnen spaarzame, gestructureerde positionele signalen volstaan?

2. Methodologie: EndPrompt

De auteurs stellen EndPrompt voor, een methode die effectieve contextextensie bereikt met behulp van uitsluitend korte trainingssequenties. Het kerninzicht is dat het blootstellen van een model aan relatieve positionele afstanden op lange afstand niet vereist dat volledige fysieke invoer van lange lengte wordt geconstrueerd.

Kernmechanisme

EndPrompt construeert een trainingssequentie bestaande uit twee segmenten:

1. Onaangetast Korte Context: De originele korte trainings tekst wordt bewaard als het eerste segment.
2. Eindprompt: Een korte, generieke prompt wordt toegevoegd als een tweede segment.

Manipulatie van Positionele Indexen:
Hoewel de fysieke sequentielengte kort blijft ($a + b$), worden de toegewezen positionele indexen gemanipuleerd om het doelcontextvenster ($L$) te bespannen:

• De korte context behoudt lokale indexen $[0, a-1]$.
• De eindprompt krijgt indexen toegewezen nabij de doelgrens $[L-b, L-1]$.
• Positie-interpolatie (PI): Om Rotary Position Embedding (RoPE) aan te passen aan dit bereik, worden indexen herschaald met een factor $s > 1$, wat effectief de hoekfrequentie van de positionele codering verlaagt.

Theoretische Grondslag:
De methode maakt gebruik van de eigenschappen van RoPE en PI:

• Vlakheidsbeperking: PI verlaagt de effectieve frequentie van positionele variaties, wat een bias naar vlakheid induceert over de aandachtsfunctie. Dit onderdrukt onstabiele hoogfrequente oscillaties in niet-geobserveerde tussenliggende afstanden.
• Gedeelde Parameters: Transformers gebruiken gedeelde query- en key-projecties voor alle afstanden. Door spaarzame supervisie te bieden op zowel lokale (korte context) als lange-afstands (eindprompt) extremen, beperkt de methode de gedeelde parameter ruimte, waardoor wordt voorkomen dat het model onafhankelijk, onstabiel gedrag leert voor niet-geobserveerde tussenliggende afstanden.
• Semantische Integriteit: In tegenstelling tot op chunks gebaseerde methoden die tekst opsplitsen, behoudt EndPrompt de semantische continuïteit van de originele context, waardoor het model lange-afstandsinteracties leert zonder lokale tokenvoorspelling te verstoren.

Trainingsdoel

Het model ondergaat standaard autoregressief fijnafstemmen. De verliesfunctie omvat voorspellingen voor zowel de originele context als de eindprompt, waarbij de eindtoken een niet-nul gewicht krijgen. Dit dwingt het model om vanaf het eindanker terug te kijken naar de originele context over de kunstmatig grote toegewezen afstand, fungerend als een impliciete regularisator.

3. Belangrijkste Bijdragen

1. EndPrompt (ET) Framework: Een efficiënte methode voor contextextensie die gebruikmaakt van korte trainingssequenties, manipulatie van positionele indexen en een toegevoegde eindprompt om supervisie op lange-afstandsposities te simuleren.
2. Semantische Behoud: Een ontwerp dat de originele context behoudt als een ongesplitst segment, waardoor semantische continuïteit wordt behouden terwijl de eindprompt wordt gebruikt als een stabiel eindanker om relaties op lange afstand te creëren.
3. Theoretische Analyse: Een uitleg gebaseerd op RoPE en Positie-interpolatie, die aantoont hoe gladde positionele variatie en gedeelde Transformer-parameters generalisatie over niet-geobserveerde tussenliggende afstanden mogelijk maken.
4. Empirische Validatie: Uitgebreide evaluatie die aantoont dat gestructureerde spaarzame positionele supervisie betrouwbare generalisatie op lange context kan induceren zonder training op volledige lengte.

4. Experimentele Resultaten

De methode werd geëvalueerd op modellen van de LLaMA-familie (LLaMA-2 7B en LLaMA-3 8B), waarbij het contextvenster werd uitgebreid van 8K naar 64K.

Benchmarks:

• RULER (Synthetische Benchmark): EndPrompt behaalde een gemiddelde score van 76,03, wat beter was dan LCEG (72,24), LongLoRA (72,95) en fijnafstemmen op volledige lengte (69,23). Het toonde bijzonder robuustheid in complexe informatiewinsopdrachten (bijvoorbeeld Multi-naald, Variabele Tracking).
• LongBench (Downstream Taken): EndPrompt behaalde de hoogste gemiddelde score (38,30) over taken waaronder Single/Multi-Doc QA, Samenvatting, Few-Shot Learning en Code Completion, en overtrof fijnafstemmen op volledige lengte (35,63).
• Capaciteiten voor Korte Tekst: Na toezichtgevend fijnafstemmen behield de methode sterke prestaties op standaard benchmarks voor korte tekst (MMLU, GSM8K, HumanEval, HellaSwag), met een gemiddelde van 53,56, wat beter was dan andere baselines.

Ablatiestudies:

• Basismodellen: De methode bleek effectief over verschillende architecturen (Mistral-7B, LLaMA-2-7B).
• Extensielengte: De prestaties bleven stabiel bij uitbreiding naar 32K, 96K en zelfs 128K, met slechts geringe degradatie bij extreme lengtes.
• Tokenhoeveelheid: Het schalen van trainingsdata van 0,5B naar 2,0B tokens leverde consistente prestatieverbeteringen op.
• Robuustheid van Prompt: De methode was ongevoelig voor specifieke variaties in de woordkeuze van de eindprompt, en leunde op de structurele positie in plaats van op specifieke tokenmemorisatie.
• Compatibiliteit: Het combineren van EndPrompt met Positional Skip-Embedding (ET(PoSE)) leverde de hoogste scores op beide benchmarks op.

5. Betekenis en Claims

Het artikel stelt dat EndPrompt de heersende aanname uitdaagt dat dichte training op lange sequenties noodzakelijk is voor betrouwbare extensie van het contextvenster. Door aan te tonen dat modellen lange-contextcapaciteiten kunnen verwerven vanuit spaarzame positionele supervisie op korte sequenties, biedt het werk een praktische, kosteneffectief alternatief voor fijnafstemmen op volledige lengte.

De auteurs benadrukken dat het succes van de methode voortkomt uit de synergie tussen:

1. Het behoud van semantische integriteit door het vermijden van tekstopsplitsing.
2. Het benutten van de vlakheidsbias van Positie-interpolatie.
3. Het beperken van gedeelde parameters door supervisie op twee schalen (lokaal en eind).

Het artikel concludeert dat betrouwbare aanpassing voor lange context kan worden geïnduceerd door het ontwerp van informatieve positionele supervisie, waarbij fysieke trainingssequenties kort worden gehouden terwijl state-of-the-art prestaties op benchmarks voor lange context worden bereikt.