Sequence Repetition Enhances Token Embeddings and Improves Sequence Labeling with Decoder-only Language Models

Technische Samenvatting: Sequentieherhaling versterkt token-embeddings en verbetert sequentie-labeling met decoder-only taalmodellen

Probleemstelling
Moderne decoder-only Large Language Models (LLM's) worden autoregressief getraind, waarbij ze alleen geconditioneerd zijn op het prefix van een sequentie via een causale maskering (causal mask). Deze unidirectionele architectuur staat in contrast met Sequence Labeling (SL) taken (bijv. Named Entity Recognition, Slot Labeling), die inherent profiteren van bidirectionele context om labels aan individuele tokens toe te wijzen. Historisch gezien heeft SL vertrouwd op encoder-only modellen (bijv. BERT, RoBERTa) die van nature bidirectionele aandacht ondersteunen. Hoewel decoder-only modellen superieure schaalbaarheid hebben getoond, vereist het aanpassen van deze modellen aan SL doorgaans ingrijpende architecturale wijzigingen, zoals het volledig of selectief verwijderen van de causale maskering (CM). Deze wijzigingen veranderen de basisfunctionaliteit van het model en vereisen aanzienlijke herengineering. Bovendien is de effectiviteit van input-sequentieherhaling (Sequence Repetition, SR) voor het verbeteren van sequentie-gebaseerde representaties onderzocht, maar de effectiviteit ervan voor token-gebaseerde embeddings en SL-prestaties blijft onderbelicht.

Methodologie
De auteurs stellen Sequence Repetition (SR) voor als een niet-invasief alternatief om bidirectionaliteit mogelijk te maken in decoder-only modellen zonder hun kernarchitectuur te wijzigen.

• Mechanisme: De input-sequentie $s$ wordt $r$ keer herhaald om een nieuwe sequentie $s_k$ te vormen van lengte $k \cdot n$ (waarbij $k = r+1$). Door de causale maskering kunnen tokens in latere herhalingen aandacht schenken aan alle tokens in voorgaande herhalingen. Theoretische analyse van de aandachtsgewichtsmatrix toont aan dat naarmate $k$ toeneemt, de proportie van volledig bidirectionele aandachtblokken de 1 nadert, waardoor het model effectief tokens met volledige context kan verwerken.
• Experimentele opzet: De studie evalueert SR over zeven decoder-only modellen (Gemma-7B, Gemma2-2B/9B, Qwen3-1.7B/4B/8B, Mistral-7B) en vier SL-datasets (CoNLL03, SemEval-2014 Rest14, NLU++, ACE05).
• Baselines: Prestaties worden vergeleken met:
  1. Masked Decoder: Standaard fine-tuning zonder herhalingen ($r=0$).
  2. Full Unmasking: Het volledig verwijderen van de causale maskering.
  3. Middle Unmasking: Het verwijderen van de causale maskering alleen uit de middelste $N/3$ lagen (een parameter-efficiënte adaptatiestrategie).
  4. Encoder-only Modellen: RoBERTa en ModernBERT.
• Efficiëntiestrategie: Om de computationele kosten van de toegenomen sequentielengte te beperken, gebruiken de auteurs Early Exiting, waarbij embeddings worden geëxtraheerd uit tussenliggende lagen ($L \in \{9, 14, 19, 24\}$) in plaats van de laatste laag.

Belangrijkste bijdragen

1. Effectiviteit van SR voor token-gebaseerde taken: Het artikel toont aan dat SR een eenvoudige, praktische strategie is die inherent bidirectionaliteit mogelijk maakt in decoder-only modellen. SR levert token-embeddings die zowel sterke encoder-only modellen als unmasked decoders overtreffen op meerdere SL-benchmarks.
2. Voordeel van meerdere herhalingen: In tegenstelling tot eerdere bevindingen bij sequentie-gebaseerde taken, waarbij extra herhalingen leidde tot afnemende meeropbrengsten of degradatie, stelt dit werk vast dat het verhogen van het aantal herhalingen ($r > 1$) de SL-prestaties consistent verbetert. De auteurs hypothetiseren dat extra herhalingen de effectieve verwerkingscapaciteit van het model voor elk token vergroten.
3. Efficiëntie via Early Exiting: De studie toont aan dat het extraheren van embeddings uit tussenliggende lagen (specifiek lagen 19 en 24 in een 32-laags model) in combinatie met SR prestaties bereikt die vergelijkbaar zijn met embeddings van de laatste laag, terwijl de computationele overhead aanzienlijk wordt verminderd (tot $1,39\times$ efficiënter).

Resultaten

• Prestatiewinst: SR-modellen behalen consistent de hoogste Micro F1-scores. Bijvoorbeeld, Mistral-7B met SR ($r=4$) behaalde een gemiddelde score van 83,79%, wat beter is dan Middle Unmasking (83,35%) en Full Unmasking (83,34%). SR overtrof ook de encoder-only baselines (RoBERTa: 78,53%, ModernBERT: 76,08%).
• Aantal herhalingen: De prestaties verbeteren over het algemeen naarmate $r$ toeneemt van 0 naar 4 of 8. Hoewel kleinere modellen (bijv. Gemma2-2B) verzadiging of lichte dalingen vertoonden na $r=2$ of $r=4$, bleven grotere modellen (bijv. Mistral-7B, Qwen3-8B) profiteren van hogere aantallen herhalingen.
• Stabiliteit: SR verbeterde niet alleen de gemiddelde prestaties, maar verminderde ook de variantie (standaarddeviatie) van de resultaten in vergelijking met unmasking-strategieën.
• Early Exiting: Embeddings van laag $L=14$ of hoger evenaarden of overtroffen in verschillende gevallen de prestaties van de laatste laag ($L=32$), wat het gebruik van tussenliggende lagen valideert voor efficiëntie zonder kwaliteitsverlies.
• Modelgrootte: Zelfs kleinere decoder-only modellen (bijv. Qwen3-0.34B via early exiting) die met SR zijn getraind, presteerden op gelijke hoogte met of beter dan de 0,35B parameter RoBERTa, wat suggereert dat SR kleinere decoders in staat stelt om te concurreren met gespecialiseerde encoders.

Betekenis en Claims
Het artikel claimt dat Sequence Repetition de structurele beperkingen van decoder-only modellen verlicht, waardoor ze effectief kunnen presteren op inherent bidirectionele token-gebaseerde taken zonder architecturale modificatie. De auteurs positioneren SR als een efficiënter en aanpasbaarder alternatief voor het verwijderen van de causale maskering, waardoor de toepasbaarheid van decoder-only LM's wordt vergroot voor taken die voorheen werden gedomineerd door encoders. De bevindingen onderstrepen dat tussenliggende lagen cruciaal zijn voor downstream-taken en dat het verhogen van het aantal herhalingen de verwerkingscapaciteit kan vergroten in plaats van de prestaties te verslechteren, wat eerdere aannames over herhaling in LM's uitdaagt. Het werk suggereert dat SR een gunstige kwaliteit-efficiëntie-afweging biedt, met name wanneer het wordt gecombineerd met early exiting-strategieën.