Technische Samenvatting: Syntax-geïnformeerde Positionele Embeddings voor Transformers

Probleemstelling

Hoewel de Transformer-architectuur de basis vormt voor moderne Large Language Models (LLM's), vormt de afhankelijkheid van standaard positionele embeddings (PE) een fundamentele beperking: deze embeddings coderen tokenafstand en lineaire volgorde, maar blijven grotendeels agnostisch voor de syntactische structuur. Dit gebrek aan expliciete syntactische modellering belemmert de extractie van semantische frames en compositionele generalisatie, omdat het model niet over de signalen beschikt om predikaten te koppelen aan hun argumenten wanneer deze lineair ver uit elkaar liggen maar syntactisch dichtbij zijn.

Bestaande pogingen om een syntactische inductieve bias te injecteren, maken vaak gebruik van complexe architecturale wijzigingen, zoals het beperken van self-attention via hard-coded maskers of het onderhouden van recursieve stacks (bijv. Pushdown LMs). Deze benaderingen verhogen vaak de computationele overhead, vereisen significante architecturale veranderingen, of marginaliseren over vele parsebomen tijdens de inferentie, wat leidt tot hoge kosten. Daartegenover staan "parser-vrije" methoden die syntaxis alleen tijdens de training injecteren, wat vaak resulteert in het verliezen van syntactische kennis tijdens runtime, met zwakkere generalisatie tot gevolg.

Methodologie: Syntax-geïnformeerde Positionele Embeddings (SiPE)

De auteurs stellen SiPE voor, een lichtgewicht methode die het positionele pad van een model versterkt met een syntactische prior afgeleid van dependency parses, zonder de self-attention mechanisme of de kern van de Transformer-architectuur te wijzigen.

Kerncomponenten

1. Hexatagging: De methode maakt gebruik van Hexatagging, een "parsing-als-tagging"-benadering die een dependency boom lineariseert naar een sequentie van discrete tags. Elk token krijgt twee soorten labels toegewezen:

   • Terminale tags: Geven de bevestigingsrichting aan (linker vs. rechter kind).
   • Niet-terminale tags: Geven de richting van de kop (L vs. R) aan voor interne knopen.
     Deze tags worden in kaart gebracht naar geleerde embedding-tabellen ($E_T$ voor terminalen, $E_N$ voor niet-terminalen).

2. Injectiestrategieën: De syntactische prior wordt in het model geïnjecteerd via twee primaire paden, afhankelijk van de architectuur:

   • Injectie aan de inputzijde (Encoders): Voor modellen zoals RoBERTa, DeBERTa-v3 en ModernBERT worden de tag-embeddings direct opgeteld bij de input token-embeddings. Dit creëert een samengestelde inputvector waarbij de syntactische prior op hetzelfde niveau staat als absolute of relatieve positionele informatie.
   • Injectie in het positionele pad (Autoregressieve Decoders): Voor modellen zoals Transformer-XL (die relatieve PE gebruiken in de attention score) vinden de auteurs dat het injecteren van de prior direct in de positionele term van de attention score superieur is. Specifiek wordt de tag-embedding geprojecteerd en multiplicatief gekoppeld aan de relatieve-positie term ($BD$) van de attention score. Dit stelt de syntactische bias in staat om bestaande positionele voorkeuren te moduleren, in plaats van te fungeren als een onafhankelijke, ongeconditioneerde bias.

3. Architectuur-agnosticisme: SiPE is ontworpen om te kunnen combineren met de drie dominante PE-families:

   • Absolute PE: Toegevoegd aan de input-embeddings.
   • Relatieve PE: Multiplicatief gekoppeld aan de positionele term in de attention score (voor decoders) of toegevoegd aan de input-embeddings (voor encoders).
   • Rotary PE (RoPE): Geïnjecteerd als een faseverschuiving in de rotatiehoeken voordat de query- en key-vectoren worden geroteerd.

4. Training: Het model wordt voorgetraind met een aanvullende indicator-voorspellingsdoelstelling naast de standaard taalmodellering-loss (MLM voor encoders, next-token prediction voor decoders). De tag-embeddings worden gezamenlijk met de LM-doelstelling geleerd.

Belangrijkste Bijdragen

1. Nieuw Injectiemechanisme: Introductie van SiPE, dat syntactische structuur integreert via lichtgewicht prior-vectoren afgeleid van Hexatagging, waardoor het niet nodig is om de self-attention gewichten te wijzigen of complexe attention-maskers te introduceren.
2. Architecturale Specificiteit: Het artikel isoleert het optimale injectiepunt op basis van architectuur:
   • Voor encoders is directe optelling bij de input-embeddings het meest effectief.
   • Voor autoregressieve decoders die relatieve PE gebruiken, levert multiplicatieve koppeling met de positionele term in de attention score de beste resultaten op, wat beter presteert dan input-zijde injectie of gedisentangled additieve termen.
3. Verschuiving van de Pareto-front: SiPE conditioneert op een enkele parse tijdens de inferentie. Dit vestigt een nieuwe afruil tussen syntactisch toezicht en de kosten van inferentie, waarbij het de meeste voordelen biedt van volledige marginalisatie (die ongeveer 300 parses vereist) tegen 1/300e van de kosten, terwijl het beter presteert dan parser-vrije methoden.
4. Brede Compatibiliteit: De methode wordt gevalideerd over meerdere modelfamilies (RoBERTa, DeBERTa-v3, ModernBERT, Transformer-XL) en PE-schema's (absolute, relatieve, rotary).

Experimentele Resultaten

De auteurs evalueren SiPE op zowel intrinsieke (syntactische) als extrinsieke (downstream) benchmarks.

• Intrinsieke Evaluatie (SyntaxGym & BLiMP):

  • Op SyntaxGym verbetert SiPE de scores met maximaal 10,3% relatief ten opzichte van een basis Transformer-XL model zonder syntactisch toezicht.
  • Op BLiMP verbetert SiPE de syntactische generalisatie over alle encoder-families (bijv. +2,3% voor ModernBERT).
  • Cruciaal is dat deze winsten worden behaald terwijl de perplexity wordt verminderd met 9,0% op de BLLIP-LG dataset, een metriek waarbij veel bestaande syntaxis-injectiemethoden de prestaties verslechteren.

• Extrinsieke Evaluatie (GLUE):

  • SiPE verbetert de prestaties op de GLUE-benchmark over alle geteste architecturen.
  • Voor de Transformer-XL decoder drijft SiPE een +8,2% relatieve verbetering op de GLUE macro-gemiddelde.
  • Encoder-modellen (RoBERTa, DeBERTa, ModernBERT) vertonen ook consistente winsten op GLUE-taken, wat aangeeft dat syntactische priors het werkelijke taalbegrip verbeteren buiten enkel syntactische generalisatie.

• Ablatie-studies:

  • Injectiediepte: Voor decoders is het injecteren van syntaxis vanaf de eerste laag cruciaal; het overslaan van de eerste laag veroorzaakt een scherpe daling in syntactische generalisatie.
  • Koppelings type: Multiplicatieve koppeling (het gaten van de positionele term door de tag-uitlijning) presteert beter dan volledig gedisentangled additieve injectie, wat suggereert dat syntaxis het meest effectief is wanneer het bestaande positionele voorkeuren aanscherpt.

Betekenis en Claims

Het artikel beweert dat SiPE een eenvoudige, lichtgewicht en effectieve strategie biedt om syntactische informatie in elke Transformer-architectuur te injecteren. Door het self-attention mechanisme en de rest van de architectuur ongewijzigd te laten, garandeert SiPE compatibiliteit met standaard downstream workflows, inclus\nief continue pre-training, supervised fine-tuning en reinforcement learning.

De auteurs benadrukken dat SiPE de Pareto-front verplaatst tussen syntactisch toezicht en de kosten van inferentie. In tegen tegenstelling tot gezamenlijke syntactische taalmodellen die marginaliseren over vele parses (duur) of parser-vrije methoden die syntaxis tijdens runtime weggooien (zwakke generalisatie), conditioneert SiPE op een enkele parse, waardoor het de meeste voordelen behoudt tegen een fractie van de kosten.

Beperkingen erkend door de auteurs:

• Inferentie-afhankelijkheid: De aanpak vereist een dependency parser (de Hexatagger) tijdens de inferentie om tags te genereren, wat een preprocessing stap toevoegt.
• Autoregressieve Generatie: Het genereren van tekst autoregressief vereist het opnieuw taggen van de sequentie bij elke stap, wat standaard KV-caching strategieën bemoeilijkt, aange omdat de parser mogelijk de tags van eerdere tokens herzien naarmate de sequentie groeit.
• Omvang: De studie is beperkt tot kleine modellen, Engelse tekst en specifieke pre-training budgetten. De schaalbaarheid van deze winsten naar miljarden parameters groot en andere talen blijft een open vraag.
• Granulariteit: De methode gebruikt grofmazige directionele tags; het integreren van volledige dependency relation labels (DEPREL) leverde in hun voorlopige experimenten geen extra winst op.