Technische Samenvatting: Geef het Ruimte! Expliciete Ontkoppeling van Positionele en Semantische Representaties in Encoders

Probleemstelling

Positionele Encoding (PE) is fundamenteel voor de manier waarop permutatie-invariante Transformers de volgorde van een sequentie representeren, maar de interne mechanismen van hoe positionele informatie wordt verwerkt en opgeslagen, blijven slecht begrepen. Moderne benaderingen, met name Methoden voor Relatieve Positionele Encoding (RPE) zoals Rotary Positional Encoding (RoPE), hebben vaak moeite met het begrijpen en ophalen van informatie in lange contexten. Bovendien vertrouwen bestaande RPE-methoden op heuristieken (bijvoorbeeld langdurige afname) die positionele biases kunnen creëren en de prestaties kunnen beperken. Hoewel bewijs suggereert dat positionele en semantische signalen in getrainde Transformers bijna orthogonale deelruimten bezetten, verstrengelen standaardarchitecturen deze signalen, waardoor het moeilijk is om hun specifieke rollen te isoleren of ze onafhankelijk te optimaliseren. De auteurs stellen dat het expliciet scheiden van deze stromen mechanistische inzichten kan bieden en kan leiden tot betere positionele representaties.

Methodologie

De auteurs stellen een nieuwe architectuur voor, DSTG-NeoBERT, die expliciet drie informatiestromen ontkoppelt: Semantisch, Absolute Positionele (AP) en Relatieve Positionele (RP).

Architecturale Aanpassingen

Gebaseerd op de NeoBERT-architectuur, verwerkt het model deze stromen via specifieke aanpassingen:

1. Input Representaties: Elk token wordt weergegeven door twee aparte embeddings: een $d_{AP}$-dimensionale AP-embedding en een $d_{sem}$-dimensionale semantische embedding. De totale verborgen grootte is $d_{model} = d_{AP} + d_{sem}$.
2. Aandachtmechanisme:
   • Queries en Keys worden onafhankelijk berekend voor elke stroom binnen elke aandachtkop.
   • De attentielogit is de som van de Relatieve Positionele (RP) bias, de semantische aandachtwaarde en de AP-aandachtwaarde.
   • Waarden worden apart berekend voor elke stroom en blijven in hun respectieve ruimten.
   • Een belangrijke ontwerpkeuze projecteert beide stromen naar dezelfde grootte per kop om variatiematching te garanderen, waardoor wordt voorkomen dat de hogerdimensionale ruimte de overhand neemt.
3. Layernormalisatie: Afzonderlijke RMSNorm-lagen worden toegepast op de AP- en semantische embeddings voor en na de aandacht om onderlinge afhankelijkheid te voorkomen.
4. Feed-Forward Netwerk (SwiGLU): De semantische en positionele embeddings worden samengevoegd en geprojecteerd in een verborgen ruimte. Cruciaal is dat de down-projectie de informatie opnieuw scheidt in aparte AP- en semantische stromen. Dit is het enige onderdeel waar de stromen direct met elkaar interageren, wat semantisch geconditioneerde structurele updates mogelijk maakt.
5. Trainingsdoel (MLM Decoding): De Masked Language Modeling (MLM) decoding-kop wordt alleen toegepast op het semantische deel van de laatste verborgen toestand. Het AP-component van de laatste laag ontvangt geen gradiënt van het MLM-doel, waardoor de positionele deelruimte effectief wordt bevrijd van voorspellingsdruk.
6. Basislijnen: De auteurs vergelijken DSTG-NeoBERT met drie basislijnen die zijn getraind op dezelfde data (FineWeb) met identieke hyperparameters:
   • RoPE-NeoBERT: Gebruikt Rotary Positional Encoding.
   • AP-NeoBERT: Gebruikt geleerde Absolute Positionele embeddings (verstrengeld).
   • RP-NeoBERT: Gebruikt een geleerde Relatieve Positionele bias.

Belangrijkste Bevindingen en Bijdragen

1. Emergentie van een Laagfrequente Structurele Manifold

De geïsoleerde AP-deelruimte in het ontkoppelde model stort spontaan in tot een laagfrequente tweedimensionale manifold.

• Dimensionaliteitsreductie: PCA op de geleerde AP-embeddingmatrix toont aan dat de eerste twee hoofdcomponenten 94,1% van de totale ruimtelijke variantie vangen.
• Frequentieanalyse: Een Type-II Discrete Cosine Transform bevestigt dat deze componenten werken op lage frequenties, waarbij bijna alle spectrale kracht in de eerste vier bakken wordt geconcentreerd.
• Contrast: In tegenstelling hiermee blijft de verstrengelde AP-basislijn (AP-NeoBERT) hogerdimensionaal en wordt gedomineerd door hoogfrequente signalen, waarbij slechts 23,4% van de variantie in de eerste twee hoofdcomponenten wordt vastgelegd.

2. Specialisatie van Aandachtkoppen

De ontkoppelde architectuur onthult een duidelijke functionele taxonomie waarbij aandachtkoppen zich bijna uitsluitend specialiseren in twee groepen:

• Structuurgerichte Koppen: Zwaar beïnvloed door AP-informatie.
• Semantiekgerichte Koppen: Gedreven door semantische inhoud.
• Rol van RP: De auteurs vonden geen puur RP-gerichte koppen. In plaats daarvan fungeert de RP-bias als een lokaal ondersteuningsmechanisme voor semantische koppen (bijvoorbeeld om te voorkomen dat zelf-attention zich richt op verre context), terwijl AP dient als een distincte stroom met structurele informatie.

3. Behoud van Macroscopische Structuur

Standaard positionele encodings slagen er niet in om de macroscopische documentstructuur robuust te behouden:

• Verstrengelde AP: Hoewel AP-NeoBERT structurele informatie in tussenliggende lagen codeert, verliest het de meeste van deze informatie in de laatste laag door interferentie van het MLM-voorspellingsdoel (positionele dimensies worden herbestemd voor semantische voorspelling).
• Relatieve Methoden (RoPE/RP): Deze methoden slagen er grotendeels niet in om macroscopische documentstructuur in hun verborgen staten te coderen onder MLM-pretraining.
• Ontkoppelde Oplossing: Door positie uit te besteden aan een geïsoleerde deelruimte en deze uit te sluiten van de MLM-kop, behoudt DSTG-NeoBERT structurele informatie (grenzen van zinnen/paragrafen) door het hele netwerk, inclusief de laatste laag.

4. Probing Resultaten

De auteurs evalueerden de modellen met lineaire probes op drie niveaus van hiërarchie en de Flash-Holmes-benchmark:

• Token-niveau & Segment-niveau AP: DSTG-NeoBERT behoudt hoge $R^2$-scores voor absolute en segment-niveau positie in de laatste laag, terwijl verstrengelde AP en relatieve basislijnen significante degradatie vertonen.
• Intra-Segment Positie: Interessant genoeg is intra-segment positie-informatie in alle modellen op te halen uit de semantische deelruimte, wat suggereert dat deze specifieke lokale informatie de AP-stroom niet nodig heeft.
• Linguïstische Fideliteit (Flash-Holmes): De ontkoppelde architectuur verbetert de probing-resultaten voor 49 van de 65 linguïstische fenomenen over vijf gebieden (Morfologie, Syntaxis, Semantiek, Discours, Redenering). Opmerkelijk is dat het alle basislijnen overtreft in Syntaxis, Semantiek en Discours.

Betekenis en Claims

Het artikel beweert dat het expliciet ontkoppelen van positionele en semantische stromen een "schone mechanistische studie" van Transformer-interne mechanismen biedt. De primaire betekenis ligt in het aantonen dat:

1. Positionele informatie inherent laagdimensionaal en structureel is, en zich ordent tot een eenvoudige manifold wanneer het niet wordt gedwongen om te concurreren met semantische voorspelling.
2. Het verlies van structurele informatie in standaardmodellen een direct gevolg is van het MLM-doel dat positionele dimensies in de laatste lagen overschrijft.
3. Het ontkoppelen van deze stromen rijkere embeddings mogelijk maakt die macroscopische documentstructuur behouden, wat leidt tot verbeterde linguïstische representaties zonder de standaard downstream-prestaties te verslechteren (GLUE, MTEB, SQuAD-resultaten blijven vergelijkbaar met basislijnen).

De auteurs suggereren dat deze aanpak een nieuwe richting biedt voor het ontwerpen van positionele encodings die niet interfereren met semantische representaties en praktische toepassingen mogelijk maken, zoals het cacheën van positie-onafhankelijke semantische representaties voor RAG of het manipuleren van de laagdimensionale AP-manifold voor lengte-extrapolatie. Ze merken echter op dat deze bevindingen momenteel beperkt zijn tot alleen-encoder-modellen en een relatief kleine schaal (6 lagen, 22B tokens).