Riepilogo Tecnico: Dagli Spazi! Disaccoppiamento Esplicito delle Rappresentazioni Posizionali e Semantiche negli Encoder

Enunciato del Problema

La Codifica Posizionale (PE) è fondamentale per il modo in cui i Transformer invariante per permutazione rappresentano l'ordine della sequenza, eppure i meccanismi interni su come le informazioni posizionali vengono elaborate e memorizzate rimangono scarsamente compresi. Gli approcci moderni, in particolare i metodi di Codifica Posizionale Relativa (RPE) come la Codifica Posizionale Rotatoria (RoPE), spesso faticano con compiti di comprensione e recupero in contesti lunghi. Inoltre, i metodi RPE esistenti si basano su euristiche (ad esempio, decadimento a lungo termine) che possono creare bias posizionali e limitare le prestazioni. Sebbene le evidenze suggeriscano che i segnali posizionali e semantici occupino sottospazi quasi ortogonali nei Transformer addestrati, le architetture standard intrecciano questi segnali, rendendo difficile isolare i loro ruoli specifici o ottimizzarli indipendentemente. Gli autori ipotizzano che separare esplicitamente questi flussi potrebbe fornire intuizioni meccanicistiche e portare a rappresentazioni posizionali migliori.

Metodologia

Gli autori propongono una nuova architettura, DSTG-NeoBERT, che disaccoppia esplicitamente tre flussi di informazioni: Semantico, Posizionale Assoluto (AP) e Posizionale Relativo (RP).

Modifiche Architettoniche

Basandosi sull'architettura NeoBERT, il modello elabora questi flussi attraverso modifiche distinte:

1. Rappresentazioni di Input: Ogni token è rappresentato da due embedding separati: un embedding AP di dimensione $d_{AP}$ e un embedding semantico di dimensione $d_{sem}$. La dimensione nascosta totale è $d_{model} = d_{AP} + d_{sem}$.
2. Meccanismo di Attenzione:
   • Le Query e le Chiavi sono calcolate indipendentemente per ciascun flusso all'interno di ciascuna testa di attenzione.
   • Il logit di attenzione è la somma del bias Posizionale Relativo (RP), del peso di attenzione semantica e del peso di attenzione AP.
   • I Valori sono calcolati separatamente per ciascun flusso e rimangono nei rispettivi spazi.
   • Una scelta progettuale chiave proietta entrambi i flussi alla stessa dimensione per testa per garantire la corrispondenza della varianza, impedendo allo spazio a dimensionalità più alta di dominare.
3. Normalizzazione di Livello: Sono applicati livelli separati di RMSNorm agli embedding AP e semantici prima e dopo l'attenzione per evitare interdipendenze.
4. Rete Feed-Forward (SwiGLU): Gli embedding semantici e posizionali sono concatenati e proiettati in uno spazio nascosto. Crucialmente, la proiezione di discesa ri-separa le informazioni in flussi AP e semantici distinti. Questo è l'unico componente in cui i flussi interagiscono direttamente, consentendo aggiornamenti strutturali condizionati semanticamente.
5. Obiettivo di Addestramento (Decodifica MLM): La testa di decodifica del Modelling Linguistico Mascherato (MLM) è applicata solo alla parte semantica dello stato nascosto finale. Il componente AP dell'ultimo strato non riceve gradienti dall'obiettivo MLM, liberando efficacemente il sottospazio posizionale dalla pressione predittiva.
6. Baseline: Gli autori confrontano DSTG-NeoBERT con tre baseline addestrate sugli stessi dati (FineWeb) con gli stessi iperparametri:
   • RoPE-NeoBERT: Utilizza la Codifica Posizionale Rotatoria.
   • AP-NeoBERT: Utilizza embedding Posizionali Assoluti appresi (intrecciati).
   • RP-NeoBERT: Utilizza un bias Posizionale Relativo appreso.

Risultati Chiave e Contributi

1. Emergenza di un Manifold Strutturale a Bassa Frequenza

Il sottospazio AP isolato nel modello disaccoppiato collassa spontaneamente in un manifold bidimensionale a bassa frequenza.

• Riduzione della Dimensionalità: L'analisi PCA sulla matrice degli embedding AP appresi rivela che le prime due componenti principali catturano il 94,1% della varianza spaziale totale.
• Analisi di Frequenza: Una Trasformata Discreta del Coseno di Tipo II conferma che queste componenti operano a basse frequenze, concentrando quasi tutta la potenza spettrale nelle prime quattro bin.
• Contrasto: Al contrario, la baseline AP intrecciata (AP-NeoBERT) rimane ad alta dimensionalità e dominata da segnali ad alta frequenza, catturando solo il 23,4% della varianza nelle prime due PC.

2. Specializzazione delle Teste di Attenzione

L'architettura disaccoppiata rivela una chiara tassonomia funzionale in cui le teste di attenzione si specializzano quasi esclusivamente in due gruppi:

• Teste Orientate alla Struttura: Fortemente influenzate dalle informazioni AP.
• Teste Orientate alla Semantica: Guidate dal contenuto semantico.
• Ruolo di RP: Gli autori non hanno trovato teste puramente orientate al RP. Invece, il bias RP agisce come un meccanismo di supporto localizzato per le teste semantiche (ad esempio, impedendo all'auto-attenzione di focalizzarsi su contesti distanti), mentre l'AP funge da flusso di informazioni strutturali distinto.

3. Preservazione della Struttura Macroscopica

Le codifiche posizionali standard non riescono a mantenere in modo robusto la struttura macroscopica del documento:

• AP Intrecciato: Sebbene AP-NeoBERT codifichi informazioni strutturali negli strati intermedi, perde la maggior parte di queste informazioni nello strato finale a causa dell'interferenza con l'obiettivo di previsione MLM (le dimensioni posizionali vengono riutilizzate per la previsione semantica).
• Metodi Relativi (RoPE/RP): Questi metodi falliscono in gran parte nel codificare la struttura macroscopica del documento nei loro stati nascosti durante il pre-addestramento MLM.
• Soluzione Disaccoppiata: Sgravando la posizione in un sottospazio isolato ed escludendola dalla testa MLM, DSTG-NeoBERT preserva le informazioni strutturali (confini di frase/paragrafo) in tutta la rete, incluso lo strato finale.

4. Risultati delle Sonde

Gli autori hanno valutato i modelli utilizzando sonde lineari su tre livelli di gerarchia e sul benchmark Flash-Holmes:

• Posizione AP a Livello di Token e di Segmento: DSTG-NeoBERT mantiene punteggi $R^2$ elevati per la posizione assoluta e a livello di segmento nello strato finale, mentre le baseline AP intrecciate e relative mostrano un degrado significativo.
• Posizione Intra-Segmento: Interessantemente, l'informazione sulla posizione intra-segmento è recuperabile dal sottospazio semantico in tutti i modelli, suggerendo che questa specifica informazione locale non richiede il flusso AP.
• Fedeltà Linguistica (Flash-Holmes): L'architettura disaccoppiata migliora i risultati delle sonde su 49 su 65 fenomeni linguistici in cinque campi (Morfologia, Sintassi, Semantica, Discorso, Ragionamento). In particolare, supera tutte le baseline in Sintassi, Semantica e Discorso.

Significato e Affermazioni

Il documento afferma che disaccoppiare esplicitamente i flussi posizionali e semantici fornisce un "studio meccanicistico pulito" degli interni dei Transformer. Il significato principale risiede nel dimostrare che:

1. L'informazione posizionale è intrinsecamente a bassa dimensionalità e strutturale, organizzandosi in un manifold semplice quando non è costretta a competere con la previsione semantica.
2. La perdita di informazioni strutturali nei modelli standard è un risultato diretto dell'obiettivo MLM che sovrascrive le dimensioni posizionali negli strati finali.
3. Il disaccoppiamento di questi flussi consente embedding più ricchi che preservano la struttura macroscopica del documento, portando a rappresentazioni linguistiche migliorate senza degradare le prestazioni standard a valle (i risultati su GLUE, MTEB, SQuAD rimangono comparabili alle baseline).

Gli autori suggeriscono che questo approccio offre una nuova direzione per la progettazione di codifiche posizionali che non interferiscano con le rappresentazioni semantiche e potrebbero abilitare applicazioni pratiche come la memorizzazione nella cache di rappresentazioni semantiche indipendenti dalla posizione per RAG o la manipolazione del manifold AP a bassa dimensionalità per l'estrapolazione della lunghezza. Tuttavia, notano che questi risultati sono attualmente limitati a modelli con solo encoder e a una scala relativamente piccola (6 strati, 22B token).