Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings

Sintesi Tecnica: Disaccoppiare il "Cosa" e il "Dove" con l'Embedding Posizionale in Coordinate Polari

Problematica
Nelle architetture Transformer, il meccanismo di attenzione confronta le chiavi (keys) con le query basandosi su due fattori: il contenuto ("cosa") e la posizione nella sequenza ("dove"). Gli autori sostengono che il Rotary Position Embedding (RoPE), ampiamente adottato nei modelli di frontiera come Llama 3 e DeepSeek, intrecci questi due fattori. In RoPE, la rotazione applicata ai vettori di chiave e query dipende sia dalle magnitudo del contenuto che dalle loro posizioni relative. Questo intreccio crea un confondimento "cosa-dove", che compromette le prestazioni del modello quando i compiti richiedono un matching indipendente solo sul contenuto o solo sulla posizione. Nello specifico, il termine di interazione in RoPE fa sì che la fase della rotazione sia influenzata dalle caratteristiche del contenuto, rendendo difficile per il modello apprendere regole che dipendano strettamente dall'indicizzazione posizionale o dal matching del contenuto.

Metodologia: Polar Coordinate Positional Embedding (PoPE)
Gli autori propongono PoPE, una modifica a RoPE che disaccoppia contenuto e posizione riformulando le rappresentazioni di chiave e query in coordinate polari.

• Riformulazione: In RoPE, le componenti sono ruotate in base alla posizione, ma la fase iniziale è determinata dal contenuto. In PoPE, gli autori trasformano i vettori reali di chiave e query in vettori complessi dove:
  • La magnitudo ($\mu$) è derivata esclusivamente dalle caratteristiche del contenuto utilizzando una funzione di attivazione softplus ($\sigma(x) = \ln(1 + e^x)$) per garantire la non-negatività.
  • La fase ($\phi$) è determinata strettamente dalla posizione nella sequenza ($s$ o $t$) e da una frequenza specifica per componente ($\theta_c$).
• Punteggio di Attenzione: Il punteggio di attenzione è calcolato come la parte reale del prodotto scalare tra la trasposta coniugata della query e la chiave. Matematicamente, questo si traduce in:
  $$a^{PoPE}_{ts} = \sum_{c=1}^{d} \mu_{\tilde{q}_{tc}} \mu_{\tilde{k}_{sc}} \cos((s - t)\theta_c + \delta_c)$$
  dove $\delta_c$ è un termine di bias apprendibile.
• Differenze Chiave da RoPE:
  1. Disaccoppiamento: Il termine di interazione ($\phi_{k_{sc}} - \phi_{q_{tc}}$) che mescola contenuto e posizione in RoPE viene eliminato. La magnitudo (contenuto) e la fase (posizione) sono rigorosamente separate.
  2. Risoluzione della Frequenza: PoPE opera su $d$ componenti (elementi individuali) anziché su $d/2$ coppie, aumentando efficacemente il numero di canali di frequenza del doppio.
  3. Bias Apprendibile: Un bias $\delta_c$ fisso ma apprendibile può essere introdotto per sintonizzare l'offset relativo ottimale per ogni frequenza senza reintrodurre il confondimento contenuto-posizione.

Contributi Chiave

1. Task Diagnostico (Indicizzazione Indiretta): Gli autori introducono un compito che richiede ai modelli di identificare un carattere target basandosi su un offset relativo da un carattere sorgente (ad esempio, "trova il carattere 3 posizioni a sinistra di 'z'"). Questo compito richiede la manipolazione indipendente di contenuto e posizione.
2. Insight Teorico: Il documento fornisce una derivazione algebrica che mostra come RoPE confonda contenuto e posizione, mentre PoPE consente al meccanismo di attenzione di implementare regole come una congiunzione di match indipendenti di "cosa" e "dove".
3. Implementazione Efficiente: Viene fornita un'implementazione efficiente utilizzando Triton e Flash Attention 2, che calcola la parte reale del prodotto scalare complesso senza materializzare l'intera matrice complessa, aggiungendo solo un singolo overhead di moltiplicazione rispetto all'attenzione standard.

Risultati

• Indicizzazione Indiretta: Nel task diagnostico, RoPE ha raggiunto un'accuratezza media di soli 11,16%, faticando ad apprendere il matching indipendente richiesto. Al contrario, PoPE ha raggiunto un'accuratezza del 94,82%, dimostrando la sua capacità di disaccoppiare i fattori.
• Modellazione di Sequenze (Musica e Genomica):
  • Musica (JSB e MAESTRO): PoPE ha superato RoPE nel log-likelihood negativo (NLL) su entrambi i dataset, ottenendo una perplessità inferiore.
  • Genomica (Genoma di Riferimento Umano): PoPE ha most mostrato una significativa riduzione della NLL rispetto al baseline RoPE.
• Modellazione del Linguaggio (OpenWebText): Attraverso diverse scale di modello (124M, 253M e 774M parametri), PoPE ha costantemente ottenuto una perplessità inferiore rispetto a RoPE. Il divario di prestazioni è rimasto stabile o è aumentato con la dimensione del modello.
• Downstream Tasks: Le valutazioni zero-shot su sei compiti downstream (LAMBADA, BLiMP, CBT, HellaSwag, PIQA, ARC-E) hanno mostrato che i modelli basati su PoPE hanno raggiunto un'accuratezza media più elevata in tutti i modelli rispetto ai modelli basati su RoPE.
• Estrapolazione della Lunghezza:
  • Zero-Shot: PoPE ha dimostrato forti capacità di estrapolazione della lunghezza zero-shot su sequenze fino a 10 volte più lunghe del contesto di addestramento (1024 vs 10240 token) senza alcuna interpolazione di frequenza o fine-tuning.
  • Confronto con YaRN: Mentre YaRN (un metodo progettato per l'estrapolazione) mitiga il degrado di RoPE fino al limite del suo fine-tuning (4096 token), esso degrada significativamente oltre tale limite. PoPE ha mantenuto le prestazioni su sequenze più lunghe senza richiedere le tecniche di interpolazione o l'esteso fine-tuning necessari per YaRN.
  • Analisi dell'Uso delle Frequenze: L'analisi delle norme delle feature ha rivelato che i modelli RoPE tendono a sopprimere i canali ad alta frequenza per evitare il rumore, mentre i modelli PoPE utilizzano un intervallo di frequenze più distribuito, incluse le alte frequenze, attraverso i layer.

Significatività e Rivendicazioni
Il documento afferma che PoPE offre una soluzione fondata al problema dell'intreccio "cosa-dove" inerente a RoPE. Disaccoppiando contenuto e posizione, PoPE migliora l'efficienza dei dati, l'accuratezza asintotica e, soprattutto, la generalizzazione della lunghezza del contesto. Gli autori sottolineano che questi guadagni sono ottenuti con una modifica minore all'attuale architettura RoPE, senza richiedere cambiamenti architettonici complessi.

Il lavoro è presentato come ricerca fondamentale sulla modellazione di sequenze. Gli autori osservano che, sebbene il metodo migliori le capacità in domini come la musica, la genomica e il linguaggio naturale (potenzialmente aiutando applicazioni come il ripiegamento proteico o la scoperta di farmaci), esso comporta rischi di doppio uso comuni ai modelli di base, come la generazione di contenuti dannosi o deepfake sofisticati. Il contributo primario è la dimostrazione che separare le informazioni di contenuto e posizionali porta a modelli Transformer più robusti e generalizzabili.