Avey-B

1. Il Problema

Gli encoder bidirezionali pre-addestrati basati su Transformer (come BERT e le sue varianti moderne) costituiscono lo standard per le applicazioni NLP industriali grazie alla loro capacità di contestualizzare i token utilizzando sia il contesto sinistro che destro. Tuttavia, questi modelli soffrono di due limitazioni principali:

• Costo Computazionale Quadratico: Il meccanismo di self-attention completo richiede tempo e memoria proporzionali a $O(N^2)$, dove $N$ è la lunghezza della sequenza. Questo rende difficile l'estensione a contesti lunghi (long-context) in ambienti con budget computazionali ristretti.
• Inefficienza nell'Inferenza: L'architettura standard di Avey (autoregressiva e senza attenzione) è efficiente per la generazione di token, ma la sua estensione diretta a un paradigma bidirezionale (encoder-only) introduce un collo di bottiglia: per ogni split di token, il modello deve concatenare e processare i $k$ split più rilevanti, inflazionando la dimensione dell'input di un fattore $k+1$ e rendendo l'inferenza bidirezionale proibitiva.

2. Metodologia: Avey-B

Il paper propone Avey-B, una riformulazione bidirezionale dell'architettura Avey (originariamente autoregressiva e priva di attenzione). Avey-B mantiene il meccanismo di recupero (retrieval) basato su split ma introduce tre innovazioni architetturali chiave per adattarlo al paradigma encoder-only e migliorarne stabilità ed efficienza:

A. Contestualizzazione Bidirezionale

Avey-B rimuove la maschera autoregressiva nel contextualizer. Questo permette a ogni rappresentazione di token di condizionarsi sia sul contesto sinistro che destro all'interno di uno split, trasformando il modello in un encoder puro simile a BERT, ma mantenendo l'accesso selettivo globale tramite il ranker.

B. Parametrizzazione Disaccoppiata (Decoupled Parametrization)

Nell'originale Avey, le pesature statiche (apprese) e le similarità dinamiche (basate su cosine similarity) sono moltiplicate elemento per elemento. Questo può portare a comportamenti patologici dove un token altamente rilevante (alta similarità) contribuisce meno di uno meno rilevante a causa di pesi appresi negativi o inadeguati (effetto di inversione).

• Soluzione: Avey-B disaccoppia i due tipi di parametri alternando livelli statici e dinamici.
  • I livelli dinamici pesano i token esclusivamente in base alla similarità (garantendo la monotonicità: più simile = più contributo).
  • I livelli statici applicano trasformazioni lineari apprese indipendentemente dalla similarità corrente.
• Questo approccio preserva la garanzia di monotonicità nei livelli dinamici mentre permette ai livelli statici di modellare pattern inibitori o di raffinare le rappresentazioni senza violare la logica di rilevanza.

C. Normalizzazione Orientata alla Stabilità

Per stabilizzare l'addestramento nei livelli dinamici, i punteggi di similarità (cosine similarity) vengono normalizzati per riga dividendo per la somma dei punteggi di quella posizione (row-wise sum normalization). Questo crea un operatore stocastico che limita la crescita dei valori singolari e previene l'esplosione delle attivazioni, superando le prestazioni di alternative come Softmax o RMS Norm in questo contesto specifico.

D. Compressione Neurale (Neural Compression)

Per risolvere il problema di scalabilità nell'inferenza bidirezionale (dove tutti gli split devono essere contestualizzati), Avey-B introduce un compressore neurale all'interno del ranker.

• Invece di concatenare lo split corrente con i suoi $k$ split recuperati (creando un blocco di $(k+1)S$ token), il compressore mappa questo blocco ridotto a un singolo split di dimensione $S$ tramite una proiezione lineare appresa.
• Questo riduce il carico computazionale del neural processor rendendolo indipendente da $k$, mantenendo al contempo i benefici del recupero di un ampio contesto. Viene aggiunta una connessione residua per preservare i segnali locali.

3. Contributi Chiave

1. Nuova Architettura Encoder-Only: Introduzione di Avey-B, che combina l'efficienza dell'approccio senza attenzione di Avey con la capacità di contestualizzazione bidirezionale necessaria per compiti discriminativi.
2. Innovazioni Architetturali: Proposta di parametrizzazione disaccoppiata, normalizzazione per riga e compressione neurale per migliorare stabilità e throughput.
3. Scalabilità Long-Context: Dimostrazione che l'architettura scala linearmente ($O(N)$) rispetto alla lunghezza della sequenza, superando i limiti quadratici dei Transformer.
4. Riproducibilità: Rilascio completo del codice, dei checkpoint pre-addestrati e delle specifiche sperimentali.

4. Risultati Sperimentali

Il modello è stato valutato su benchmark standard per classificazione di sequenze (SC), classificazione di token (TC), risposta alle domande (QA) e recupero informazioni (IR), confrontandosi con BERT, RoBERTa, ModernBERT e NeoBERT.

• Efficacia:
  • Avey-B supera BERT e NeoBERT su tutti i benchmark valutati.
  • Supera costantemente RoBERTa e ModernBERT nei compiti di Token Classification (TC) e Information Retrieval (IR).
  • Nota importante: La versione Base di Avey-B (pre-addestrata su ~180B token) supera le versioni Large di alcuni modelli Transformer basati su attention, pur essendo stata pre-addestrata su ~11 volte meno token rispetto a ModernBERT.
• Efficienza e Scalabilità:
  • Throughput: Avey-B mantiene un throughput significativamente più alto rispetto ai Transformer su contesti lunghi (da 128 a 96k token).
  • Legge di Potenza: L'analisi del decadimento del throughput segue una legge di potenza $T(N) \propto N^{-\alpha}$. Avey-B ha un esponente $\alpha \approx 0.44$, molto inferiore a ModernBERT ($\alpha \approx 0.77$) e NeoBERT ($\alpha \approx 0.81$).
  • Vantaggio: A 96k token, Avey-B è 3.38 volte più veloce di ModernBERT e 11.63 volte più veloce di NeoBERT.
• Robustezza: L'analisi della varianza tra diversi semi casuali mostra che Avey-B è tra i modelli più stabili, con deviazioni standard molto basse rispetto ai baselines.
• Long-Context (Needle-in-a-Haystack): Avey-B mantiene un'alta accuratezza fino a 96k token, mentre i modelli basati su Transformer falliscono o vanno in out-of-memory ben prima di raggiungere tale lunghezza.

5. Significato

Il lavoro di Avey-B dimostra che l'attenzione non è l'unica via percorribile per costruire encoder bidirezionali potenti ed efficienti.

• Impatto Industriale: Offre una soluzione praticabile per applicazioni che richiedono l'elaborazione di documenti molto lunghi con vincoli di latenza e memoria stretti, tipici dei motori di ricerca e dei sistemi di recupero informazioni.
• Paradigma Alternativo: Sposta il focus dalle architetture basate su attenzione pura a modelli ibridi che combinano recupero selettivo (retrieval) e elaborazione neurale, suggerendo che la separazione tra "scelta del contesto" e "elaborazione del contesto" può essere più efficiente della contestualizzazione globale completa.
• Stabilità: Le innovazioni nella parametrizzazione e nella normalizzazione offrono nuove direzioni per la progettazione di modelli stabili e scalabili, riducendo la dipendenza da ottimizzazioni hardware specifiche (come FlashAttention) per ottenere buone prestazioni.