The Anxiety of Influence: Bloom Filters in Transformer Attention Heads

1. Il Problema e il Contesto

I modelli linguistici basati su Transformer affrontano costantemente una domanda fondamentale a ogni posizione di una sequenza: "Questo token è già apparso nel contesto precedente?". La risposta a questa domanda è cruciale per stabilire la coreferenza, modulare la "sorpresa" (surprisal) del token e gestire l'apprendimento in contesto (in-context learning).

Il paper pone un parallelo tra due domini apparentemente distanti:

• Informatica: I Filtr di Bloom (proposti da Burton Bloom nel 1970) sono strutture dati probabilistiche efficienti in termini di spazio per testare l'appartenenza a un insieme, garantendo assenza di falsi negativi ma permettendo falsi positivi.
• Teoria Letteraria: L'"Ansia dell'Influenza" di Harold Bloom (1973) descrive la necessità creativa di ogni testo di confrontarsi con ciò che è venuto prima.

L'ipotesi centrale dell'articolo è che una sottoinsieme di attention heads (testine di attenzione) nei Transformer si sia evoluta per implementare una soluzione comportamentale analoga ai filtri di Bloom, dedicandosi al rilevamento di quali token sono già stati visti, senza necessariamente completare pattern specifici.

2. Metodologia

Gli autori hanno analizzato quattro modelli linguistici autoregressivi: GPT-2 (small, medium, large) e Pythia-160M, utilizzando il framework TransformerLens.

• Design degli Stimoli: Sono state costruite 100 triplets di frasi contenenti:

  1. Ripetizione esatta: Una parola di contenuto appare due volte.
  2. Nessuna ripetizione: Tutte le parole sono uniche.
  3. Quasi-fallimento semantico: La parola ripetuta è sostituita da un sinonimo (similitudine WordNet > 0.7).
     Questo design permette di misurare l'attenzione sui "colpi" (hit), sulla linea di base e sui falsi positivi (risposta a sinonimi).

• Metriche Chiave:

  • Selettività: Rapporto tra l'attenzione media sui token ripetuti e quella sui token unici.
  • Tasso di Falsi Negativi (Miss Rate): Frazione di token ripetuti non rilevati.
  • Rapporto Falsi Positivi (FP Ratio): Intensità della risposta ai sinonimi rispetto ai veri ripetuti.

• Controlli di Confondimento: Un aspetto critico della metodologia è l'uso di esperimenti controllati per separare l'effetto del numero di token unici dalla lunghezza della sequenza. In particolare, è stata fissata la lunghezza della sequenza (200 token) variando solo il numero di token unici nel prefisso, per evitare artefatti legati alla codifica posizionale.

• Analisi di Ablazione: Sono state eseguite ablazioni (sia a zero che media) per valutare l'impatto causale di queste testine sulla perplessità del modello su testi con e senza ripetizioni.

3. Contributi Chiave e Risultati

Identificazione e Riconciliazione delle Testine

Inizialmente, quattro testine in GPT-2 small (L0H1, L0H5, L1H11, L3H0) sembravano mostrare il "segno distintivo" dei filtri di Bloom. Tuttavia, attraverso controlli rigorosi:

• L3H0 è stata riclassificata: Si è rivelato essere una testina di attenzione al prefisso generico (attiva su tutto il contesto) e non un vero filtro di appartenenza. La sua apparente curva di capacità era un artefatto della lunghezza della sequenza.
• Tre testine genuine: L0H1, L0H5 e L1H11 sono state confermate come testine di test di appartenenza (membership testers).

Caratteristiche Comportamentali

Le tre testine genuine formano un sistema multi-risoluzione:

1. L1H11 (Filtro di Bloom Classico): Mostra una curva di saturazione classica. Il tasso di falsi positivi aumenta con il numero di token unici, seguendo la formula teorica dei filtri di Bloom ($p \approx (1 - e^{-kn/m})^k$) con un $R^2 = 1.0$. Ha una capacità limitata ($m \approx 5$ bit), saturando rapidamente (intorno a 20 token unici).
2. L0H1 e L0H5 (Filtri ad Alta Precisione): Mantengono tassi di falsi positivi estremamente bassi (0–4%) anche con 180 token unici, superando di gran lunga la capacità teorica di un filtro di Bloom classico con $d_{head}=64$. Funzionano come filtri di appartenenza ad alta precisione.

Indipendenza Tassonomica

Queste testine sono mutuamente esclusive rispetto alle categorie note:

• Non si sovrappongono con le Induction Heads (che completano pattern come [A][B]...[A] $\to$ [B]).
• Non si sovrappongono con le Previous-Token Heads (che guardano solo al token precedente).
• Sono concentrate esclusivamente negli strati iniziali (0–1), suggerendo che il test di appartenenza è un prerequisito per elaborazioni successive.

Profili di Risoluzione Hash (LSH)

Un risultato fondamentale è la natura sensibile alla distanza dei falsi positivi.

• Il tasso di falsi positivi non è casuale, ma decresce monotonicamente all'aumentare della distanza coseno tra il token probe e il token target nello spazio degli embedding.
• Questo comportamento è coerente con l'uso di Hash Sensibili alla Località (Locality-Sensitive Hashing - LSH) invece di hash uniformi.
• Le testine offrono diverse "bande": L0H5 è ultra-preciso (ignora quasi tutto tranne i token quasi identici), mentre L1H11 è più ampio (rileva anche token semanticamente vicini).

Generalizzazione e Validazione

• Generalizzazione: A differenza delle "duplicate-token heads" identificate in circuiti specifici (come IOI), queste testine rispondono a qualsiasi tipo di token ripetuto (nomi, verbi, aggettivi), mostrando un indice di generalizzazione del 43% superiore.
• Validazione Naturale: Il comportamento si mantiene su testo naturale (WikiText-103), con selettività da 15x a 54x e tassi di falsi negativi inferiori all'1%.
• Generalizzazione Cross-Modello: Testine simili sono state identificate in tutti i modelli testati (GPT-2 e Pythia), sempre concentrate negli strati iniziali.

Analisi di Ablazione

L'ablazione rivela che, sebbene queste testine siano specializzate comportamentalmente nel rilevamento di ripetizioni, non sono modulari. La loro rimozione influisce sia sul processing dei token ripetuti che su quelli nuovi, suggerendo che svolgono ruoli computazionali più ampi oltre al semplice test di appartenenza (coerenza con l'ipotesi di superposizione).

4. Significato e Implicazioni

• Scoperta Scientifica: Il paper dimostra che l'ottimizzazione tramite discesa del gradiente, senza obiettivi espliciti di strutture dati, converge spontaneamente verso soluzioni che assomigliano a filtri di Bloom probabilistici e, più specificamente, a filtri di Bloom sensibili alla distanza (concetto formalizzato da Kirsch e Mitzenmacher nel 2006).
• Nuova Categoria Funzionale: Introduce una nuova tassonomia di attention heads distinta da induction e previous-token heads, fondamentale per la gestione del contesto.
• Rilevamento di Allucinazioni: Poiché i falsi positivi di questi filtri rappresentano un "ricordo" di qualcosa che non esiste, monitorare l'attivazione di queste testine potrebbe fornire un metodo economico e in tempo reale per rilevare allucinazioni nei modelli linguistici.
• Progettazione Architettonica: Se il test di appartenenza è un primitivo computazionale fondamentale che i Transformer devono "reinventare" ogni volta, le future architetture potrebbero beneficiare di moduli di hash/appartenenza integrati esplicitamente negli strati iniziali, liberando capacità di attenzione per altri compiti.
• Paradosso Letterario: Il paper conclude con un parallelo ironico: mentre l'ansia dell'influenza di Harold Bloom riguarda la distorsione creativa di ciò che è familiare, i falsi positivi dei filtri di Bloom nei Transformer rappresentano la percezione errata di familiarità per ciò che è nuovo. Entrambi operano ai confini tra vecchio e nuovo, ma in direzioni opposte.

In sintesi, il paper offre una caratterizzazione rigorosa di come i Transformer gestiscono la memoria a breve termine e la ripetizione, rivelando che all'interno delle loro reti si sono evoluti meccanismi sofisticati di test di appartenenza probabilistici e sensibili alla semantica.