The Anxiety of Influence: Bloom Filters in Transformer Attention Heads

1. Probleemstelling en Motivatie

Het artikel onderzoekt een fundamentele vraag die taalmodellen bij elke positie in een sequentie moeten beantwoorden: "Is dit token al eerder in de context verschenen?"
Het antwoord hierop is cruciaal voor coreferentie-oplossing, het moduleren van verrassing (surprisal) en in-context leren. Hoewel dit een computerwetenschappelijk probleem is (set-membership testen), wordt het in de context van literatuurtheorie vergeleken met Harold Bloom's The Anxiety of Influence: elk nieuw werk moet omgaan met wat er eerder kwam.

De auteurs hypotheseren dat bepaalde attention heads in transformer-modellen functioneren als Bloom-filters: een probabilistische datastructuur die ruimte-efficiënt is en een set-membership test uitvoert ("Is element $x$ in set $S$?"). Een Bloom-filter garandeert geen false negatives (als het element erin zit, wordt het altijd herkend), maar accepteert een bepaalde mate van false positives (het filter denkt dat een element erin zit, terwijl dat niet zo is).

2. Methodologie

De auteurs analyseren vier autoregressieve taalmodellen: GPT-2 Small, Medium, Large en Pythia-160M.

• Stimuli-ontwerp: Er werden 100 zinnen-triplets geconstrueerd met drie condities:
  1. Exacte herhaling: Een woord komt twee keer voor.
  2. Geen herhaling: Alle woorden zijn uniek.
  3. Semantische 'near-miss': Het herhaalde woord wordt vervangen door een synoniem (WordNet).
• Metingen: Voor elke attention head werd de selectiviteit (verhouding tussen aandacht voor herhaalde tokens vs. unieke tokens), het miss-rate (hoe vaak wordt een herhaling gemist?) en de false positive (FP) ratio (hoe sterk reageert de head op synoniemen?) gemeten.
• Controles en Confound-eliminatie: Een cruciaal onderdeel van de studie was het controleren voor verstorende factoren. Een eerdere observatie van een capacity-curve bleek een artefact te zijn van de sequentielengte. De auteurs hielden de sequentielengte vast (200 tokens) en varieerden alleen het aantal unieke tokens in de prefix om de echte "filtercapaciteit" te meten.
• Ablatie-studies: Heads werden uitgeschakeld (zero-ablation) of vervangen door hun gemiddelde activatie (mean-ablation) om de causale impact op de perplexiteit (PPL) te meten.

3. Belangrijkste Bijdragen en Resultaten

A. Identificatie van Bloom-filter Heads

De studie identificeerde aanvankelijk vier heads in GPT-2 Small die het Bloom-filter-signatuur vertoonden. Na strikte confound-controles werd één head (L3H0) herclassificeerd als een general prefix-attention head (die naar alle voorafgaande content kijkt, ongeacht herhaling).
De drie overgebleven heads (L0H1, L0H5, L1H11) zijn de echte "lidmaatschapstesters":

• Ze tonen extreem hoge selectiviteit (51x tot 146x ten opzichte van de baseline).
• Ze hebben een miss-rate van bijna 0%.
• Ze zijn taxonomisch uniek en overlappen niet met induction heads (patroonherkenning) of previous-token heads.

B. Spectrum van Strategieën en Capaciteit

De drie echte heads vormen een spectrum van lidmaatschapstest-strategieën:

1. L1H11 (Klassiek Bloom-filter): Volgt de theoretische capaciteitsformule van Bloom ($p \approx (1 - e^{-kn/m})^k$) met een $R^2 = 1.0$. Deze head heeft een lage capaciteit ($m \approx 5$ bits) en verzadigt snel (bij ca. 20 unieke tokens).
2. L0H1 en L0H5 (Hoog-capaciteit filters): Deze heads vertonen bijna geen false positives (0–4%) zelfs bij 180 unieke tokens. Dit ver overtreft de theoretische capaciteit van een klassiek Bloom-filter met een head-dimensie van $d_{head}=64$. Ze fungeren als ultra-precieze detectoren.

C. Afstand-gevoelige Hashing (Locality-Sensitive Hashing)

In tegenstelling tot klassieke Bloom-filters die uniforme hash-functies gebruiken, blijken deze attention heads locaal-gevoelige hashing (LSH) te implementeren via de $QK$-projectie.

• De false positive rate neemt monotoon af naarmate de cosine-afstand tussen het probe-token en het doel-token in de embedding-ruimte toeneemt.
• Dit creëert een multi-resolutie systeem: L0H5 reageert alleen op bijna-identieke tokens, terwijl L1H11 reageert op semantisch verwante tokens. Dit stelt het model in staat om onderscheid te maken tussen exacte herhalingen en semantische herhalingen.

D. Generalisatie en Robuustheid

• Cross-model: De heads komen voor in alle geteste modellen (GPT-2 en Pythia) en zijn geconcentreerd in de vroege lagen (0–1).
• Naturalistische validatie: Het gedrag houdt stand op natuurlijke tekst (WikiText-103), hoewel de selectiviteit iets lager is door frequente functiewoorden.
• Generalisatie: Deze heads reageren op elk herhaald token (niet alleen namen), met 43% bredere generalisatie dan eerdere "duplicate-token heads".

E. Ablatie-resultaten

Mean-ablation toont aan dat deze heads bijdragen aan zowel de verwerking van herhaalde tokens als van nieuwe tokens. Dit suggereert dat lidmaatschapstesten een dominante, maar niet exclusieve, rol speelt; de heads zijn niet strikt modulair maar hebben bredere computationele functies.

4. Significatie en Implicaties

• Wiskundige convergentie: Het feit dat gradient descent, zonder expliciete datastructuur-doelstellingen, convergeert naar een oplossing die exact overeenkomt met een Bloom-filter (en zelfs de latere variant van Kirsch en Mitzenmacher voor afstand-gevoelige hashing), suggereert dat approximate set membership een fundamentele computationele primitief is voor taalverwerking.
• Hallucinati Detectie: Omdat Bloom-filters per definitie false positives genereren, kunnen deze heads gebruikt worden als een goedkope, real-time diagnose voor hallucinaties. Als een head sterk reageert op een token dat niet in de context staat, is het een signaal van "valse herinnering".
• Architectuur-ontwerp: De auteurs suggereren dat toekomstige transformer-architecturen expliciete hash-based lidmaatschapsmodules in vroege lagen kunnen integreren, analoog aan positionele encoding, om de attention-capaciteit te ontlasten voor andere taken.
• Literaire Parallel: De titel verwijst naar een ironische parallel: in Harold Bloom's theorie is "misprision" (een creatieve mislezing van voorgangers) de bron van originaliteit. In de Bloom-filter heads is de "misprision" (het zien van iets dat er niet is) een fout, maar deze fouten zijn gestructureerd en afstand-gevoelig, wat een interessante brug slaat tussen computervisie en literatuurtheorie.

Conclusie

Het artikel identificeert een nieuwe functionele categorie van attention heads die fungeren als een multi-resolutie, afstand-gevoelig lidmaatschapssysteem. Door strikte controlemethoden (zoals het herclassificeren van L3H0) wordt de validiteit van de overgebleven heads versterkt. Dit onderzoek toont aan dat taalmodellen zelfstandig complexe datastructuren leren die decennia lang door menselijke onderzoekers zijn geformaliseerd, puur als een bijproduct van het minimaliseren van next-token predictie-verlies.