🤖 AI

From Attention Masks to Inert Zero-Vector Tokens: OAttention and O-Closure for Token Dynamics

Dit artikel introduceert OAttention en de O-Closure wet, een raamwerk voor token-dynamiek dat statische attention-masks vervangt door actieve-aanwezigheidscoëfficiënten om exacte zero-vector token-afhandeling en compositionele afsluiting mogelijk te maken, waarbij wordt aangetoond dat de impact op de prestaties minimaal is wanneer het in een TabPFN-regressor wordt ingebed.

Oorspronkelijke auteurs: Heyang Gong

Gepubliceerd 2026-08-24

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Heyang Gong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van kunstmatige intelligentie leren computers patronen te herkennen door informatie door lagen digitale neuronen te sturen. Een cruciaal onderdeel van dit proces is een mechanisme genaamd aandacht (attention), dat werkt als een spotlight en bepaalt welke stukjes informatie met elkaar mogen interageren. Stel je een drukke kamer voor waar mensen proberen een gesprek te voeren; het aandachtmechanisme is de regel die bepaalt wie met wie mag spreken. Als twee mensen niet mogen praten, negeert het systeem simpelweg de verbinding tussen hen. Dit wordt meestal beheerd door een digitale masker (mask), een eenvoudige lijst die "ja" of "nee" zegt tegen specifieke dataparen. Jarenlang was dit de standaardmanier om met ontbrekende of irrelevante informatie om te gaan: als een stukje data niet gezien mag worden, krijgt het systeem de instructie om weg te kijken.

Er is echter een subtiel maar belangrijk verschil tussen het systeem vertellen een verbinding te negeren en het hebben van een stukje data dat zo leeg is dat het van nature weigert deel te nemen. In de huidige standaardmethoden behandelt de wiskundige machinerie van het aandachtssysteem een stukje data, zelfs als het volledig blanco of nul is, vaak nog als een reguliere deelnemer. Het zendt misschien geen sterk signaal uit, maar de loutere aanwezigheid ervan kan de balans van het gesprek nog steeds licht verschuiven, waardoor de weging van andere datapunten verandert. Dit creëert een situatie waarin een "blanco" token niet werkelijk inert is; het is een actieve deelnemer op de achtergrond van de wiskunde, in staat om de resultaten subtiel te vervormen. Dit onderscheid is belangrijk omdat in veel real-world toepassingen, van het analyseren van medische dossiers tot het voorspellen van het weer, het vermogen om een werkelijk lege staat te hebben—één die niets toevoegt en niets verandert—essentieel is voor nauwkeurigheid en betrouwbaarheid.

Een onderzoeker heeft een nieuwe manier voorgesteld om dit probleem aan te pakken door een systeem te introduceren waarbij de leegte van een token binnen de eigen representatie wordt gedragen, in plaats van alleen een regel te zijn die van buitenaf wordt toegepast. In plaats van uitsluitend te vertrouwen op een masker om informatie te verbergen, heeft de onderzoeker elk stukje data een maatstaf voor zijn eigen "aanwezigheid" toegewezen. Deze aanwezigheid wordt berekend op basis van hoe sterk het signaal van de data is. Als het signaal sterk is, is de data volledig actief. Als het signaal exact nul is, wordt de data volledig inert. Deze enkele maatstaf van aanwezigheid vervult een dubbelrol: het regelt hoeveel informatie een stukje data uitzendt, en het bepaalt hoeveel gewicht die data draagt wanneer het door anderen wordt overwogen.

De onderzoeker bouwde een nieuwe versie van het aandachtssysteem, die hij OAttention noemt, die deze aanwezigheidsmaatstaf gebruikt om de informatiestroom te reguleren. In dit nieuwe systeem, als een stukje data werkelijk nul is, zendt het geen output uit en draagt het geen gewicht bij aan de berekeningen van andere tokens. Het is alsof dat stukje data volledig uit het gesprek is verdwenen, waardoor de rest van het systeem volledig ongestoord blijft. Dit is een significante verschuiving ten opzichte van de oude methode, waarbij een nulwaarde nog steeds een klein beetje zou toevoegen aan de wiskundige noemer, waardoor de invloed van alle andere actieve data licht werd verdund. De nieuwe methode zorgt ervoor dat het invoegen van een blanco token in een sequentie geen effect heeft op de bestaande outputs, waardoor de integriteit van de informatie die er al was, behouden blijft.

Om dit werkend te krijgen in een heel AI-model, moest de onderzoeker deze logica uitbreiden voorbij alleen het aandachtsmechanisme. De onderzoeker realiseerde zich dat voor een model om een "null"-staat werkelijk te respecteren, elk deel van het systeem dat data verwerkt, ook ontworpen moet zijn om nulwaarden te negeren. De onderzoeker ontwikkelde een reeks begeleidende instrumenten voor andere delen van het model, zoals normalisatielagen en feed-forward netwerken, die allemaal dezelfde aanwezigheidsmaatstaf gebruiken om hun operaties te reguleren. Door ervoor te zorgen dat elke component, van de input tot de output, deze regel respecteert, creëerde de onderzoeker een compleet systeem waarbij een nulwaarde werkelijk wordt geabsorbeerd en geneutraliseerd. De onderzoeker noemt deze eigenschap "O-Closure", wat betekent dat het systeem gesloten is voor de invloed van lege staten, waardoor voorkomt dat ze in de uiteindelijke resultaten lekken.

De onderzoeker testte deze ideeën rigoureus om te zien of ze in de praktijk werkten. Eerst voerde de onderzoeker wiskundige controles uit om te bevestigen dat het nieuwe aandachtssysteem zich precies gedroeg zoals de theorie voorspelde, waarbij werd gegarandeerd dat nulwaarden werkelijk resulteerden in een nuloutput en geen verandering aan andere waarden veroorzaakten. Deze tests bevestigden dat het systeem met hoge precisie werkt op moderne computerhardware. Vervolgens paste de onderzoeker dit nieuwe aandachtsmechanisme toe op een bestaand, krachtig AI-model ontworpen voor tabulaire data, een type gestructureerde informatie dat vaak wordt gebruikt in zaken en wetenschap. Dit gebeurde zonder het model opnieuw te trainen, door simpelweg de nieuwe aandachtsregels te vervangen. De resultaten lieten zien dat de prestaties van het model bijna exact hetzelfde bleven, met een verandering van minder dan een vijfde van een procent, wat suggereert dat het nieuwe systeem geïntegreerd kan worden in bestaande tools zonder deze te breken.

Misschien wel de meest onthullende test kwam toen de onderzoeker keek naar wat er gebeurt als slechts een deel van het systeem wordt bijgewerkt. De onderzoeker ontdekte dat als men alleen het aandachtsmechanisme zou veranderen maar de andere delen van het model ongewijzigd zou laten, de "nul"-staat niet behouden zou blijven; de andere delen van het model zouden de lege data weer activeren, waardoor het effect werd verpest. Dit bewees dat de nieuwe aanpak een volledige, consistente update van de gehele route vereist. Wanneer de onderzoeker het hele systeem bijwerkte om "O-Closed" te zijn, slaagde het model erin de lege staat gedurende de gehele verwerking te handhaven. Dit bevestigde dat de nieuwe methode niet slechts een kleine aanpassing is aan één onderdeel van de machine, maar een fundamentele verandering in hoe het systeem het concept van nietsheid begrijpt.

De onderzoeker merkt zorgvuldig op dat dit werk niet elk probleem gerelateerd aan ontbrekende data oplost. De onderzoeker verduidelijkt dat het systeem is ontworpen voor gevallen waarin een ontbrekende waarde werkelijk oninformatief is en als niets behandeld moet worden. Als een ontbrekende waarde een specifieke betekenis heeft, zoals "data niet verzameld" versus "data is nul", moet dat onderscheid nog steeds door de gebruiker worden afgehandeld. Bovendien, hoewel het systeem perfect werkt in theorie en in de specifieke tests van de onderzoeker, claimt de onderzoeker niet dat het elke mogelijke AI-taak zal verbeteren of met elk type datastructuur zal werken zonder aanpassingen. De waarde van dit werk ligt in het bieden van een wiskundig precieze manier om een werkelijk inerte staat te creëren binnen een complex neuraal netwerk, wat ervoor zorgt dat wanneer een stukje data leeg is, het ook echt leeg blijft en niet per ongeluk het systeem in de verkeerde richting duwt.

Technische Samenvatting: Van Attention Maskers naar Inert Nul-Vector Tokens

1. Probleemstelling

Huidige attention-gebaseerde modellen vertrouwen op attention masks ( $m_{ij}$ ) om interacties te controleren. Deze maskers zijn controles op relatieniveau die specificeren welke query–bron-paren interactie mogen hebben (bijv. voor causaliteit of routing). Echter, maskers bieden geen mechanisme op toestandsniveau waarbij de representatie van een token intrinsiek niet-deelname signaleert.

Standaard scaled dot-product attention faalt in het behandelen van een nul-vector token ( $h=0$ ) als een inert element:

Als Ontvanger: Als een query $q_i = 0$ , worden de attention scores uniform en wordt de output de gemiddelde waarde van de zichtbare waarden, in plaats van nul.
Als Bron: Als een bron-token $k_j=0, v_j=0$ heeft, voegt dit een constante ( $e^0=1$ ) toe aan de softmax-noemer. Dit verandert de gewichten van alle andere actieve tokens, wat betekent dat de oorsprong een "gewone staat" is in plaats van een "nul-staat".

Het artikel pleit voor een complementaire vereiste: een structurele NULL-toestand waarbij een representatie haar eigen niet-deelname draagt, wat ervoor zorgt dat deze geen output genereert en geen massa bijdraagt aan gedeelde berekeningen, zonder uitsluitend te vertrouwen op externe masking.

2. Methodologie

2.1 Token Aanwezigheidscoëfficiënt

De kerninnovatie is het toewijzen van een vloeiende, actieve-aanwezigheidscoëfficiënt $p_i$ aan elke verborgen drager $h_i$ :
$p_i = \rho_\tau(h_i) = \frac{\|h_i\|^2}{\tau + \|h_i\|^2}$
waarbij $\tau > 0$ een schaal-hyperparameter is.

Eigenschappen: $p_i \in [0, 1)$ , is exact nul bij de oorsprong ( $h_i=0$ ), en nadert 1 voor vaste niet-nul vectoren wanneer $\tau \to 0$ .
Dubbele Rol: Deze enkele coëfficiënt regelt twee verschillende rollen:
1. Lokale Update Deelname: Het afschermen (gating) van de informatie die door token $i$ wordt uitgezonden.
2. Context Support Deelname: Het bepalen van de massa die token $i$ bijdraagt aan gedeelde statistieken (denominatoren, partities).

2.2 OAttention (Support-Coupled Attention)

OAttention is de realisatie van deze regel. Het modificeert standaard attention door:

Ontvanger Gating: De output wordt vermenigvuldigd met de aanwezigheid van de ontvanger $p_i$ .
Bron Weging: De aanwezigheid van de bron $p_j$ wordt vermenigvuldigd in zowel de teller als de partitie (noemer) van het attention-mechanisme.
Formule:
$\text{OAttention}_i(H; m) = p_i \frac{\sum_j m_{ij} p_j \exp(s_{ij}) v_j}{\epsilon_{den} + \sum_j m_{ij} p_j \exp(s_{ij})}$
waarbij $s_{ij}$ de standaard scaled dot-product score is en $m_{ij}$ de externe zichtbaarheidsmasker is.

Dit ontwerp zorgt ervoor dat als $h_i=0$ , dan $p_i=0$ , wat resulteert in een nul-output (Null Receiver). Als $h_j=0$ , dan $p_j=0$ , wat betekent dat de bron niets bijdraagt aan de teller of noemer, waardoor alle andere gewichten ongewijzigd blijven (Null Source Insertion).

2.3 O-Closure en Token Dynamiek

Het artikel breidt dit concept uit naar de gehele modelarchitectuur via O-Closure, een wet die stelt dat het invoegen van een nul-token de bestaande outputs of toestanden niet mag veranderen. Dit vereist:

Lokale Kaarten (Zero Absorption): Componenten zoals Feed-Forward Networks (OFFN) en Normalisatie (ONorm) moeten hun updates afschermen door $p_i$ (bijv. $h^+ = h + p_i \cdot \text{FFN}(h)$ ).
Support-Coupled Kaarten (Zero Mass): Cross-token statistieken (zoals OStandardize) moeten aanwezigheid-gewogen momenten gebruiken, zodat nul-tokens de gemiddelden of varianties van actieve tokens niet verschuiven.
OTransformer: Een model dat is geconstrueerd door het componeren van deze O-gesloten componenten (OAttention, OFFN, ONorm, OInject) zorgt ervoor dat de gehele pad de NULL-toestand behoudt onder residuele optelling en compositie.

3. Belangrijkste Bijdragen

Formulering van Null Consistentie: Definieerde exacte operator-eigenschappen die representatie-gedragen toestand scheiden van relatie-niveau zichtbaarheidsmasten.
Afleiding van OAttention: Bewees dat een enkele token-niveau aanwezigheidscoëfficiënt kan voldoen aan null-ontvanger, null-bron insertie, zelf-attention insertie en lege-support eigenschappen, terwijl de standaard softmax competitie behouden blijft.
O-Closure Wet: Stelde de algebraïsche condities vast (zero absorptie en contextuele uitwissing) die vereist zijn voor token-operators om componeerbaar te zijn in een null-consistente architectuur (OTransformer).
Component Realisaties: Leverde specifieke implementaties voor OFFN, ONorm, OInject en OStandardize die aan deze wetten voldoen.

4. Resultaten

Het artikel evalueert drie onderscheidende claims met begrensde scopes:

4.1 Exactheid (Operator Contracten)

Methode: Onafhankelijke GPU-evaluatie van de OAttention-implementatie over FP32, BF16 en FP16.
Resultaat: De implementatie bereikt $L_\infty$ fouten $\le 8.94 \times 10^{-8}$ tegen directe evaluatie. Het behoudt succesvol exacte nul-outputs voor null-ontvangers en laat pre-bestaande outputs onveranderd wanneer null-bronnen worden ingevoegd.

4.2 Actief-Pad Compatibiliteit (Retrofit)

Methode: Een "zero-fine-tuning" retrofit van een gekloonde, vooraf getrainde TabPFN v3 regressor. De modelgewichten waren bevroren; alleen de verborgen-drager OAttention (en Full-O varianten) werden geïntroduceerd.
Resultaat: Over 18 gematchte dataset–seed gevallen:
- Hidden-carrier OAttention: Veranderde de gemiddelde RMSE met +0.088%.
- Full-O (inclusief OFFN/ONorm): Veranderde de gemiddelde RMSE met +0.177%.
- Deze veranderingen worden beschreven als "gekalibreerde nabij-identiteit" observaties, geen universele non-inferioriteit garanties.

4.3 Compositionele Noodzakelijkheid (Ablatie)

Methode: Een twee-blok ablatie studie vergelijkt een standaard host, een "OA-only" host (OAttention met standaard FFN/Norm), en een volledige "OTransformer" (alle O-gesloten componenten).
Resultaat:
- OA-only: Faalde in het behouden van de NULL-toestand; het invoegen van een nul-token veroorzaakte grote verschuivingen in oude token-toestanden ( $L_\infty \approx 7.98$ ) omdat gewone FFN en affine normalisatie de nul heractiveerden.
- OTransformer: Behield succesvol de NULL-toestand ( $L_\infty \approx 0$ ), wat aantoont dat attention alleen onvoldoende is zonder closure in de host-componenten.

5. Betekenis en Claims

Het artikel positioneert zijn bijdragen als beperkte tests van exactheid, actief-pad compatibiliteit en compositionele noodzakelijkheid.

Wat het claimt:
- Het vestigt een wiskundig kader waarin de representatie van een token intrinsiek een "structurele NULL"-toestand kan dragen.
- Het bewijst dat OAttention en O-Closure noodzakelijk zijn om te voorkomen dat nul-inserties actieve berekeningen in een model corrumperen.
- Het demonstreert dat deze mechanismen kunnen worden teruggeplaatst (retrofitted) in een vooraf getraind model met minimale prestatievermindering.
Wat het expliciet NIET claimt:
- Universele Geen-Verlies: De resultaten bewijzen niet dat O-gesloten modellen universeel superieur of niet-inferieur zijn over alle taken.
- Willekeurige Host Closure: De theorie is conditioneel op het feit dat de routing, pooling en readout paden van het host-model ook aan de O-Closure wet voldoen.
- Geleerde Zero-Attractor Dynamiek: Het artikel claimt niet dat training van nature deze null-toestanden zal ontdekken of gebruiken; het biedt de mechanisme hiervoor, niet het bewijs van de emergentie ervan.
- Algemene Ontbrekende Waarde Semantiek: Het onderscheidt structurele NULL van informatieve ontbreken (bijv. een geleerd [MASK] token) en claimt niet het algemene semantische probleem van ontbrekende data op te lossen.

Samenvattend biedt het artikel een rigoureuze algebraïsche en architecturale oplossing om de "nul-vector" een echt inert element te maken in attention-modellen, waarbij wordt gegarandeerd dat de afwezigheid van de representatie van een token resulteert in de afwezigheid van de invloed ervan, mits het gehele computationele pad de O-Closure wet respecteert.