Technische Samenvatting: De E∆-MHC-Geo Transformer

1. Probleemstelling

Moderne deep learning is sterk afhankelijk van residuale connecties ($X_{l+1} = X_l + F(X_l)$) om gradiëntstroom in diepe netwerken te faciliteren. Standaard additieve residuals missen echter geometrische garanties, wat leidt tot normdrift en beperkte expressiviteit in interlaag-mixing. Recente pogingen om dit aan te pakken omvatten:

• Manifold-geconstraineerde Hyper-Connecties (mHC): Gebruikt Sinkhorn-Knopp-projecties om dubbel-stochastische mixingsmatrices te creëren. Hoewel deze bij benadering orthogonaal zijn, hopen fouten zich op over lange sequenties en is de projectie computationeel iteratief.
• Deep Delta Learning (DDL): Vervangt de identiteitsshortcut met een input-afhankelijke Householder-operator ($H_\beta = I - \beta kk^\top$). Hoewel adaptief, is deze alleen strikt orthogonaal wanneer de magnitude-parameter $\beta \in \{0, 2\}$. Tijdens training varieert $\beta$ continu, wat isometrie breekt en gradiëntinstabiliteit veroorzaakt.

Bovendien slagen bestaande geometrische benaderingen er vaak niet in om toegang te krijgen tot de volledige orthogonale groep $O(n)$. Specifiek is de Cayley-transformatie, een veelgebruikt hulpmiddel voor het genereren van rotaties, algebraïsch onbekwaam om een eigenwaarde van $\lambda = -1$ te produceren (een pure negatie/reflectie), wat de bruikbaarheid beperkt voor taken die snelle tekeninversie of correctie vereisen.

2. Methodologie

De E∆-MHC-Geo Transformer stelt een nieuw architectuurconcept voor dat input-adaptieve geometrie verenigt met onvoorwaardelijke orthogonaliteit.

2.1 Data-afhankelijke Cayley-rotatie

De kerninnovatie is de Data-afhankelijke Cayley-transformatie. In tegenstelling tot eerdere methoden waarbij rotatievlakken bij initialisatie vaststaan, berekent deze benadering de rotatiegenerator dynamisch op basis van de input $x$.

• Generatorconstructie: Twee neurale netwerken berekenen vectoren $u(x)$ en $v(x)$ vanuit de input.
• Skeet-symmetrische Generator: Een matrix $A(x) = u(x)v(x)^\top - v(x)u(x)^\top$ wordt geconstrueerd. Cruciaal is dat deze matrix door algebraïsche constructie skeet-symmetrisch is ($A^\top = -A$), ongeacht hoe $u$ en $v$ zijn afgeleid.
• Transformatie: De residuale mixingsoperator wordt gedefinieerd als:
  $$Q(x) = \left(I + \frac{\beta(x)}{2}A(x)\right)^{-1}\left(I - \frac{\beta(x)}{2}A(x)\right)$$
  waarbij $\beta(x)$ een leerbare, input-afhankelijke magnitude is.
• Theoretische Garantie: De auteurs bewijzen (Stelling 4.1) dat omdat $A(x)$ skeet-symmetrisch is, $Q(x)$ onvoorwaardelijk orthogonaal is ($Q^\top Q = I$) en normbehoudend voor elke input en elke waarde van $\beta(x)$. Dit staat in contrast met DDL, dat orthogonaliteit verliest wanneer $\beta \notin \{0, 2\}$.

2.2 De Hybride Architectuur en Negatie

Een bekende beperking van de Cayley-transformatie is dat deze geen eigenwaarde van $\lambda = -1$ kan produceren (Stelling 4.6), aangezien deze afbeeldt op de speciale orthogonale groep $SO(n)$ (determinant +1). Om taken te hanteren die negatie vereisen (bijv. "Eigenlijk, nee"), introduceren de auteurs de E∆-MHC-Geo Hybrid:

• Operatorselectie: Het model combineert de Cayley-rotatie $Q(X)$ met een vaste Householder-reflectie $H_2(k)$ (waarbij $\beta=2$) via een geleerde gate $\gamma(X) \in (0, 1)$:
  $$G_\gamma(X) = \gamma(X) Q(X)X + (1 - \gamma(X)) H_2(k(X))X$$
• Midpoint Collapse Regularisatie: Om ervoor te zorgen dat het model de orthogonale componenten van $O(n)$ benut in plaats van te blijven hangen in het niet-orthogonale interieur (waar $\gamma \in (0, 1)$), wordt een regularisator $L_{gate} = 4\gamma(1-\gamma)$ toegepast. Dit stimuleert $\gamma$ om in te storten naar de grenzen ($0$ of $1$), wat effectief een "sprong" tussen de rotatie- en reflectiecomponenten van de orthogonale groep mogelijk maakt.

2.3 Architectuur-integratie

De geometrische operator vervangt de standaard identiteitsshortcut in een Transformer-blok. De architectuur bevat geleerde pre/post-mappings ($H_{pre}, H_{post}$) vergelijkbaar met mHC, maar de residuale mixing wordt nu uitgevoerd door de exacte, input-adaptieve orthogonale operator $G_\gamma$.

3. Belangrijkste Bijdragen

1. Onvoorwaardelijke Orthogonaliteit: De eerste architectuur die exacte, niet-iteratieve orthogonaliteit biedt voor alle inputs en alle trainingsstappen via een data-afhankelijke Cayley-transformatie, zonder te vertrouwen op zachte straffen of projecties.
2. Hybride Toegang tot $O(n)$: Een nieuw gating-mechanisme dat het model toegang geeft tot beide samenhangende componenten van de orthogonale groep ($SO(n)$ voor rotatie en $O(n) \setminus SO(n)$ voor reflectie), waarmee het "negatieprobleem" inherent aan pure Cayley-methoden wordt opgelost.
3. Theoretische Analyse van Regularisatie: Een "Universele Zero-Gradiënt Stelling" (Stelling 7.3) die het gedrag van symmetrische regularisatoren bij het middenpunt verklaart, en een principiële rechtvaardiging biedt voor de midpoint-collapse-strategie.
4. Empirische Validatie: Rigoureuze tests tegen vier baselines (inclusief de gelijktijdige JPmHC) met gelijkgestelde parameteraantallen (~1,79M), waarbij superieure stabiliteit en geometrische fideliteit worden aangetoond.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op synthetische benchmarks ontworpen om geometrische eigenschappen te isoleren, met resultaten gemiddeld over drie willekeurige zaden.

• Stabiliteit op Lange Termijn: Op een stabiliteitsbenchmark (voorspellen van echo-sequenties over 127 stappen) behaalde E∆-MHC-Geo de laagste loss, presterend 1,9× beter dan JPmHC en 3,8× beter dan GPT. Het behield normbehoud met een gemiddelde afwijking van slechts 0,001, wat de theoretische isometrie valideert.
• Gyroscoop (Rotatie) Taak: Op een taak die continue rotatievoorspelling vereiste, behaalde JPmHC de laagste absolute loss (geprofiteerd van een bredere representatie, $n_{embd}=512$). Echter, E∆-MHC-Geo presteerde aanzienlijk beter dan niet-geometrische baselines (3,7× beter dan GPT) ondanks het gebruik van 33% minder lagen en een smallere representatie ($n_{embd}=128$).
• Negatie en Reflectie: In een diagnostische taak waarbij het model $y = -x$ moest leren, collapseerde de E∆-MHC-Geo-gate succesvol naar $\gamma \approx 0,05$, waarbij de Householder-reflectietak werd geselecteerd om 0,96 cosijn-uitlijning te bereiken. In tegenstelling hiermee faalden JPmHC (zonder reflectietak) en DDL (dat moeite had om $\beta$ exact op 2 te laten convergeren) om exacte negatie-uitlijning te bereiken.
• Rotatie Nabij $\pi$: Het model toonde robuustheid in het benaderen van de grens tussen rotatie en reflectie, convergerend naar lage loss zelfs voor hoeken dicht bij $\pi$ (bijv. $179,9^\circ$), hoewel exact $\pi$ de reflectietak vereist.

5. Betekenis en Claims

Het artikel beweert dat E∆-MHC-Geo een significante stap voorwaarts is in geometrisch deep learning door de sterke punten van eerdere benaderingen te verenigen:

• Het behoudt de input-adaptiviteit van Deep Delta Learning (DDL) en het multi-stream framework van mHC.
• Het biedt exacte algebraïsche orthogonaliteit die onvoorwaardelijk geldt, in tegenstelling tot de benaderde orthogonaliteit van Sinkhorn-projecties of de voorwaardelijke orthogonaliteit van DDL.
• Het lost uniek het negatieprobleem op door Cayley-rotaties te hybridiseren met Householder-reflecties, waardoor het model toegang krijgt tot de volledige orthogonale groep $O(n)$.

De auteurs benadrukken dat hoewel JPmHC mogelijk uitblinkt in taken die hoge dimensionale per-stream expressiviteit vereisen (vanwege zijn bredere architectuur), E∆-MHC-Geo superieure stabiliteit, normbehoud en geometrische exactheid biedt met minder lagen. Het werk legt een theoretische en empirische basis voor het gebruik van input-adaptieve, onvoorwaardelijke orthogonale transformaties, wat suggereert dat de structuur van interlaag-transformaties net zo kritiek is als hun hoeveelheid. De auteurs merken op dat de huidige resultaten gebaseerd zijn op gecontroleerde synthetische benchmarks en dat schaling naar grootschalige natuurlijke taal- of visietaken een richting blijft voor toekomstig werk.