Hypercomplex Widely Linear Processing: Fundamentals for Quaternion Machine Learning

Dit hoofdstuk legt de fundamentele basis voor quaterniën-machine learning door geavanceerde statistiek, wijd-lineaire modellen, quaterniëncalculus en middelste-kwadraten-schatting te introduceren om onderzoekers in staat te stellen deze multidimensionale domeinen te benutten.

De kern

Stel je voor dat je een wereld hebt waar alles in drie dimensies gebeurt: links-rechts, voor-achter en boven-onder. In de wiskunde en techniek hebben we al eeuwenlang een heel handig gereedschap om met twee dimensies (zoals op een plat stuk papier) om te gaan: de complexe getallen. Die werken fantastisch voor golven, geluid en elektriciteit.

Maar wat als je diezelfde slimme wiskunde wilt gebruiken voor de echte, driedimensionale wereld? Daarvoor hebben we quaternionen nodig. Dit hoofdstuk uit een wetenschappelijk boek legt uit hoe we deze krachtige, maar vaak verwarrende, wiskunde kunnen gebruiken voor moderne kunstmatige intelligentie (machine learning).

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Blinde" Wiskunde

Stel je voor dat je een robotarm wilt besturen. Als je alleen kijkt naar de "reële" kant van de wiskunde (zoals gewone getallen), is het alsof je probeert een dans te beschrijven terwijl je je ogen dicht doet. Je mist de richting en de draaiing.

Vroeger dachten mensen: "Laten we gewoon de drie dimensies als drie aparte lijsten met getallen behandelen." Maar dat werkt niet goed. Het is alsof je probeert een balletje te vangen door alleen naar zijn lengte, breedte en hoogte te kijken, zonder te kijken hoe het draait. Je mist de essentie.

2. De Oplossing: Quaternionen (De 4D-Dans)

Quaternionen zijn als een super-getal dat uit vier delen bestaat: één reëel deel en drie denkbeeldige delen (die we $i$, $j$ en $k$ noemen).

• De Analogie: Stel je een quaternion voor als een 4D-robot. Hij heeft een hoofd (het reële deel) en drie armen ($i, j, k$).
• De Kracht: Het allerbelangrijkste is dat quaternionen perfect kunnen beschrijven hoe dingen in de ruimte draaien. Denk aan een vliegtuig dat een loop maakt, of een video-game-figuur die om zijn as draait. Quaternionen doen dit zonder "gimbal lock" (een probleem waarbij je vastloopt in je bewegingen, alsof je robotarm in een knoop zit).

3. De Uitdaging: Alles Zien (Augmented Statistics)

Hier wordt het spannend. Als je een quaternion gebruikt in een computerprogramma, is het niet genoeg om alleen naar het getal zelf te kijken.

• De Metafoor: Stel je voor dat je een kubus hebt. Als je alleen naar de voorkant kijkt, zie je een vierkant. Maar als je ook naar de zijkant, bovenkant en onderkant kijkt, zie je pas de volledige kubus.
• In de wiskunde noemen ze dit de "Augmented Approach" (de uitgebreide aanpak).
• De auteurs zeggen: "Om een quaternion echt te begrijpen, moeten we niet alleen naar het getal kijken, maar ook naar zijn 'spiegelbeelden' (involutions)."
• Het is alsof je een diamant in het licht draait. Als je alleen naar één kant kijkt, zie je één kleur. Draai je hem, dan zie je de andere kleuren. De "augmented" methode houdt al die kleuren tegelijk vast. Hierdoor kan de computer alle statistische informatie uit het signaal halen, in plaats van slechts een deel.

4. De Motor: HR-Calculus (De Regels voor Verandering)

Om deze quaternionen te gebruiken in machine learning (waarbij computers leren van fouten), moeten we weten hoe ze veranderen. In de gewone wiskunde gebruiken we afgeleiden (differentiëren) om te zien hoe snel iets verandert.

• Het Probleem: De oude regels voor afgeleiden werken niet goed voor quaternionen, omdat de volgorde van vermenigvuldigen eruit telt (net als in het dagelijks leven: eerst linksom draaien en dan omhoog, is anders dan eerst omhoog en dan linksom).
• De Oplossing: De auteurs introduceren de HR-Calculus.
• De Analogie: Stel je voor dat je een auto bestuurt in een stad met eenrichtingsverkeer. De oude regels waren alsof je dacht dat je overal mocht rijden. De HR-Calculus is de nieuwe GPS die precies weet welke wegen je mag nemen en hoe je de auto moet sturen om efficiënt te rijden, zelfs als de straten (de wiskundige regels) niet-commutatief zijn (niet uitwisselbaar).

5. Wat levert dit op? (Machine Learning)

Met deze nieuwe regels kunnen we algoritmen bouwen die beter leren van 3D-data.

• Voorbeeld: Stel je voor dat je een robot wilt leren om een bal te vangen in de lucht.
  • Met oude methoden (complexe getallen of gewone getallen) zou de robot misschien denken dat de bal alleen links of rechts gaat, en niet begrijpen dat hij ook naar voren en achteren beweegt terwijl hij draait.
  • Met Quaternion Machine Learning (zoals de QLMS-algoritme in de tekst) ziet de robot de bal als één geheel: een draaiende, vliegende bol. Hij leert sneller, maakt minder fouten en past zich beter aan.

Samenvatting in één zin

Dit hoofdstuk legt uit hoe we door "spiegels" van quaternionen te gebruiken (de augmented aanpak) en nieuwe regels voor verandering (HR-calculus) computers kunnen leren om de driedimensionale wereld net zo slim te begrijpen en te manipuleren als wij mensen dat doen, zonder vast te lopen in de complexiteit van de wiskunde.

Het is de brug tussen de abstracte wiskunde van Sir William Rowan Hamilton (die de quaternionen in de 19e eeuw bedacht) en de moderne AI van de 21e eeuw.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het hoofdstuk "Hypercomplex Widely Linear Processing: Fundamentals for Quaternion Machine Learning", geschreven door Sayed Pouria Talebi en Clive Cheong Took.

Titel: Hypercomplexe Breed Lineaire Verwerking: Fundamenten voor Kwantum Machine Learning

1. Het Probleem

Traditionele multidimensionale signaalverwerking en machine learning zijn grotendeels gebaseerd op reële ($\mathbb{R}$) en complexe ($\mathbb{C}$) getallen. Hoewel complexe getallen succesvol zijn toegepast voor fase- en frequentieanalyse, blijken ze ontoereikend voor het modelleren van complexe, driedimensionale fysische fenomenen zoals rotaties, oriëntatie en gepolariseerde golven.

De kernproblemen die dit hoofdstuk adresseert zijn:

• Onvolledige statistische modellering: Het behandelen van kwaternionen (hypercomplexe getallen met één reële en drie imaginaire componenten) als eenvoudige vectoren van reële getallen leidt tot het verlies van de inherente fysische betekenis en de algebraïsche structuur.
• Beperkte lineaire modellen: Standaard lineaire modellen in het kwaternion-domein zijn vaak onvoldoende om de volledige tweede-orde statistische informatie van een kwaternionisch proces te vangen. Net zoals bij complexe getallen een "pseudo-covariantie" nodig is naast de standaard covariantie, vereisen kwaternionen een uitgebreidere statistische beschrijving.
• Moeilijkheden in differentiatie: Het afleiden van optimalisatie-algoritmen (zoals gradiëntafstijging) voor kwaternionen is historisch lastig geweest vanwege de strikte eisen voor analytische functies (Cauchy-Riemann-Fueter voorwaarden), die te restrictief zijn voor praktische machine learning-toepassingen.

2. Methodologie

Het hoofdstuk introduceert een geïntegreerde framework die algebra, statistiek en calculus combineert om kwaternionen direct in hun eigen domein te verwerken. De methodologische pijlers zijn:

• Kwaternion Algebra en Involutions:

  • Herhaling van de basis van kwaternionen ($q = q_r + i q_i + j q_j + k q_k$) en hun niet-commutatieve aard.
  • Introductie van involutions (afbeeldingen die hun eigen inverse zijn) rond de imaginaire eenheden $i, j, k$. Een kwaternion $q$ kan worden omgezet in $q_i, q_j, q_k$ door rotatie van de imaginaire componenten.
  • Deze involutions worden gebruikt om een augmented vector ($q_a$) te construeren: $q_a = [q, q_i, q_j, q_k]^T$. Dit stelt een lineaire operator in staat om een kwaternionisch signaal te koppelen aan zijn vier reële componenten.

• Augmented Statistiek:

  • In plaats van alleen de standaard autocorrelatie $r_c(\ell) = E\{q(n)q^*(n-\ell)\}$ te gebruiken, introduceert het hoofdstuk $\eta$-autocorrelaties ($r_\eta(\ell)$) en pseudo-autocorrelaties ($r_p(\ell)$).
  • Door gebruik te maken van de augmented vector, kunnen de volledige tweede-orde statistieken (inclusief kruiscorrelaties tussen alle reële en imaginaire componenten) worden afgeleid uit een set van vier autocorrelatiematrixen. Dit garandeert dat geen statistische informatie verloren gaat.

• Breed Lineaire Modellen (Widely Linear Models):

  • De Minimum Mean Square Error (MMSE) schatter wordt afgeleid voor kwaternionen. Het resultaat toont aan dat de optimale schatter niet alleen lineair is in $q$, maar ook lineair in de geconjugeerde en geïnvolveerde versies ($q_i, q_j, q_k$).
  • Dit leidt tot het Widely Linear (WL) model: $\hat{y} = \mathbf{g}^T \mathbf{q} + \mathbf{h}^T \mathbf{q}_i + \mathbf{u}^T \mathbf{q}_j + \mathbf{v}^T \mathbf{q}_k$. Dit model exploiteert de volledige statistische informatie van het proces.

• HR-Calculus (Hamilton-Rodrigues Calculus):

  • Om optimalisatie mogelijk te maken zonder de restricties van analytische functies, wordt de HR-calculus geïntroduceerd.
  • Deze calculus behandelt een kwaternionische functie als een functie van vier reële variabelen ($q_r, q_i, q_j, q_k$) en gebruikt de augmented vector om de gradiënt te berekenen.
  • Belangrijke regels zoals het productregel en de kettingregel worden afgeleid specifiek voor dit kader, wat de basis vormt voor backpropagation in kwaternionische neurale netwerken.

3. Belangrijkste Bijdragen

1. Het Augmented Kwantum Framework: Een systematische methode om kwaternionen te behandelen via een uitgebreide vectorbasis die de vier perspectieven (reëel en drie imaginaire involutions) combineert. Dit maakt het mogelijk om kwaternionen te analyseren met dezelfde intuïtie als reële statistiek.
2. Volledige Tweede-Orde Statistiek: Het aantonen dat alleen de standaard autocorrelatie onvoldoende is en dat een set van vier autocorrelaties (standaard + drie $\eta$-varianten) nodig is voor een complete statistische beschrijving.
3. HR-Calculus voor Machine Learning: Het bieden van een robuust calculus-raamwerk dat de afleiding van gradiënten voor niet-analytische functies (zoals ReLU en tanh) mogelijk maakt, wat essentieel is voor adaptieve algoritmen.
4. Afleiding van QLMS en NQLMS:
   • De Quaternion Least Mean Square (QLMS) algoritme wordt strikt afgeleid met behulp van de HR-calculus.
   • De Nonlinear QLMS (NQLMS) wordt geïntroduceerd voor niet-lineaire verwerking, met specifieke aandacht voor lokale analytische functies (zoals tanh) om de kettingregel te vereenvoudigen.
5. Praktische Implementatie: Het hoofdstuk bevat concrete MATLAB-codevoorbeelden voor de berekening van autocorrelaties en de implementatie van zowel lineaire als niet-lineaire kwaternionische LMS-algoritmen.

4. Resultaten en Voorbeelden

• Rotatie en Oriëntatie: Het hoofdstuk bevestigt dat kwaternionen superieur zijn voor het modelleren van 3D-rotaties (geen gimbal lock, efficiëntere interpolatie) vergeleken met rotatiematrices.
• Statistische Symmetrie: Numerieke voorbeelden tonen aan dat de absolute grootte van de autocorrelaties symmetrisch is, behalve voor de pseudo-autocorrelatie van volledige kwaternionen, wat de noodzaak van de augmented aanpak onderstreept.
• Gradiëntberekening: De afleiding van de gradiënt voor de kwadratische fout ($\|q\|^2$) en de QReLU-functie toont aan dat de HR-calculus leidt tot correcte update-regels die de niet-commutatieve eigenschappen van kwaternionen respecteren.
• Algoritme-Performance: De afgeleide QLMS-update regel ($w[n+1] = w[n] + \gamma \epsilon[n] q_a^*[n]$) toont aan hoe de augmented vector direct in de aanpassingsregel wordt gebruikt.

5. Betekenis en Impact

Dit hoofdstuk vormt een fundamentele mijlpaal voor het veld van Hypercomplex Machine Learning.

• Overbrugging van theorie en praktijk: Het lost het probleem op dat kwaternionische signalen vaak werden "ontleed" in reële componenten, wat hun fysische samenhang verbrak. Door in het kwaternion-domein te blijven, behouden modellen hun fysische interpretatie (bijv. rotatie, polarisatie).
• Toepassingsgebied: De technieken zijn direct toepasbaar in diverse domeinen zoals:
  • Aero- en ruimtevaart: Voor attitude control en navigatie.
  • Computer Graphics: Voor soepele rotatie-interpolatie.
  • Biomedische signaalverwerking: Voor bewegingstracking en 3D-akoestiek.
  • Communicatie: Voor ruimte-tijd-polarisatie multiplexing.
  • Kwantumcomputing: Voor het modelleren van kwantumtoestanden.
• Toekomstgericht: Het biedt de wiskundige basis voor de ontwikkeling van diepe kwaternionische neurale netwerken (QNNs), waardoor machine learning modellen efficiënter kunnen worden met minder parameters voor driedimensionale data.

Kortom, dit werk levert de noodzakelijke wiskundige gereedschappen (algebra, statistiek, calculus) om kwaternionen niet langer als een curiositeit, maar als een krachtig, standaard domein voor geavanceerde multidimensionale signaalverwerking en machine learning te behandelen.