💬 NLP

WavePhaseNet: A DFT-Based Method for Constructing Semantic Conceptual Hierarchy Structures (SCHS)

Dit artikel stelt WavePhaseNet voor, een methode die de aandachtmechanismen van LLM's herformuleert door middel van maattheorie en frequentieanalyse om een Semantische Conceptuele Hiërarchische Structuur te construeren via de Discrete Fourier-transformatie, waardoor dimensionaliteitsreductie en cohomologische regularisatie mogelijk worden om hallucinaties theoretisch te mitigeren en logische consistentie af te dwingen.

Oorspronkelijke auteurs: Kiyotaka Kasubuchi, Kazuo Fukiya

Gepubliceerd 2026-07-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kiyotaka Kasubuchi, Kazuo Fukiya

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren menselijke taal te begrijpen. Een lange tijd hebben we hiervoor een hulpmiddel gebruikt genaamd een "Transformer". Denk aan een Transformer als een supersnelle, uiterst attente lezer die een zin woord voor woord scant en het volgende woord raadt op basis van wat eraan voorafging. Het is geweldig in het schrijven van verhalen en het chatten, maar het heeft een vreemde fout: soms verzint het met veel zelfvertrouwen dingen. We noemen deze verzonnen feiten "hallucinaties".

Waarom gebeurt dit? Het artikel suggereert dat het niet komt omdat de computer niet hard genoeg heeft gestudeerd. In plaats daarvan is het een structureel probleem, zoals het proberen te tekenen van een perfecte cirkel met alleen maar rechte lijnen. De computer ziet taal als een vloeiend, wiskundig gemiddelde van mogelijkheden, maar de echte wereld is rommelig, grillig en vol specifieke waarheden die niet altijd in die vloeiende gemiddelden passen. Om dit op te lossen, stellen de auteurs een nieuwe manier voor om naar taal te kijken, niet alleen als een lijst woorden, maar als een lied met verschillende muzikale noten. Ze gebruiken een wiskundig hulpmiddel genaamd de Discrete Fourier-transformatie (DFT), wat dezelfde wiskunde is die wordt gebruikt om een complexe geluidsgolf om te zetten in een eenvoudige lijst van frequenties (zoals bas, middengebied en hoge tonen). Door zinnen als muziek te behandelen, hopen ze de "grote lijn" van de betekenis te scheiden van de "kleine details" van de grammatica, waardoor het moeilijker wordt voor de computer om in de war te raken en dingen te verzinnen.

Het Probleem: Wanneer de Wiskunde Te Vloeiend Wordt

De auteurs, Kiyotaka Kasubuchi en Kazuo Fukiya, beginnen door te wijzen op een fundamenteel gebrek in de werking van huidige AI-modellen. Ze beargumenteren dat deze modellen taal behandelen als een vloeiende, continue curve waarbij alles in elkaar overloopt. In de echte wereld is de waarheid echter vaak grillig en specifief. Wanneer het model probeert alle mogelijkheden te middelen om het "meest waarschijnlijke" volgende woord te vinden, creëert het soms een zin die grammaticaal perfect klinkt, maar volkomen onwaar is. Dit is geen bug; de auteurs suggereren dat het een kenmerk is van de wiskunde zelf. Omdat het model is gebouwd op gemiddelden, kan het de scherpe, niet-gemiddelde waarheden van de realiteit niet perfect representeren.

De Oplossing: Zinnen Veranderen in Muziek

Om dit op te lossen, introduceert het paper een nieuwe methode genaamd WavePhaseNet. Stel je voor dat je een zin hebt geschreven op een stuk papier. Op de oude manier leest de computer deze van links naar rechts, woord voor woord. In WavePhaseNet zet de computer die zin eerst om in een muzikaal akkoord.

Met behulp van een wiskundig proces genaamd de Discrete Fourier-transformatie (DFT), breekt het model de zin af in verschillende "frequenties", net zoals een geluidstechnicus een lied scheidt in bas, drums en zang.

Lage Frequenties: Deze vertegenwoordigen de "bas" van de zin—de grote lijn, het hoofdonderwerp en de algemene intentie. (bijv. "Dit verhaal gaat over een kat.")
Hoge Frequenties: Deze vertegenwoordigen de "treble" (hoge tonen)—de snelle veranderingen, de specifieke grammatica en de kleine details van expressie. (bijv. "De kat zit op de mat.")

De auteurs stellen voor dat door deze frequenties te scheiden, de computer de "grote ideeën" en de "kleine details" verschillend kan behandelen. Het kan de hoofdbetekenis (de lage frequenties) vastleggen zodat deze niet afdwaalt, terwijl het de details (de hoge frequenties) wel kan laten veranderen. Dit creëert een Semantic Conceptual Hierarchy Structure (SCHS), wat een chique manier is om te zeggen dat de computer een duidelijke, georganiseerde kaart bouwt van wat dingen betekenen, in plaats van een wazige wolk van gissingen.

Het Magische Getal: Het Brein Inkrimpen

Een van de meest opvallende claims in het paper gaat over hoeveel ruimte deze nieuwe methode nodig heeft. Huidige krachtige modellen, zoals degene achter GPT-4, gebruiken een enorme hoeveelheid ruimte om informatie op te slaan—specifiek 24.576 dimensies (denk hierbij aan 24.576 verschillende schuifregelaars of knoppen die de betekenis van een woord regelen).

De auteurs suggereren dat omdat taal een natuurlijk patroon volgt genaamd de Wet van Zipf (waarbij een paar woorden heel vaak worden gebruikt en veel woorden zelden), de energie van de zin geconcentreerd is in de lagere frequenties. Ze deden een wiskundige analyse en ontdekten dat je niet alle 24.576 dimensies nodig hebt om de betekenis intact te houden.

Ze berekenden dat je het model kunt verkleinen tot slechts 3.000 dimensies zonder de kernbetekenis of intentie te verliezen. Het is alsoك realiseren dat je geen 4K-tv nodig hebt om een film te kunnen genieten; een hoogwaardig 1080p-scherm is genoeg om het verhaal duidelijk te zien. Door de grootte te verminderen van 24.576 naar 3.000, wordt het model efficiënter en, cruciaal, minder geneigd tot hallucinaties, omdat het gedwongen wordt zich te concentreren op de essentiële "laagfrequente" waarheid in plaats van te verdwalen in de ruis van de hoge frequenties.

De Stukjes Samenvoegen: De "Cohomologie" Truc

Zelfs met de muziek-analogie bestaat er nog steeds een risico dat de computer in de war raakt bij het bekijken van verschillende delen van een zin. Om dit op te lossen, gebruiken de auteurs een concept uit een tak van de wiskunde genaamd cohomologie.

Stel je voor dat je een enorme puzzel probeert te leggen, maar je hebt alleen kleine groepjes vrienden die naar verschillende secties kijken. Soms denkt Vriend A dat een stukje op de ene manier past, en Vriend B dat het op een andere manier past. In de oude modellen zouden deze meningsverschillen simpelweg worden gladgestreken, wat leidt tot een kapot beeld.

WavePhaseNet behandelt deze lokale groepen als een netwerk. Het controleert of de "lokale ideeën" van verschillende delen van de zin met elkaar overeenstemmen. Als ze dat niet doen, berekent het een "meningsverschil-score" (een coboundary genoemd). Het systeem gebruikt vervolgens een wiskundige techniek genaamd Hodge-decompositie om de "harmonische" oplossing te vinden—de versie van het verhaal die maximaal consistent is over alle lokale stukjes. Het is als een scheidsrechter die ervoor zorgt dat elk deel van het verhaal zoveel mogelijk met het geheel overeenkomt, wat helpt om te voorkomen dat de AI in de ene zin zegt "De kat zit op de mat" en in de volgende "De kat vliegt". Het paper merkt echter op dat sommige "ware obstructies" of onvermijdelijke semantische tegenstrijdigheden nog steeds kunnen blijven bestaan, waar het systeem op gericht is deze te verminderen in plaats van ze volledig te elimineren.

Wat Dit Betekent voor de Toekomst

Het paper beweert niet dat het het probleem van AI voor altijd heeft opgelost, maar het biedt een nieuwe manier om naar het probleem te kijken. In plaats van alleen maar meer data tegen het model aan te gooien, suggereert het de onderliggende wiskunde te veranderen. Door taal te behandelen als een op frequentie gebaseerde hiërarchie en deze "harmonische" controles te gebruiken om consistentie te waarborgen, geloven de auteurs dat we AI kunnen bouwen die logischer redeneert en hallucinaties onderdrukt.

Ze laten zien dat door de DFT te gebruiken om de "intentie" te scheiden van de "expressie", en door het model te verkleinen tot de essentiële 3.000 dimensies, we een systeem kunnen creëren dat niet alleen sneller is, maar ook rigoureuzer. Het is een verschuiving van de AI vragen om "het volgende woord te raden" naar de AI vragen om "het lied te begrijpen" voordat het een noot zingt. Hoewel het paper theoretisch is en steunt op wiskundige bewijzen en simulaties, biedt het een overtuigend blauwdruk voor een toekomst waarin AI-hallucinaties aanzienlijk worden verminderd en worden vervangen door een meer rigoureuze, wiskundig onderbouwde verstandhouding van betekenis.

Technische Samenvatting: WavePhaseNet

1. Probleemstelling

Het artikel identificeert hallucinatie in Large Language Models (LLM's) niet louter als een gevolg van onvoldoende trainingsdata, maar als een onvermijdelijke structurele beperking die voortvloeit uit de wiskundige mismatch tussen de architectuur van het model en de aard van semantische waarheid.

Maattheoretische Formulering: De auteurs herformuleren autoregressieve modellen als sequentiële benaderingen van voorwaardelijke verwachtingen over $\sigma$ -algebra's. De embedding-ruimte wordt behandeld als een convexe $L^p$ -ruimte (een genormeerde ruimte die de divergentie tussen de waarheidsmanifold en de leerdistributie vertegenwoordigt).
De Kernmismatch: De "waarheidsverzameling" van de echte wereld is over het algemeen niet-convex en niet-lineair, terwijl de embedding-ruimte lineair en convex is.
Het Gevolg: Omdat het model optimaliseert voor "plausibele gemiddelde optimaliteit" (via het Lebesgue-integraal/verwachting) in plaats van voor puntwaarde-waarheidswaarden, genereert het onvermijdelijk outputs die statistisch waarschijnlijk zijn, maar feitelijk onjuist (hallucinaties). De lineaire superpositie van semantische componenten maakt de creatie van niet-bestaande proposities mogelijk.
Huidige Beperkingen: Bestaande mechanismen zoals self-attention verwerken langetermijn-afhankelijkheden, maar missen een direct mechanisme om semantische inconsistenties tussen overlappende lokale contexten te onderdrukken. Bovendien bevatten hoog-dimensionale embedding-ruimtes (bijv. GPT-4's 24.576 dimensies) aanzienlijke redundantie en ruis, wat rigoureus redeneren bemoeilijkt.

2. Methodologie: WavePhaseNet

De voorgestelde oplossing, WavePhaseNet, construeert een Semantische Conceptuele Hiërarchie Structuur (SCHS) binnen de embedding-ruimte met behulp van de Discrete Fourier Transformatie (DFT) en Cohomologische Regularisatie.

2.1 Spectrale Decompositie via DFT

De methode past een DFT toe langs de sequentiedimensie (tokenvolgorde) van de embedding-matrix. Dit deelt de semantische betekenis van een zin op in frequentiebanden:

Lage Frequenties ( $k \approx 0$ ): Vertegenwoordigen globale thema's, samenvattingen en intentie. Deze fungeren als een "samenvattingsvector" die uniform bijdraagt aan alle posities.
Middenfrequenties: Vertegenwoordigen de discoursstructuur en semantische transities.
Hoge Frequenties: Vertegenwoordigen lokale syntaxis, pragmatiek en expressiedetails.

Door deze banden te scheiden, kan het model globale intentie en lokale expressie onafhankelijk van elkaar manipuleren. Het artikel demonstreert dat deze decompositie wiskundig omkeerbaar is (perfecte reconstructie is mogelijk), wat garandeert dat er geen informatieverlies optreedt tijdens de transformatie.

2.2 Dimensiereductie (De 3.000-dimensie grens)

Door gebruik te maken van de Wet van Zipf en de $1/f$ spectrale structuur die inherent is aan natuurlijke taal, beargumenteert het artikel dat de energie van de amplitude-embeddings afneemt volgens een machtswet ( $E(f) \propto 1/f^\alpha$ ).

Cumulatieve Energieanalyse: De auteurs leiden theoretisch af dat voor een 24.576-dimensionale ruimte (typisch voor GPT-4), de ondergrens voor een "volledige representatie" (het behoud van betekenis en intentie zonder instorting) ongeveer 3.000 dimensies is.
Rechtvaardiging: Onder deze drempel worden semantisch gelijkaardige zinnen ononderscheidbaar van syntactisch gelijkaardige zinnen. Het reduceren van de dimensionaliteit naar deze grens onderdrukt hoogfrequente ruis terwijl de kern van de semantische structuur behouden blijft.

2.3 Cohomologische Regularisatie (Semantisch Lijmen)

Om lokale inconsistenties aan te pakken, introduceert de methode een cohomologie-geïnspireerd regularisatieprincipe:

Lokale Vensters: De token-sequentie wordt bedekt door overlappende lokale vensters. Elk venster produceert een lokale inferentie (een "sectie").
Coboundary Energie: Inconsistenties tussen aangrenzende lokale inferenties worden gekwantificeerd als een coboundary (het verschil tussen aangrenzende secties).
Harmonische Projectie: Met behulp van Hodge-theorie definieert het model een graaf-Laplacian over de vensterbedekking. Het doel is om de set van lokale representaties te projecteren op de harmonische subspace (de kernel van de Laplacian), die de maximaal consistente globale representatie vertegenwoordigt.
Verliesfunctie: De trainingsdoelstelling bevat een term die de gekwadrateerde norm van de coboundary ( $\|\delta s\|^2$ ) bestraft, waardoor lokale inferenties worden gedwongen om samen te "lijmen" tot een globaal consistent geheel.

2.4 Architectuur Integratie

WavePhaseNet is ontworpen om geïntegreerd te worden in Transformer-lagen:

Spectraal Module: Past FFT toe op de sequentie-embeddings om frequentiebanden te scheiden.
Intentie Module: Codeert lage frequentiecomponenten naar een globale intentievector.
Generator: Genereert conditioneel de hoogfrequente componenten op basis van de intentie.
Regularisator: Injecteert de cohomologie-loss (coboundary straf) en spectrale KL-divergentie restricties in de trainingslus.

3. Belangrijkste Bijdragen

Theoretische Definitie van Hallucinatie: Het artikel biedt een rigoureuze wiskundige definitie van hallucinatie als het resultaat van de mismatch tussen de niet-convexe waarheidsverzameling en de convexe $L^p$ embedding-ruimte, waarbij het wordt geframed als een structurele onvermijdelijkheid van huidige autoregressieve frameworks.
Constructie van SCHS: Het stelt een nieuwe methode voor om expliciet een Semantische Conceptuele Hiërarchie Structuur binnen de embedding-ruimte te construeren met behulp van DFT, waarmee men verder gaat dan impliciete token-mixing naar expliciete frequentie-gebaseerde semantische scheiding.
Bewijs voor Dimensiereductie: Het leidt theoretisch af en rechtvaardigt de reductie van hoog-dimensionale embeddings (bijv. 24.576) naar een ondergrens (~3.000) op basis van cumulatieve energieanalyse en de wet van Zipf, waarbij wordt beweerd dat dit de semantische strengheid behoudt terwijl hallucinatie wordt onderdrukt.
Cohomologische Consistentie: Het introduceert een berekenbaar regularisatieprincipe met behulp van cohomologie en Hodge-decompositie om semantische inconsistenties tussen lokale inferenties te kwantificeren en te minimaliseren, waarbij consistentie wordt behandeld als een topologische eigenschap die geoptimaliseerd kan worden.

4. Resultaten en Claims

Perfecte Reconstructie: Het artikel demonstreert via numerieke voorbeelden (bijv. $N=4, d=4$ ) dat de DFT-gebaseerde decompositie en inverse transformatie de originele embedding perfect reconstrueren, wat de wiskundige deugdelijkheid van de aanpak bewijst.
Semantische Manipulatie: Door frequentie-masks toe te passen (bijv. het behouden van lage frequenties terwijl hoge frequenties worden onderdrukt), maakt de methode het mogelijk om "expressie te hervormen terwijl de intentie behouden blijft", een capaciteit die volgens de auteurs moeilijk te bereiken is met standaard attention-mechanismen.
Theoretische Afleiding: Het artikel claimt de 3.000-dimensie ondergrens voor GPT-4-achtige modellen te hebben afgeleid, waarbij wordt aangetoond dat dimensies voorbij dit punt primair bijdragen aan ruis of stilistische variatie in plaats van de kern van de semantische betekenis.
Vergelijking met FNet: In tegen $> FNet, dat DFT primair gebruikt voor computationele efficiëntie en token-mixing, gebruikt WavePhaseNet DFT als een spectrale decompositie-operatie om expliciet semantische hiërarchieën te construeren en hallucinatie te controleren.

5. Betekenis

Het artikel positioneert WavePhaseNet als een fundamentele verschuiving in hoe LLM's omgaan met redeneren en waarheid. Door over te stappen van een puur statistische, token-niveau autoregressieve aanpak naar een spectraal en topologisch framework, beoogt de methode:

De "onvermijdelijke" hallucinatie van LLM's te transformeren in een controleerbare variabele door middel van structurele beperkingen.
Rigoureus redeneren mogelijk te maken door globale intentie te scheiden van lokale syntaxis, waardoor het model kennisfragmenten consistent kan "lijmen".
Een pad te bieden naar volgende generatie redeneer-georiënteerde taalmodellen die opereren met wiskundige validiteit, wat potentieel de noodzaak voor complexe prompt engineering vermindert door het conceptuele hiërarchie-concept intrinsiek te maken aan de embedding-ruimte.

De auteurs concluderen dat door cohomologie niet alleen als een topologische invariant te behandelen, maar als een berekenbaar regularisatieprincipe, het mogelijk is om semantische consistentie te controleren en de validiteit van kennis-redeneerprocessen te handhaven door middel van de harmonische lijming van lokale inferenties.