A Compression Based Classification Framework Using Symbolic Dynamics of Chaotic Maps

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een enorme verzameling verhalen hebt. Sommige verhalen zijn over detectives, andere over ruimtevaart, en weer andere over koken. Je wilt een slimme robot bouwen die, als hij een nieuw verhaal krijgt, direct kan zeggen: "Ah, dit is een detective!" of "Dit is over koken!"

Meestal doen computers dit door te kijken naar specifieke woorden of patronen. Maar in dit artikel, getiteld "Een classificatieframework gebaseerd op compressie met symbolische dynamica van chaotische kaarten", doen de auteurs (Parth Naik en Harikrishnan N. B.) het op een heel andere, creatieve manier. Ze gebruiken wiskunde uit de wereld van chaos en data-compressie.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het Grote Idee: Verhalen samenvatten in één getal

Stel je voor dat elke categorie (bijvoorbeeld "Katten" of "Honden") zijn eigen unieke stempel heeft.

Bij de methode van de auteurs wordt elke "Katten-verhaaltje" omgezet in een rijtje van nullen en enen (een binair patroon).
Vervolgens wordt dit rijtje gebruikt om een heel specifiek wiskundig spelletje te spelen. Dit spelletje heet een "chaotische kaart" (in dit geval de Baker's Map).

De Analogie van de Deegroller:
Stel je voor dat je een stuk deeg hebt (dat is je data).

Als je het deeg voor Katten uitrolt, krijg je een heel specifiek patroon van strepen.
Als je het deeg voor Honden uitrolt, krijg je een heel ander patroon.
De "chaotische kaart" is als een super-snelle deegroller die het deeg steeds in tweeën snijdt, herschikt en weer samenvoegt.

2. Hoe werkt het? (De drie stappen)

Stap 1: Het Leren (Het maken van de stempel)

Tijdens het "leren" kijkt de computer naar alle voorbeelden van Katten. Hij telt hoe vaak bepaalde patronen van nullen en enen voorkomen.

"Ah, bij Katten komt het patroon '01' vaak voor, maar '11' zelden."
Hiermee maakt hij een specifiek deegrolspel voor Katten. Dit spel is zo ingesteld dat het precies past bij de patronen van de Katten-data.
Hij doet hetzelfde voor Honden, Vogels, enzovoort. Elke categorie krijgt zijn eigen unieke deegrolspel.

Stap 2: Het Testen (Het proberen te persen)

Nu krijg je een nieuw, onbekend verhaal (een test-voorbeeld).

De computer probeert dit verhaal in te passen in het Katten-spel.
Vervolgens probeert hij het in te passen in het Honden-spel.

Stap 3: De Winnaar (De kortste weg)

Hier komt de magie van compressie om de hoek kijken.

Als het verhaal echt over Katten gaat, dan past het perfect in het Katten-spel. Het deegrolspel kan het verhaal heel efficiënt "samenvouwen" tot een heel klein, compact stukje deeg.
Als je probeert een Katten-verhaal in het Honden-spel te persen, gaat het mis. Het deeg wordt rommelig en het kost veel meer ruimte om het te beschrijven.

De Gouden Regel:
De computer zegt: "Welke categorie heeft dit verhaal het kortst en efficiëntst kunnen samenvouwen? Dat is de winnaar!"
In de wiskunde betekent een kortere samenvouwing (compressie) dat het verhaal beter past bij dat model. Het is alsof je zegt: "Dit verhaal past het beste bij de Katten, want dat is de enige categorie die het verhaal zonder gedoe in één klein doosje past."

3. Waarom is dit slim?

Normaal gesproken proberen computers een complexe formule te vinden die alle regels van Katten en Honden beschrijft. Deze auteurs zeggen: "Waarom zoeken we naar regels? Laten we gewoon kijken welk model de data het kleinste maakt."

Compressie = Begrip: Als je een boek kunt samenvatten tot één zin, heb je het echt begrepen. Als je het in 100 zinnen moet samenvatten, heb je het niet goed begrepen.
Chaos is geen probleem: Normaal denken mensen dat "chaos" (willekeur) slecht is. Maar hier gebruiken ze de wiskunde van chaos om patronen heel scherp te onderscheiden. Het is alsof je een wirwar van draden gebruikt om een perfect strakke knoop te maken.

4. Wat hebben ze bewezen?

De auteurs hebben hun methode, die ze ChaosComp noemen, getest op echte data (zoals medische gegevens om kanker te detecteren, of het herkennen van bloemensoorten).

Het werkt verrassend goed! Het scoort net zo goed als de beste standaard-computerprogramma's die we nu gebruiken.
Het is vooral interessant omdat het een heel nieuwe manier is om naar "leren" te kijken: niet als het vinden van regels, maar als het vinden van de kortste beschrijving.

Samenvattend in één zin:

Deze methode leert computers niet om regels te onthouden, maar om te kijken welk "verhaal" (categorie) een nieuw voorbeeld het kortst en meest efficiënt kan samenvatten, net zoals een meester-verhaalleraar die een boek in één zin kan samenvatten omdat hij het echt begrijpt.

Each language version is independently generated for its own context, not a direct translation.

Titel: Een op compressie gebaseerd classificatiekader met gebruik van symbolische dynamica van chaotische kaarten

Auteurs: Parth Naik en Harikrishnan N. B. (BITS Pilani, India)

1. Het Probleem en de Context

Traditioneel wordt machine learning vaak benaderd vanuit perspectieven zoals functiebenadering (bijv. neurale netwerken) of probabilistische inferentie (bijv. Bayesiaanse methoden). Een minder conventioneel, maar fundamenteel perspectief is dat van datacompressie, gebaseerd op het Minimum Description Length (MDL) principe. Volgens MDL is het beste model degene dat de data het meest efficiënt kan beschrijven (d.w.z. de kortste totale beschrijvingslengte).

Het probleem dat deze auteurs aanpakken, is het ontwikkelen van een classificatiealgoritme dat deze compressieprincipes direct toepast door gebruik te maken van chaotische dynamische systemen. In plaats van te proberen een decision boundary te leren via gradient descent of probabilistische schattingen, modelleren ze elke klasse als een uniek chaotisch systeem. Het doel is om te bepalen welke klasse de testdata het meest efficiënt kan "compresseren" (d.w.z. de kortste beschrijvingslengte genereert), wat impliceert dat de data het beste door dat specifieke model wordt verklaard.

2. Methodologie: ChaosComp

De voorgestelde methode, genaamd ChaosComp, combineert symbolische dynamica, chaotische kaarten en arithmetische codering. Het proces verloopt als volgt:

A. Voorverwerking en Symbolisatie

Normalisatie: Alle kenmerken worden genormaliseerd naar het interval $[0, 1]$ met behulp van een MinMax-schaal.
Augmentatie: Om numerieke stabiliteit te waarborgen bij terugwaartse iteratie, wordt een extra kenmerk toegevoegd (de som van de kwadraten van de originele kenmerken) als het aantal kenmerken $k < 30$ .
Binarisatie: De continue data wordt omgezet in een binaire symbolische reeks ($0$ of $1$) door een drempelwaarde (hyperparameter) toe te passen. Waarden $\ge$ drempel worden $1$, anders $0$.
Padding: Als het aantal kenmerken geen veelvoud is van de bloksgrootte $n$ , worden dummy-symbolen toegevoegd om volledige blokken te garanderen.

B. Modellering per Klasse (Training)

Voor elke klasse in het trainingsdataset wordt een specifiek $n$ -de terugkeer-kaart (n-th return map) geconstrueerd:

De binaire reeksen worden opgedeeld in niet-overlappende blokken van lengte $n$ .
De empirische kansen van alle mogelijke $2^n$ symbolische patronen (bijv. '00', '01', '10', '11' voor $n=2$ ) worden berekend.
Deze kansen definiëren de structuur van een stuksgewijs lineaire chaotische kaart (een variant van de Baker's map). De kaart verdeelt het interval $[0, 1)$ in subintervallen waarvan de lengte overeenkomt met de empirische kansen van de symbolen.
Laplace-smoothing wordt toegepast om te voorkomen dat symbolen met een frequentie van nul de iteratieprocessen verstoren.

C. Classificatie (Testfase)

Tijdens het testen wordt voor een nieuw datapunt de volgende procedure uitgevoerd:

Het punt wordt binaire gesymboliseerd met de optimale drempelwaarde.
Voor elke klasse wordt terugwaartse iteratie (backward iteration) uitgevoerd. Dit is een reconstructietechniek waarbij men vanuit het laatste symbool terugwerkt naar het begin om het oorspronkelijke startinterval $[L, U]$ te vinden dat deze symbolische reeks zou genereren onder de specifieke kaart van die klasse.
De grootte van dit interval ( $\ell = U - L$ ) vertegenwoordigt de waarschijnlijkheid van de reeks onder dat model.
De grootte van het gecomprimeerde bestand wordt berekend als:
$\text{Grootte} = \lceil -\log_2(U - L) \rceil$
De klasse die de kortste gecomprimeerde grootte oplevert, wordt als voorspelling gekozen. Bij gelijke grootte wordt cosine-similariteit gebruikt als tie-breaker.

3. Belangrijkste Bijdragen

Nieuw Kader: De auteurs introduceren een classificatiekader dat volledig gebaseerd is op de principes van chaotische dynamica en compressie, zonder gebruik te maken van traditionele loss-functies of gradient-based learning.
Shannon-Optimaliteit: Ze tonen aan dat hun gebruik van de Baker's map en varianten Shannon-optimaal is voor broncodering, wat betekent dat de compressie de entropie van de bron bereikt.
Flexibiliteit: Door het gebruik van $n$ -de terugkeer-kaarten (in plaats van alleen eerste-orde kaarten) kunnen complexe, niet-lineaire afhankelijkheden in de data worden gemodelleerd.
Interpreteerbaarheid: Het model biedt een fysieke interpretatie van classificatie: een klasse "verstaat" de data beter als deze de data efficiënter kan coderen.

4. Resultaten

De methode is getest op synthetische en real-world datasets:

Synthetische Data: Op de XOR-problematiek (niet-lineair scheidbaar) en logische poorten (NAND, NOR) bereikte ChaosComp 100% nauwkeurigheid, wat aantoont dat het effectief is in het vangen van niet-lineaire interacties.
Real-world Data: De prestaties werden vergeleken met standaard ML-algoritmen (Logistic Regression, SVM, Decision Tree, k-NN, Naive Bayes).
- Breast Cancer Wisconsin: Macro F1-score van 0.9531 (vergelijkbaar met of beter dan de concurrenten).
- Seeds: Macro F1-score van 0.9475 (beter dan Decision Tree).
- Wine: Macro F1-score van 0.9124.
- Iris: Macro F1-score van 0.8469 (iets lager dan sommige geavanceerde modellen, maar competitief).
- Banknote: Macro F1-score van 0.8976.

Hoewel ChaosComp niet altijd de absolute state-of-the-art prestaties haalt (bijv. SVM en k-NN presteren soms beter op specifieke datasets), is de prestatie zeer competitief met slechts twee hyperparameters (drempelwaarde en bloksgrootte $n$ ).

5. Significantie en Toekomstperspectief

Theoretische Basis: Het werk versterkt de link tussen chaos, entropie en leerbare systemen. Het suggereert dat de "leerbaarheid" van een klasse correleert met de mate van chaos (Lyapunov-exponent) en de entropie van de bijbehorende kaart.
Alternatief voor Deep Learning: Het biedt een alternatieve, wiskundig onderbouwde benadering voor classificatie die minder afhankelijk is van grote hoeveelheden data en zware rekenkracht voor training (hoewel back-iteratie numeriek uitdagend kan zijn bij zeer hoge dimensies).
Toekomstig Werk: De auteurs plannen onderzoek naar de relatie tussen de entropie van de kaarten en de scheidbaarheid van klassen, en het oplossen van numerieke stabiliteitsproblemen bij hoge dimensies via her-normalisatie.

Conclusie: ChaosComp demonstreert dat het modelleren van klassen als chaotische dynamische systemen een krachtige en theoretisch rijke manier is om classificatieproblemen op te lossen, waarbij compressie als de maatstaf voor "begrip" van de data dient.