Curse of Dimensionality: Bypassing via Chaotic Fractal Self-Similarity Invariant Mapping

Nel mondo dei dati e dell'informatica, esiste un problema persistente noto come la "maledizione della dimensionalità". Esso descrive una situazione in cui le cose diventano impossibilmente difficili semplicemente perché ci sono troppe variabili da monitorare. Immaginate di cercare un granello di sabbia specifico su una spiaggia; è già difficile su una piccola porzione, ma se la spiaggia si espande alle dimensioni di un continente, il compito diventa impossibile. In matematica, man mano che il numero di dimensioni di un problema cresce, lo spazio necessario per contenere i dati si espande così rapidamente da diventare vuoto e rado. Per mantenere un livello di dettaglio costante, la quantità di dati necessaria cresce così velocemente che finirebbe per eccedere il numero di atomi dell'intero universo. Inoltre, gli strumenti che usiamo solitamente per misurare la distanza o trovare schemi smettono di funzionare perché, in questi vasti spazi, tutto sembra equidistante da tutto il resto. Per decenni, gli scienziati hanno cercato di risolvere questo problema restringendo i dati o trovando forme più semplici all'interno del caos, ma hanno sempre accettato lo spazio ad alta dimensionalità come l'arena in cui la battaglia deve essere combattuta.

Un nuovo studio del ricercatore indipendente Zhang Karsa propone un approccio completamente diverso. Invece di cercare di restringere il problema o navigare nello spazio vuoto, il saggio suggerisce che la difficoltà non è una proprietà fondamentale dello spazio ad alta dimensionalità in sé, ma piuttosto un sintomo di una specifica struttura matematica mancante. Il ricercatore introduce un metodo chiamato Mappatura Invariante di Auto-similarità Frattale Caotica. Questo concetto si basa sull'idea che certi sistemi complessi, se osservati attraverso la lente giusta, ripetono i propri schemi a ogni scala, proprio come una linea di costa appare frastagliata sia che la si osservi da un satellite che da un microscopio. Lo studio sostiene che se un sistema possiede questo tipo specifico di auto-similarità, le solite regole della dimensionalità non si applicano. Il nucleo di questo metodo è costruito su una relazione matematica che coinvolge una sequenza di valori annidati che, quando disposti correttamente, convergono verso un numero stabile e immutabile indipendentemente da quanto siano profondi gli strati.

Per dimostrare ciò, il ricercatore ha stabilito tre regole fondamentali, o assiomi, che governano il funzionamento di questa mappatura. La prima regola afferma che il sistema deve apparire uguale a ogni livello di dettaglio. La seconda regola richiede un confine esterno specifico che tenga insieme l'intera struttura; senza questo confine, il sistema cade a pezzi. La terza regola assicura che i singoli pezzi del sistema diventino sempre più piccoli fino a smettere effettivamente di cambiare, permettendo al tutto di assestarsi in un singolo valore stabile. Sulla base di queste regole, il saggio presenta tre dimostrazioni matematiche. La prima dimostra che il sistema si assesta su un numero finito e non nullo. La seconda dimostra che questo numero finale non dipende dalla dimensione della dimensionalità; che il sistema abbia pochi strati o milioni, il risultato è lo stesso. La terza dimostrazione mostra che calcolare questo risultato non diventa più difficile man mano che la dimensione cresce; lo sforzo richiesto rimane costante, aggirando efficacementmente l'esplosione esponenziale di lavoro che solitamente affligge i problemi ad alta dimensionalità.

Lo studio spiega anche cosa accade quando il cruciale confine esterno è mancante. In tal caso, il sistema degenera in un semplice prodotto di numeri che si rimpicciolisce lentamente verso lo zero. Questo risultato evanescente è identificato come la vera manifestazione matematica della maledizione della dimensionalità. Dimostrando che la maledizione appare solo quando la specifica struttura auto-similare è assente, il saggio sostiene che la maledizione non è una legge inevitabile della natura, ma una conseguenza dell'uso della mappatura errata.

Per testare queste idee, il ricercatore ha eseguito esperimenti numerici partendo da un sistema a $10^6$ dimensioni ed estrapolando i risultati verso un obiettivo di $10^{50000}$ dimensioni. I risultati sono stati sorprendentemente precisi. Partendo da un valore di 0,2, il risultato mappato alla dimensione massiccia era 0,200000416, una differenza di meno di una parte su un milione. Partendo da 0,5, il risultato era 0,500000001, una differenza di solo una parte su un miliardo. Queste minuscole deviazioni confermano che il valore è rimasto effettivamente costante nonostante l'enorme salto di scala. Il ricercatore nota che questi risultati ad alta dimensionalità sono stati derivati dalla formula matematica piuttosto che da una simulazione computerizzata diretta, che sarebbe stata impossibile da eseguire.

Sebbene i risultati siano presentati come un quadro matematico rigoroso, il saggio riconosce certe limitazioni. Il metodo attualmente si basa sulla capacità del ricercatore di identificare il corretto confine esterno utilizzando la propria conoscenza del sistema specifico, e l'accuratezza dipende da quanto bene i pattern ripetitivi vengono estratti dai dati. Inoltre, la validazione è finora stata limitata a sistemi sintetici creati per l'esperimento, e il metodo non è ancora stato testato su dati reali e disordinati. Tuttavia, il lavoro offre una nuova prospettiva: se un sistema può essere mappato utilizzando questa auto-similarità frattale caotica, la dimensione stessa cessa di essere un ostacolo e il costo computazionale per risolvere il problema non cresce con la dimensione dello spazio.