HomID : Benchmarking Intrinsic Dimension Estimators on Homogenous Manifolds with Anisotropic Embeddings

Immagina di cercare di comprendere la forma di un oggetto nascosto toccando solo la sua superficie. Nel mondo del machine learning, i dati sono spesso considerati come una vasta nuvola tridimensionale di punti, ma i ricercatori credono che questi punti si trovino in realtà su una forma molto più semplice e a bassa dimensionalità nascosta all'interno di quella nuvola. Questa idea, nota come ipotesi del manifold, suggerisce che anche se un insieme di dati potrebbe avere migliaia di caratteristiche, la vera complessità dei dati è molto più ridotta. Per dare un senso a questa complessità nascosta, gli scienziati utilizzano strumenti per stimare la "dimensione intrinseca", che è essenzialmente il conteggio del numero minimo di coordinate necessarie per descrivere i dati senza perdere alcuna informazione. Se un insieme di dati è davvero semplice, questi strumenti dovrebbero trovare facilmente quel numero basso. Tuttavia, quando i ricercatori applicano questi strumenti a dati del mondo reale, come le immagini di cifre scritte a mano, i risultati sono spesso un caos totale, con diversi strumenti che forniscono risposte selvaggiamente differenti. Questa mancanza di accordo ha reso difficile capire se gli strumenti siano difettosi o se i dati siano semplicemente troppo complicati da misurare.

Un team di ricercatori dell'Università del Maryland e del NIST ha deciso di risolvere questo mistero costruendo un nuovo tipo di campo di prova. Si sono resi conto che molti test esistenti utilizzavano forme troppo perfette, come sfere lisce dove la superficie appare uguale in ogni direzione. I dati reali, sospettavano, sono raramente così uniformi. Invece, i dati reali presentano spesso l'"anisotropia", una parola sofisticata per indicare una forma che si allunga o si schiaccia diversamente a seconda della direzione da cui la si osserva. Per testare quanto bene gli attuali strumenti di misurazione gestiscano questa irregolarità, il team ha creato un nuovo benchmark chiamato HomID. Questa collezione consiste in spazi omogenei matematici, che sono perfettamente uniformi nella loro struttura interna, ma sono inseriti in uno spazio più grande in un modo che crea queste distorsioni direzionali. È un ambiente controllato in cui i ricercatori conoscono la risposta esatta, permettendo loro di vedere esattamente dove e perché gli strumenti di misurazione falliscono.

Quando i ricercatori hanno eseguito i loro standard di misurazione su queste nuove forme, i risultati sono stati netti. Gli strumenti che funzionavano perfettamente su forme semplici e tonde come le sfere hanno iniziato a vacillare e a fallire sulle forme HomID, anche a parità di quantità di dati forniti. Gli strumenti producevano sistematicamente risposte errate, sottostimando o sovrastimando spesso la vera complessità dei dati. I ricercatori hanno scoperto che questo fallimento non era casuale; era una conseguenza diretta dell'allungamento direzionale. Hanno scoperto che gli strumenti si basano su assunzioni riguardanti la distribuzione dei dati, come l'idea che i vicini siano equidistanti in tutte le direzioni. Quando i dati vengono allungati, queste assunzioni saltano, causando il malinteso dei vicini locali e il calcolo della dimensione errata.

Per dimostrare che l'allungamento direzionale fosse il colpevole, il team ha eseguito una serie di stress test. Hanno preso forme semplici e tonde e le hanno deliberatamente deformate, allungandole in direzioni specifiche, imitando il comportamento delle forme HomID. Non appena hanno introdotto questa distorsione, le prestazioni degli strumenti di misurazione sono scese significativamente, rispecchiando i fallimenti osservati sugli altri benchmark più complessi. Hanno anche aggiunto del rumore ai dati per vedere se gli errori casuali fossero la causa, ma hanno scoperto che il tipo specifico di distorsione direzionale era la causa primaria degli errori, non solo un disordine generale. In un controllo finale, hanno applicato queste stesse distorsioni a dataset di immagini del mondo reale, come foto di abbigliamento e auto, e hanno osservato lo stesso schema: gli strumenti faticavano quando i dati venivano allungati, confermando che il problema è rilevante per le applicazioni pratiche.

Lo studio conclude che l'attuale generazione di strumenti per misurare la complessità dei dati è sorprendentemente fragile. Funzionano bene su forme idealizzate e perfettamente rotonde, ma degradano rapidamente di fronte alle distorsioni direzionali presenti nelle geometrie più realistiche. I ricercatori suggeriscono che il campo stia sopravvalutando la robustezza di questi metodi perché i test precedenti erano troppo semplici. Introducendo HomID, hanno fornito un modo per esporre queste debolezze nascoste. Il lavoro non sostiene di aver risolto il problema degli strumenti, ma ha chiaramente identificato una proprietà geometrica specifica — l'anisotropia — che ne causa il fallimento. Questa intuizione offre una via chiara per sviluppare metodi migliori che possano gestire la natura irregolare e allungata dei dati del mondo reale, garantendo che, quando cerchiamo di misurare la complessità del mondo, i nostri strumenti siano all'altezza del compito.