HomID : Benchmarking Intrinsic Dimension Estimators on Homogenous Manifolds with Anisotropic Embeddings

Stel je voor dat je probeert de vorm van een verborgen object te begrijpen door alleen het oppervlak aan te raken. In de wereld van machine learning wordt data vaak beschouwd als een enorme, hoogdimensionale wolk van punten, maar onderzoekers geloven dat deze punten eigenlijk op een veel eenvoudigere, lager dimensionale vorm liggen die verborgen zit in die wolk. Dit idee, bekend als de manifold-hypothese, suggereert dat zelfs wanneer een dataset duizenden kenmerken heeft, de werkelijke complexiteit van de data veel kleiner is. Om deze verborgen complexiteit begrijpelijk te maken, gebruiken wetenschappers hulpmiddelen om de "intrinsieke dimensie" te schatten, wat in essentie een telling is van het minimum aantal coördinaten dat nodig is om de data te beschrijven zonder informatie te verliezen. Als een dataset werkelijk eenvoudig is, zouden deze hulpmiddelen dat lage getal gemakkelijk moeten vinden. Echter, wanneer onderzoekers deze hulpmiddelen toepassen op echte gegevens, zoals afbeeldingen van handgeschreven cijfers, zijn de resultaten vaak een chaotische bende, waarbij verschillende hulpmiddelen wild uiteenlopende antwoorden geven. Dit gebrek aan overeenstemming heeft het moeilijk gemaakt om te weten of de hulpmiddelen kapot zijn of dat de data gewoon te lastig is om te meten.

Een team onderzoekers aan de Universiteit van Maryland en NIST besloot dit mysterie op te lossen door een nieuw soort testomgeving te bouwen. Ze realiseerden zich dat veel bestaande tests gebruikmaakten van vormen die te perfect waren, zoals gladde sferen waarbij het oppervlak er in elke richting hetzelfde uitziet. Echte data is, vermoedden zij, zelden zo uniform. In plaats daarvan vertoont echte data vaak "anisotropie", een chique woord voor een vorm die in verschillende richtingen anders uitrekt of vervormt afhankelijk van hoe je ernaar kijkt. Om te testen hoe goed de huidige meetinstrumenten met deze ongelijkmatigheid omgaan, creëerde het team een nieuwe benchmark genaamd HomID. Deze collectie bestaat uit wiskundige vormen die bekend staan als homogene ruimten, die perfect uniform zijn in hun interne structuur, maar die in een grotere ruimte zijn ingebed op een manier die deze directionele rekken creëert. Het is een gecontroleerde omgeving waarin de onderzoekers het exacte antwoord kennen, waardoor ze precies kunnen zien waar en waarom de meetinstrumenten falen.

Toen de onderzoekers hun standaard meetinstrumenten op deze nieuwe vormen draaiden, waren de resultaten treffend. Hulpmiddelen die perfect presteerden op eenvoudige, ronde vormen zoals sferen, begonnen te struikelen en te falen op de HomID-vormen, zelfs als ze dezelfde hoeveelheid data kregen. De instrumenten produceerden systematisch foutieve antwoorden, waarbij ze de werkelijke complexiteit van de data vaak onderschatten of overschatten. De onderzoekers ontdekten dat dit falen niet willekeurig was; het was een direct gevolg van de directionele rek. Ze ontdekten dat de hulpmiddelen vertrouwen op aannames over hoe data is verdeeld, zoals het idee dat buren gelijkmatig over alle richtingen verspreid zijn. Wanneer de data wordt uitgerekt, breken deze aannames af, wat de hulpmiddelen ertoe brengt de lokale buurt verkeerd te interpreteren en de verkeerde dimensie te berekenen.

Om te bewijzen dat deze directionele rek de boosdoener was, onderging het team een reeks stresstests. Ze namen eenvoudige, ronde vormen en vervormden deze doelbewust door ze in specifieke richtingen uit te rekken, waarmee ze het gedrag van de HomID-vormen nabootsten. Zodra ze deze vervorming introduceerden, daalde de prestatie van de meetinstrumenten aanzienlijk, wat de mislukkingen op de complexere benchmarks weerspiegelde. Ze voegden ook ruis toe aan de data om te zien of willekeurige fouten de oorzaak waren, maar ontdekten dat het specifieke type directionele vervorming de primaire oorzaak van de fouten was, en niet slechts algemene slordigheid. In een laatste controle pasten ze deze zelfde vervormingen toe op echte beelddatasets, zoals foto's van kleding en auto's, en observeerden ze hetzelfde patroon: de hulpmiddelen worstelden wanneer de data werd uitgerekt, wat bevestigde dat het probleem relevant is voor praktische toepassingen.

De studie concludeert dat de huidige generatie hulpmiddelen voor het meten van datacomplexiteit verrassend fragiel is. Ze werken goed op geïdealiseerde, perfect ronde vormen, maar verslechteren snel wanneer ze worden geconfronteerd met de directionele biases die worden gevonden in meer realistische geometrieën. De onderzoekers suggereren dat het vakgebied de robuustheid van deze methoden heeft overschat omdat eerdere tests te simpel waren. Door HomID te introduceren, hebben zij een manier geboden om deze verborgen zwakheden bloot te leggen. Het werk beweert niet de hulpmiddelen te hebben gerepareerd, maar heeft wel duidelijk een specifieke geometrische eigenschap geïdentificeerd — anisotropie — die ervoor zorgt dat ze falen. Dit inzicht biedt een duidelijke weg voorwaarts voor het ontwikkelen van betere methoden die de ongelijke, uitgerekte aard van de echte wereld kunnen aan kunnen, zodat we zeker weten dat onze instrumenten in staat zijn om de complexiteit van de wereld te meten.