🤖 machine learning

Semantic Space Search Trajectory Networks

Dit artikel introduceert Semantic Space Search Trajectory Networks, een op grafen gebaseerde methodologie die modelvoorspellingen discretiseert om de leerdynamiek over diverse algoritmen en trainingsregimes heen te visualiseren en te vergelijken, waarbij onderscheidende structurele patronen worden onthuld in de wijze waarop modellen generaliseren op echte versus gerandomiseerde data.

Oorspronkelijke auteurs: Julian Agudelo, Alberto Tonda, Gabriela Ochoa, Vincent Guigue, Cristina Manfredotti, Evelyne Lutton

Gepubliceerd 2026-07-29

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Julian Agudelo, Alberto Tonda, Gabriela Ochoa, Vincent Guigue, Cristina Manfredotti, Evelyne Lutton

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een kat te herkennen. Je laat het de robot duizenden plaatjes zien, en hij begint te gokken. Maar hoe leert hij eigenlijk? Struikelt hij maar wat blind rond in het donker, of volgt hij een verborgen kaart? Decennialang hebben wetenschappers geprobeerd dit te beantwoorden door naar het "brein" van de robot te kijken (zijn interne getallen en gewichten). Maar dat is als proberen een symfonie te begrijpen door naar de bladmuziek van een enkele violist te staren terwijl het hele orkest speelt; het is rommelig, verwarrend en mist het grote plaatje.

Om dit begrijpelijk te maken, gebruiken onderzoekers een hulpmiddel genaamd een Search Trajectory Network (STN). Denk aan een STN als een metromap van het leerproces. In plaats van elke kleine stap die de robot zet te volgen, groepeert het vergelijkbare momenten tot "stations" (nodes) en tekent het lijnen (edges) die laten zien hoe de robot van het ene station naar het andere beweegt. Dit helpt ons te zien of de robot een directe snelweg naar het antwoord neemt of verdwaalt in een doolhof. Het probleem is dat traditionele metromaps alleen werken voor eenvoudige, laag-dimensionale problemen. Wanneer de robot ingewikkeld wordt (zoals een moderne AI), wordt de kaart zo druk en hoog-dimensionaal dat de lijnen in elkaar overvloeien, waardoor het onmogelijk wordt om te lezen.

Dit is waar het concept van een Semantische Ruimte om de hoek komt kijken. In plaats van naar de interne tandwielen van de robot te kijken, kijken we naar wat hij zegt. Als de robot naar een foto van een kat kijkt, zegt hij dan "hond"? Zegt hij "kat"? Zegt hij "auto"? De verzameling van al zijn gokjes over een reeks testfoto's vormt een "semantische vector". Het is als een vingerafdruk van het huidige begrip van de robot. Door de reis van de robot te mappen via deze vingerafdrukken in plaats van zijn interne tandwielen, kunnen we een duidelijke, leesbare kaart maken, zelfs voor de meest complexe AI. Deze paper vraagt zich af: kunnen we deze "vingerafdrukkaarten" gebruiken om te vergelijken hoe verschillende soorten leeralgoritmen denken, en kunnen ze ons vertellen of een AI echt leert of gewoon uit het hoofd leert?

Het Grote Idee van de Paper: De Reis Mappen, Niet het Tandwielkast

De auteurs, Julian Agudelo en zijn team, introduceren een nieuwe manier om deze metokaarten te bouwen, die zij Semantic Space Search Trajectory Networks noemen. Hun hoofddoel is om te visualiseren hoe verschillende machine learning-algoritmen (zoals neurale netwerken, beslissingsbomen en symbolische regressie) "denken" terwijl ze problemen oplossen.

Normaal gesproken is het vergelijken van een neuraal netwerk met een beslissingsboom also[t] het vergelijken van een racewagen met een fiets; ze hebben verschillende motoren en onderdelen, dus je kunt ze niet gemakkelijk naast elkaar leggen om te zien wie sneller is of hoe ze navigeren. Maar de auteurs realiseerden zich dat ongeacht wat voor machine je ook gebruikt, ze allemaal hetzelfde produceren: voorspellingen. Door de interne mechanica te negeren en uitsluitend te focussen op de voorspellingen (de semantische vectoren), kunnen ze al deze verschillende algoritmen op hetzelfde speelveld plaatsen.

Hoe Ze de Kaart Bouwden

Om deze continue voorspellingen om te zetten in een leesbare kaart, moesten het team een lastig probleem oplossen: hoe groepeer je vergelijkbare voorspellingen wanneer er miljoenen van zijn?

Discretisatie (Getallen omzetten in categorieën): Voor regressietaken (het voorspellen van getallen zoals huizenprijzen) hakten ze het continue bereik van antwoorden in 10 "bakken" (bins) op basis van hoe vaak bepaalde waarden voorkomen (kwantielen). Voor classificatie (het raden van labels zoals "kat" of "hond") gebruikten ze simpelweg het uiteindelijke label. Dit veranderde een rommelige, continue wolk van data in een set van duidelijke, telbare categorieën.
Clustering (Stations Groeperen): Ze gebruikten een methode genaamd agglomeratieve clustering. Stel je voor dat je een hoop zandkorrels hebt (elke korrel is een voorspellingsstatus). Je begint door elke korrel als zijn eigen eiland te behandelen. Vervolgens voeg je langzaam de twee dichtstbijzijnde eilanden samen. Je blijft de dichtstbijzijnde paren samenvoegen totdat de afstand tussen twee resterende eilanden te groot wordt (beheerst door een drempelwaarde genaamd $\tau$ ). De uiteindelijke eilanden worden de "stations" op je metromap.
De Lijnen Tekenen: Terwijl het algoritme leert, beweegt het van de ene voorspellingsstatus naar de andere. Ze volgden deze bewegingen en tekenden pijlen tussen de bijbehorende stations. Hoe dikker de pijl, hoe vaker verschillende trainingsruns dat specifieke pad hebben genomen.

Wat Ze Vonden: De "Trechter" versus de "Ster"

Het team testte deze methode op verschillende datasets, waaronder het herkennen van handgeschreven cijfers (MNIST), mode-items (Fashion-MNIST) en het voorspellen van autoprijzen. Ze vergeleken drie zeer verschillende algoritmen: MLP's (neurale netwerken), XGBoost (een krachtige boom-gebaseerde methode) en Symbolic Regression (die probeert wiskundige formules te vinden).

De Ontdekking:
Wanneer de algoritmen leerden op echte data (waar een echt patroon te vinden is), zagen de kaarten er opvallend vergelijkbaar uit, ongeacht het gebruikte algoritme. Ze vormden een "trechter"-vorm.

De Trechter: De reis begon op veel verschillende punten (willekeurige initiële gissingen), maar de paden kwamen snel samen in een paar gemeenschappelijke "snelwegen" en vloeiden samen in een enkele, nauwe cluster van "beste" stations. Dit suggereert dat wanneer er een echt patroon te leren valt, verschillende algoritmen de neiging hebben om dezelfde tussenstappen te ontdekken en te convergeren naar dezelfde oplossing.
Het Verschil: Hoewel de algemene vorm vergelijkbaar was, zag het "verkeer" er anders uit. Neurale netwerken leken vast te komen zitten in een "basin of attraction" waar ze een beetje rond stuiterden voordat ze tot rust kwamen, terwijl XGBoost directer was, bijna als een hebzuchtige robot die steeds steviger grip krijgt op het antwoord. Symbolic Regression was echter de vreemde eend in de bijt; het vormde geen trechter. Het verkende de kaart in veel verschillende richtingen en kwam zelden samen op één enkel pad, wat past bij de aard van het willekeurig zoeken naar formules.

De "Memorisatie"-test: Onthult de Kaart Valsspelen?

Het meest opwindende deel van de paper komt van een beroemd experiment door Zhang et al. (2017), dat aantoonde dat neurale netwerken net zo goed willekeurige data kunnen "onthouden" als echte data. Als je de labels door elkaar husselt (zegt dat een foto van een kat eigenlijk een "hond" is), kan de AI nog steeds perfect voorspellen op de trainingsset, maar faalt het spectaculair op nieuwe data. Dit is het "memorization" regime.

De auteurs gebruikten hun Semantische Ruimte STN's om te zien of de vorm van de leerreis het verschil kon aangeven tussen leren (generalisatie) en onthouden (willekeurig gokken).

Echte Labels (Leren): De kaart was dicht, efficiënt en gecentraliseerd. Het leek op een drukke stad met een centraal knooppunt waar iedereen samenkomt. De paden waren onderling verbonden, wat suggereert dat het algoritme een gestructureerd begrip opbouwt.
Verstoorde Labels (Onthouden): De kaart zag eruit als een ster. De paden waren geïsoleerd, onsamenhangend en verspreid. Er was geen centraal knooppunt. Elke trainingsrun eindigde in zijn eigen eenzame hoekje, zonder elkaar ooit te ontmoeten.

De Conclusie:
De paper suggereert dat de structuur van de leerreis de waarheid onthult. Wanneer een AI echt een patroon leert, komen de paden samen en verbinden ze elkaar. Wanneer een AI slechts ruis onthoudt, blijven de paden geïsoleerd. De auteurs maten dit met grafiekmetrieken zoals global efficiency en density. Zo had de kaart met "echte labels" op de "Bioresponse"-dataset een dichtheid van 0.0157, terwijl de kaart met "verstoorde labels" veel schaarser was met 0.0049.

Ze testten ook wat er gebeurt als ze de data langzaam corrumperen door 20%, 40%, tot 100% van de labels te vervangen door willekeurige ruis. Naarmate de corruptie toenam, viel de "trechter" langzaam uit elkaar en veranderde deze in de "ster"-vorm. De grafiekmetrieken (zoals global efficiency) daalden gestaag, wat een vloeiende overgang van leren naar onthouden liet zien.

Waarom Dit Belangrijk Is

Dit werk suggereert dat we niet in de "black box" van een neuraal netwerk hoeven te kijken om te begrijpen of het leert of vals speelt. We hoeven alleen maar naar de kaart van zijn voorspellingen te kijken. Als de kaart een verbonden, efficiënt netwerk is, leert de AI waarschijnlijk iets reëels. Als de kaart een verzameling van geïsoleerde, verspreide paden is, onthoudt hij waarschijnlijk alleen maar.

De auteurs merken er voorzichtig bij op dat dit een simulatie-gebaseerde observatie is en een kwalitatief hulpmiddel voor analyse, en geen wondermiddel dat het mysterie van generalisatie oplost. Ze suggereren dat deze methode een nieuw, gedragsmatig perspectief biedt dat bestaande theorieën aanvult. Het is een nieuwe bril waarmee we de "vorm" van intelligentie kunnen zien, die ons laat zien dat of je nu een neuraal netwerk of een beslissingsboom bent, als je de waarheid leert, ziet jouw reis er hetzelfde uit.

Technische Samenvatting: Semantic Space Search Trajectory Networks

Probleemstelling
Search Trajectory Networks (STNs) zijn gevestigde graafgebaseerde instrumenten voor het visualiseren en karakteriseren van optimalisatiealgoritmen door zoektoestanden te mappen naar knopen en transities naar randen. Echter, de traditionele constructie van STNs berust op de discretisering van de expliciete zoekruimte (bijv. parametervectoren). Deze aanpak kampt met aanzienlijke beperkingen in hoogdimensionele instellingen vanwege de "vloek van dimensionaliteit", waarbij afstandconcentratie en ijle buurten het definiëren van zinvolle discretisering en buurten bemoeilijken. Bijgevolg zijn STNs grotendeels beperkt gebleven tot laagdimensionele of combinatorische optimalisatieproblemen. Bovendien is het vergelijken van leeringsdynamiek over heterogene algoritmefamilies heen (bijv. neurale netwerken versus gradient-boosted trees versus symbolische regressie) uitdagend omdat hun parameterruimten structureel niet vergelijkbaar zijn.

Methodologie
De auteurs stellen voor om STNs te construeren binnen semantische ruimten, gedefinieerd als de ruimte van de voorspellingen van een model op een vaste steekproef. Dit verschuift de representatie van modelparameters naar functioneel gedrag. De methodologie omvat de volgende stappen:

Generatie van Semantische Vectoren: Voor een gegeven dataset $D = \{(x^{(i)}, y^{(i)})\}$ produceert een iteratieve leerder een sequentie van semantische vectoren $\langle \hat{y}_0, \dots, \hat{y}_T \rangle$ , waarbij $\hat{y}_t$ de voorspellingen van het model bevat voor alle monsters op optimalisatiestap $t$ .
Discretiseringsstrategie: Om hoogdimensionele semantische vectoren te verwerken, hanteren de auteurs een clustering-gebaseerde discretisering:
- Classificatie: Voorspellingen worden omgezet naar discrete klassenlabels (met behulp van argmax voor logits).
- Regressie: Continue voorspellingen worden gediscretiseerd in globale kwantiel-gebaseerde bins berekend over alle semantische vectoren.
- Clustering: Agglomeratieve clustering met complete linkage wordt toegepast met behulp van de genormaliseerde Hamming-afstand. Clusters worden iteratief samengevoegd totdat de maximale paarwijze afstand tussen elementen van twee clusters een drempelwaarde $\tau$ overschrijdt.
Netwerkconstructie: De resulterende clusters definiëren de knopen van de STN. Transities tussen opeenvolgende semantische vectoren in de optimalisatiet traject worden in kaart gebracht als gerichte randen tussen hun overeenkomstige clustertoewijzingen. De randgewichten weerspiegelen de transitiefrequenties.
Hyperparameter: De enige afstembare hyperparameter is de clustering-drempelwaarde $\tau$ , die de granulariteit van de aggregatie controleert.

Belangrijkste Bijdragen

Hoogdimensionele STN-constructie: Introductie van een clustering-gebaseerde discretiseringsstrategie die de constructie van STNs in hoogdimensionele semantische ruimten mogelijk maakt, waardoor de noodzaak voor expliciete discretisering van de parameterruimte wordt omzeild.
Vergelijking van Algoritmen: Demonstratie dat semantische ruimte STNs de kwalitatieve en kwantitatieve vergelijking van leeringsdynamiek over fundamenteel verschillende algoritmefamilies (MLP's, XGBoost, Symbolische Regressie) mogelijk maken door ze te verenigen onder een gemeenschappelijke functionele representatie.
Generalisatieanalyse: Toepassing van semantische ruimte STNs om standaard training te contrasteren met het regime van gelabelde randomisatie (Zhang et al. [22]), waarbij structurele verschillen in leeringsdynamiek worden onthuld die correleren met generalisatiecapaciteiten.

Resultaten
De auteurs pasten de methodologie toe op benchmark classificatie- en regressietaken met behulp van Multi-Layer Perceptrons (MLP's), XGBoost en Symbolische Regressie (SR).

Algoritmevergelijking:
- MLP's en XGBoost: Beide gradiëntgebaseerde methoden vertoonden "trechterachtige" gedragingen waarbij diverse startpunten convergeren naar een gemeenschappelijk gebied in de semantische ruimte voordat ze een definitieve beste knoop bereiken. MLP's vertoonden vaak een bassin van aantrekking met onderling verbonden knopen, terwijl XGBoost-trajecten meer deterministisch waren en convergeren naar een enkele beste knoop.
- Symbolische Regressie: SR vertoonde merkbaar andere, meer exploratieve dynamieken, met eindknopen verdeeld over een breed scala aan semantische locaties, wat de stochastische, niet-gradiëntgebaseerde zoekopdracht weerspiegelt.
Generalisatie versus Memorisatie:
- Structurele Verschillen: STNs getraind op echte labels vormden consistent dichtere, efficiëntere en meer gecentraliseerde grafen (trechtertopologie) vergeleken met die getraind op geschudde labels, die resulteerden in ijle, onsamenhangende, ster-vormige topologieën met geïsoleerde trajecten.
- Kwantitatieve Metrieken: Grafentheoretische beschrijvers (densiteit, globale efficiëntie, nabijheidscentraliteit, PageRank) scheidden de twee regimes consistent. Training met echte labels leverde hogere waarden op voor deze metrieken.
- Label Corruptie: Progressieve corruptie van labels (interpolatie tussen echte en willekeurige labels) toonde een monotone afname van de grafenconnectiviteit en -efficiëntie, wat de dichte generalisatiestructuur visueel transformeerde naar geïsoleerde trajecten naarmate informatie werd vernietigd.
Robuustheid: De algehele topologie van de semantische ruimte STNs bleef stabiel bij variërende aantallen gesamplede trajecten (runs), wat suggereert dat de methode persistente aspecten van optimalisatiedynamiek vastlegt.

Betekenis en Claims
Het artikel claimt dat semantische ruimte STNs een hulpmiddel bieden voor het analyseren en vergelijken van leeringsdynamiek over machine learning-modellen en trainingsregimes die anders onvergelijkbaar zijn. Door te focussen op de ruimte van voorspellingen in plaats van parameters, legt de methode de functionele trainingsdynamiek vast die voortvloeit uit de interactie tussen leeralgoritmen en data.

Specifiek met betrekking tot generalisatie stellen de auteurs een gedragsmatig perspectief voor: de structurele verschillen waargenomen in semantische ruimte STNs (dicht/gecentraliseerd versus ijl/onsamenhangend) weerspiegelen de aanwezigheid of afwezigheid van een onderliggende functie die de data beheerst. Wanneer er een ware relatie bestaat, ontdekt optimalisatie gestructureerde intermediaire toestanden die leiden tot geclusterde convergentie. Wanneer labels willekeurig zijn, fragmenteren trajecten. De auteurs positioneren semantische ruimte STNs als een complement voor bestaande loss-landscape analyses, waarbij ze een globaal perspectief bieden op het optimalisatieproces dat onderscheidend is van lokale minima-analyse. Het werk overbrugt perspectieven van evolutionaire computatie en deep learning om een verenigd kader te bieden voor het bestuderen van optimalisatiegedrag.