🤖 machine learning

Semantic Space Search Trajectory Networks

Questo articolo introduce le Semantic Space Search Trajectory Networks, una metodologia basata su grafi che discretizza le predizioni del modello per visualizzare e confrontare le dinamiche di apprendimento attraverso diversi algoritmi e regimi di addestramento, rivelando distinti pattern strutturali nel modo in cui i modelli generalizzano su dati reali rispetto a dati randomizzati.

Autori originali: Julian Agudelo, Alberto Tonda, Gabriela Ochoa, Vincent Guigue, Cristina Manfredotti, Evelyne Lutton

Pubblicato 2026-07-29

📖 8 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Julian Agudelo, Alberto Tonda, Gabriela Ochoa, Vincent Guigue, Cristina Manfredotti, Evelyne Lutton

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot a riconoscere un gatto. Gli mostri migliaia di immagini e lui inizia a tirare a indovinare. Ma come fa davvero a imparare? Sta solo barcollando alla cieca nel buio o sta seguendo una mappa nascosta? Per decenni, gli scienziati hanno cercato di rispondere a questa domanda osservando il "cervello" del robot (i suoi numeri e pesi interni). Ma questo è come cercare di comprendere una sinfonia fissando lo spartito di un singolo violinista mentre l'orchestra suona; è caotico, confuso e non coglie il quadro generale.

Per dare un senso a tutto ciò, i ricercatori utilizzano uno strumento chiamato Search Trajectory Network (STN). Pensa a un STN come alla mappa della metropolitana del processo di apprendimento. Invece di tracciare ogni singolo piccolo passo compiuto dal robot, raggruppa i momenti simili in "stazioni" (nodi) e disegna delle linee (archi) che mostrano come il robot si sposta da una stazione all'altra. Questo ci aiuta a capire se il robot sta percorrendo un'autostrada diretta verso la risposta o se si sta perdendo in un labirinto. Il problema è che le mappe della metropolitana tradizionali funzionano solo per problemi semplici e a bassa dimensionalità. Quando il robot diventa complicato (come un'IA moderna), la mappa diventa così affollata e ad alta dimensionalità che le linee si confondono tutte insieme, rendendo impossibile la lettura.

È qui che entra in gioco il concetto di Spazio Semantico. Invece di guardare gli ingranaggi interni del robot, guardiamo ciò che dice. Se il robot sta guardando l'immagine di un gatto, dice "cane"? Dice "gatto"? Dice "auto"? La collezione di tutti i suoi tentativi su un insieme di immagini di test forma un "vettore semantico". È come l'impronta digitale della comprensione attuale del robot. Mappando il viaggio del robot attraverso queste impronte digitali anziché attraverso i suoi ingranaggi interni, possiamo creare una mappa chiara e leggibile anche per l'IA più complessa. Questo articolo si chiede: possiamo usare queste "mappe di impronte digitali" per confrontare il modo in cui diversi tipi di algoritmi di apprendimento pensano, e possono dirci se un'IA stia davvero imparando o stia solo memorizzando?

La Grande Idea del Paper: Mappare il Viaggio, non il Cambio

Gli autori, Julian Agudelo e il suo team, introducono un nuovo modo per costruire queste mappe della metropolitana, che chiamano Semantic Space Search Trajectory Networks. Il loro obiettivo principale è visualizzare come diversi algoritmi di apprendimento automatico (come reti neurali, alberi decisionali e regressione simbolica) "pensano" mentre risolvono problemi.

Di solito, confrontare una rete neurale con un albero decisionale è come confrontare un'auto da corsa con una bicicletta; hanno motori e componenti diverse, quindi non è facile metterle una accanto all'altra per vedere chi è più veloce o come navigano. Ma gli autori si sono resi conto che, qualunque macchina si utilizzi, tutte producono la stessa cosa: predizioni. Ignorando la meccanica interna e concentrandosi esclusivamente sulle predizioni (i vettori semantici), possono mettere tutti questi diversi algoritmi sullo stesso piano di gioco.

Come hanno costruito la mappa

Per trasformare queste predizioni continue in una mappa leggibile, il team ha dovuto risolvere un problema complicato: come si raggruppano insieme le predizioni simili quando ce ne sono milioni?

Discretizzazione (Trasformare i numeri in categorie): Per i compiti di regressione (predire numeri come i prezzi delle case), hanno suddiviso l'intervallo continuo di risposte in 10 "bin" basati sulla frequenza con cui compaiono determinati valori (quantile). Per la classificazione (indovinare etichette come "gatto" o "cane"), hanno usato semplicemente l'etichetta finale. Questo ha trasformato una nuvola di dati continua e disordinata in un insieme di categorie distinte e numerabili.
Clustering (Raggruppare le stazioni): Hanno utilizzato un metodo chiamato clustering agglomerativo. Immaginate di avere un mucchio di granelli di sabbia (ogni granello è uno stato di predizione). Iniziate trattando ogni granello come la propria isola. Poi, fuse lentamente le due isole più vicine tra loro. Continuate a fondere le coppie più vicine finché la distanza tra due isole rimanenti non diventa troppo grande (controllata da una soglia chiamata $\tau$ ). Le isole finali diventano le "stazioni" sulla vostra mappa della metropolitana.
Disegnare le linee: Mentre l'algoritmo impara, si muove da uno stato di predizione a un altro. Hanno tracciato questi movimenti e disegnato frecce tra le stazioni corrispondenti. Più la freccia è spessa, più spesso diverse sessioni di addestramento hanno seguito quel percorso specifico.

Cosa hanno scoperto: Il "Imbuto" vs. La "Stella"

Il team ha testato questo metodo su diversi dataset, inclusi il riconoscimento di cifre scritte a mano (MNIST), oggetti di moda (Fashion-MNIST) e la predizione dei prezzi delle auto. Hanno confrontato tre algoritmi molto diversi: MLP (reti neurali), XGBoost (un potente metodo basato su alberi) e Regressione Simbolica (che cerca di trovare formule matematiche).

La Scoperta:
Quando gli algoritmi imparavano su dati reali (dove esiste un vero schema da trovare), le mappe apparivano sorprendentemente simili, indipendentemente dall'algoritmo utilizzato. Formavano una forma a "imbuto".

L'Imbuto: Il viaggio iniziava da molti punti diversi (tentativi iniziali casuali), ma i percorsi si univano rapidamente in pochi "autostrade" comuni e confluivano in un unico, stretto cluster di stazioni "migliori". Questo suggerisce che, quando c'è un vero schema da apprendere, diversi algoritmi tendono a scoprire gli stessi passaggi intermedi e a convergere sulla stessa soluzione.
La Differenza: Sebbene la forma generale fosse simile, il "traffico" appariva diverso. Le reti neurali sembravano incastrarsi in un "bacino di attrazione" dove rimbalzavano un po' prima di stabilizzarsi, mentre XGBoost era più diretto, quasi come un robot avido che continua a stringere la presa sulla risposta. La Regressione Simbolica, invece, era l'eccezione; non creava un imbuto. Esplorava la mappa in molte direzioni diverse, raramente convergendo su un singolo percorso, il che è coerente con la sua natura di ricerca casuale di formule.

Il Test della "Memorizzazione": La mappa rivela l'inganno?

La parte più eccitante del paper deriva da un famoso esperimento di Zhang et al. (2017), che ha dimostrato come le reti neurali possano "memorizzare" dati casuali tanto quanto i dati reali. Se si rimescolano le etichette (dicendo all'IA che l'immagine di un gatto è in realtà un "cane"), l'IA può comunque imparare a predire perfettamente sul set di addestramento, ma fallisce miseramente sui nuovi dati. Questo è il regime di "memorizzazione".

Gli autori hanno utilizzato le loro STN nello Spazio Semantico per vedere se la forma del viaggio di apprendimento potesse distinguere tra apprendimento (generalizzazione) e memorizzazione (indovinare a caso).

Etichette Reali (Apprendimento): La mappa era densa, efficiente e centralizzata. Sembrava una città trafficata con un centro nevralgico dove tutti si incontrano. I percorsi erano interconnessi, suggerendo che l'algoritmo stesse costruendo una comprensione strutturata.
Etichette Mescolate (Memorizzazione): La mappa sembrava una stella. I percorsi erano isolati, disgiunti e sparsi. Non c'era un centro nevralgico. Ogni sessione di addestramento finiva nel proprio angolo solitario, senza mai incontrarsi con le altre.

La Conclusione:
Il paper suggerisce che la struttura del viaggio di apprendimento rivela la verità. Quando un'IA sta davvero imparando un modello, i percorsi convergono e si connettono. Quando sta solo memorizzando del rumore, i percorsi rimangono isolati. Hanno misurato questo fenomeno utilizzando metriche di grafo come l'efficienza globale e la densità. Ad esempio, sulla mappa del dataset "Bioresponse", la mappa con le "etichette reali" aveva una densità di 0.0157, mentre la mappa con le "etichette mescolate" era molto più rada, con 0.0049.

Hanno anche testato cosa succede se si corrompe lentamente i dati, sostituendo dal 20% al 40% fino al 100% delle etichette con rumore casuale. Man mano che la corruzione aumentava, l' "imbuto" si sfaldava lentamente, trasformandosi nella forma a "stella". Le metriche del grafo (come l'efficienza globale) diminuivano costantemente, mostrando una transizione fluida dall'apprendimento alla memorizzazione.

Perché questo è importante

Questo lavoro suggerisce che non abbiamo bisogno di guardare dentro la scatola nera di una rete neurale per capire se sta imparando o imbrogliando. Dobbiamo solo guardare la mappa delle sue predizioni. Se la mappa è una rete connessa ed efficiente, l'IA sta probabilmente imparando qualcosa di reale. Se è una collezione sparsa di percorsi isolati, sta probabilmente solo memorizzando.

Gli autori sottolineano con cura che questa è un'osservazione basata su simulazioni e uno strumento qualitativo di analisi, non una soluzione magica che risolve il mistero della generalizzazione. Suggeriscono che questo metodo offra una nuova prospettiva comportamentale che completa le teorie esistenti. È un nuovo paio di occhiali che ci permette di vedere la "forma" dell'intelligenza, mostrandoci che, che siate una rete neurale o un albero decisionale, se state imparando la verità, il vostro viaggio appare uguale.

Sintesi Tecnica: Reti di Traiettoria nello Spazio Semantico

Problema
Le Reti di Traiettoria di Ricerca (STN - Search Trajectory Networks) sono strumenti basati su grafi consolidati per visualizzare e caratterizzare gli algoritmi di ottimizzazione, mappando gli stati di ricerca in nodi e le transizioni in archi. Tuttavia, la costruzione tradizionale delle STN si basa sulla discretizzazione dello spazio di ricerca esplicito (ad esempio, i vettori dei parametri). Questo approccio presenta limitazioni significative in contesti ad alta dimensionalità a causa della "maledizione della dimensionalità", dove la concentrazione delle distanze e la scarsità dei vicinati rendono difficile definire una discretizzazione e dei vicinati significativi. Di conseguenza, le STN sono state ampiamente confinate a problemi di ottimizzazione a bassa dimensionalità o combinatori. Inoltre, confrontare le dinamiche di apprendimento tra famiglie di algoritmi eterogenee (ad esempio, reti neurali vs. gradient-boosted trees vs. regressione simbolica) è complesso, poiché i loro spazi di parametri sono strutturalmente incomparabili.

Metodologia
Gli autori propongono di costruire le STN all'interno di spazi semantici, definiti come lo spazio delle predizioni di un modello su un set di campioni fissato. Ciò sposta la rappresentazione dai parametri del modello al comportamento funzionale. La metodologia prevede i seguenti passaggi:

Generazione di Vettori Semantici: Per un dato dataset $D = \{(x^{(i)}, y^{(i)})\}$ , un apprenditore iterativo produce una sequenza di vettori semantici $\langle \hat{y}_0, \dots, \hat{y}_T \rangle$ , dove $\hat{y}_t$ contiene le predizioni del modello per tutti i campioni al passo di ottimizzazione $t$ .
Strategia di Discretizzazione: Per gestire i vettori semantici ad alta dimensionalità, gli autori impiegano una discretizzazione basata sul clustering:
- Classificazione: Le predizioni vengono convertite in etichette di classe discrete (usando argmax per i logit).
- Regressione: Le predizioni continue vengono discretizzate in bin basati su quantili globali calcolati su tutti i vettori semantici.
- Clustering: Viene applicato il clustering gerarchico con complete linkage utilizzando la distanza di Hamming normalizzata. I cluster vengono fusi iterativamente finché la distanza massima tra coppie di elementi di due cluster non supera una soglia $\tau$ .
Costruzione della Rete: I cluster risultanti definiscono i nodi della STN. Le transizioni tra vettori semantici consecutivi nella traiettoria di ottimizzazione sono mappate come archi diretti tra i rispettivi assegnamenti di cluster. Il peso degli archi riflette le frequenze di transizione.
Iperparametro: L'unico iperparametro regolabile è la soglia di clustering $\tau$ , che controlla la granularità dell'aggregazione.

Contributi Chiave

Costruzione di STN ad Alta Dimensionalità: Introduzione di una strategia di discretizzazione basata sul clustering che consente la costruzione di STN in spazi semantici ad alta dimensionalità, aggirando la necessità di una discretizzazione esplicita dello spazio dei parametri.
Confronto tra Algoritmi: Dimostrazione che le STN nello spazio semantico permettono il confronto qualitativo e quantitativo delle dinamiche di apprendimento tra famiglie di algoritmi fondamentalmente diverse (MLP, XGBoost, Regressione Simbolica) unificandoli sotto una comune rappresentazione funzionale.
Analisi della Generalizzazione: Applicazione delle STN nello spazio semantico per contrastare l'addestramento standard con il regime di randomizzazione delle etichette (Zhang et al. [22]), rivelando differenze strutturali nelle dinamiche di apprendimento che correlano con le capacità di generalizzazione.

Risultati
Gli autori hanno applicato la metodologia a task di classificazione e regressione benchmark utilizzando Multi-Layer Perceptrons (MLP), XGBoost e Regressione Simbolica (SR).

Confronto tra Algoritmi:
- MLP e XGBoost: Entrambi i metodi basati sul gradiente hanno esibito comportamenti "a imbuto" (funnel-like), dove punti di partenza diversificati convergevano verso una regione comune dello spazio semantico prima di raggiungere un nodo finale ottimale. Gli MLP hanno spesso mostrato un bacino di attrazione con nodi interconnessi, mentre le traiettorie di XGBoost erano più deterministiche, convergendo verso un singolo nodo migliore.
- Regressione Simbolica: La SR ha mostrato dinamiche marcatamente diverse e più esplorative, con nodi finali distribuiti su un ampio intervallo di posizioni semantiche, riflettendo la sua ricerca stocastica e non basata sul gradiente.
Generalizzazione vs. Memorizzazione:
- Differenze Strutturali: Le STN addestrate su etichette reali hanno costantemente formato grafi più densi, efficienti e centralizzati (topologia a imbuto) rispetto a quelle addestrate su etichette rimescolate, che hanno prodotto topologie a stella, sparse e disgiunte con traiettorie isolate.
- Metriche Quantitative: I descrittori grafici (densità, efficienza globale, centralità di prossimità, PageRank) hanno separato costantemente i due regimi. L'addestramento con etichette reali ha prodotto valori più elevati in tutte queste metriche.
- Corruzione delle Etichette: La progressiva corruzione delle etichette (interpolando tra etichette reali e casuali) ha mostrato una diminuzione monotona della connettività e dell'efficienza del grafo, trasformando visivamente la densa struttura di generalizzazione in traiettorie isolate man mano che l'informazione veniva distrutta.
Robustezza: La topologia complessiva delle STN dello spazio semantico è rimasta stabile attraverso variazioni nel numero di traiettorie campionate (run), suggerendo che il metodo cattura aspetti persistenti delle dinamiche di ottimizzazione.

Significato e Rivendicazioni
L'articolo sostiene che le STN nello spazio semantico forniscano uno strumento per analizzare e confrontare le dinamiche di apprendimento tra modelli di machine learning e regimi di addestramento che altrimenti sarebbero incomparabili. Focalizzandosi sullo spazio delle predizioni piuttosto che sui parametri, il metodo cattura le dinamiche di addestramento funzionali derivanti dall'interazione tra algoritmi di apprendimento e dati.

Specificamente riguardo alla generalizzazione, gli autori propongono una visione comportamentale: le differenze strutturali osservate nelle STN dello spazio semantico (dense/centralizzate vs. sparse/disgiunte) riflettono la presenza o l'assenza di una funzione sottostante che governa i dati. Quando esiste una relazione reale, l'ottimizzazione scopre stati intermedi strutturati che portano a una convergenza raggruppata. Quando le etichette sono casuali, le traiettorie si frammentano. Gli autori pongono le STN nello spazio semantico come un complemento alle analisi esistenti del paesaggio di perdita (loss landscape), offrendo una prospettiva globale sul processo di ottimizzazione che è distinta dall'analisi dei minimi locali. Il lavoro unisce le prospettive dell'evoluzione computazionale e del deep learning per offrire un quadro unificato per studiare il comportamento dell'ottimizzazione.