Riepilogo Tecnico: LUCoS (Selezione del Contesto Latente Non Supervisionata)

Enunciato del Problema

Nell'apprendimento tabellare con poche etichette, selezionare quali istanze etichettare rappresenta una sfida critica. I recenti Modelli Fondamentali Tabellari (TFM), come TabPFN, si basano sull'Apprendimento in Contesto (ICL), dove le prestazioni predittive sono altamente sensibili alle specifiche istanze etichettate scelte come "insieme di contesto". Sebbene gli esperimenti con oracolo supervisionato dimostrino che insiemi di contesto selezionati con cura possano superare significativamente la selezione casuale a parità di budget di etichettatura, il setting cold-start—in cui le istanze devono essere selezionate prima che siano disponibili etichette—rimane largamente irrisolto nella letteratura sui TFM.

I metodi attuali di selezione non supervisionata delle istanze operano tipicamente nello spazio delle feature tabellari originali. Tuttavia, i dati tabellari mancano di una metrica naturale a causa di tipi di feature eterogenei, scale miste, sparsità e interazioni non lineari. Di conseguenza, le distanze geometriche nello spazio grezzo sono spesso inaffidabili per la similarità predittiva, causando metodi di selezione che performano in modo incoerente o addirittura peggio del campionamento casuale all'aumentare del budget di etichettatura.

Metodologia: LUCoS

Gli autori propongono LUCoS (Selezione del Contesto Latente Non Supervisionata), una pipeline a quattro stadi progettata per eseguire la selezione delle istanze senza accesso alle etichette. L'ipotesi di fondo è che sostituire la geometria inaffidabile dello spazio delle feature originale con una geometria latente significativa indotta da un TFM non supervisionato permetta a semplici metodi di selezione geometrica di identificare insiemi di contesto informativi.

Il framework è composto da due componenti principali:

1. Mappa di Rappresentazione ($\phi$): Le istanze di training non etichettate sono incorporate in uno spazio latente ad alta dimensionalità utilizzando il codificatore di una Prior-Fitted Network (PFN) non supervisionata. Nello specifico, gli autori utilizzano il PIN Encoder di TabClustPFN, che genera embedding a 512 dimensioni indipendenti dalle assegnazioni di cluster. Questo passaggio crea uno spazio di rappresentazione rilevante per il compito in cui le distanze euclidee riflettono meglio la similarità predittiva.
2. Selettore Geometrico ($\sigma$): Le istanze rappresentative sono selezionate in questo spazio latente utilizzando il clustering K-Medoids con distanza euclidea. Il numero di medoidi ($K$) è fissato al budget di etichettatura. K-Medoids è scelto perché:
   • Seleziona istanze di training reali (medoidi) anziché centroidi sintetici, soddisfacendo il requisito che i campioni selezionati siano annotabili.
   • Minimizza un obiettivo esplicito di copertura, assicurando che il sottoinsieme selezionato copra la distribuzione dei dati.
   • È deterministico (a meno dell'inizializzazione) e non richiede priori di classe.

Flusso della Pipeline:

1. Incorporare i dati di training non etichettati nello spazio latente tramite il codificatore PFN non supervisionato.
2. Applicare K-Medoids per selezionare $K$ medoidi rappresentativi nello spazio latente.
3. Mappare gli indici selezionati indietro nello spazio delle feature originale e interrogare un oracolo (esperto) per le etichette.
4. Utilizzare il sottoinsieme etichettato risultante come insieme in contesto per un TFM supervisionato (TabPFN-2.5) per predire su dati di test non visti.

Contributi Chiave

1. Validazione Empirica della Sensibilità: Gli autori dimostrano che le prestazioni dei TFM in regimi a poche etichette sono altamente sensibili alle specifiche istanze di contesto selezionate. Un'analisi con oracolo supervisionato (utilizzando un Algoritmo Memetico a Stato Stazionario) rivela un sostanziale divario di prestazioni (fino a $\approx 0.19$ $\Delta$AUC ai budget più piccoli) tra la selezione casuale e quella ottimizzata, indicando un significativo margine di miglioramento.
2. Framework LUCoS: La proposta di una pipeline priva di etichette e basata su principi che disaccoppia l'apprendimento della rappresentazione dalla selezione. Eseguendo la selezione nello spazio latente di una PFN non supervisionata, LUCoS permette a semplici metodi geometrici (K-Medoids) di identificare sottoinsiemi ad alte prestazioni.
3. Benchmarking Completo: Valutazione su 67 dataset OpenML-CC18 attraverso sei budget a poche etichette ($1C$ fino a $32C$, dove $C$ è il numero di classi). LUCoS ottiene il primo posto per media di AUC, Accuratezza e F1 attraverso tutti i budget.
4. Decomposizione del Meccanismo: Il documento scompone i guadagni di LUCoS nelle componenti selettore e rappresentazione:
   • Ai budget più piccoli ($1C$), il guadagno è guidato principalmente dall'effetto selettore (imponendo la copertura tramite K-Medoids), con lo spazio latente che contribuisce poco oltre le feature grezze.
   • Dai budget di medio range ($4C$) in poi, l'effetto rappresentazione diventa dominante. In questo regime, la selezione nello spazio delle feature originale degrada (spesso scendendo sotto il caso casuale), mentre lo spazio latente "salva" le prestazioni. Questo effetto di "salvataggio" è osservato nella maggior parte dei dataset (78% dei casi).

Risultati

• Prestazioni: LUCoS supera costantemente le linee di base, inclusi il campionamento casuale, K-Medoids nello spazio originale, RDSS e ZCore. Si classifica primo attraverso tutti e sei i budget di etichettatura.
• Confronto con l'Oracolo: LUCoS recupera circa il 13–20% del divario tra la selezione casuale e l'oracolo supervisionato, nonostante operi senza alcuna informazione sulle etichette.
• Robustezza: I risultati sono stabili sotto l'analisi leave-one-dataset-out, la rimozione progressiva dei dataset e attraverso diverse metriche di valutazione (AUC, ACC, F1).
• Modalità di Fallimento delle Alternative: K-Medoids nello spazio originale e altri metodi non supervisionati (RDSS, ZCore) non riescono a battere in modo affidabile la selezione casuale, in particolare all'aumentare del budget, confermando che la geometria dello spazio di rappresentazione è il collo di bottiglia critico.

Significato e Affermazioni

Il documento sostiene che la selezione affidabile del contesto non supervisionato per i dati tabellari dipende meno dalla sofisticazione dell'algoritmo di selezione e più dalla definizione di rappresentatività all'interno di una geometria di rappresentazione significativa.

Gli autori affermano che:

• Il "margine" per il miglioramento nell'apprendimento tabellare few-shot è sostanziale, ma non può essere accessibile applicando semplicemente metodi di selezione basati sulla distanza progettati per visione o linguaggio alle feature tabellari grezze.
• Indurre una geometria latente tramite PFN non supervisionate è un prerequisito necessario per una selezione efficace delle istanze nel setting cold-start.
• Migliorare l'apprendimento della rappresentazione per i dati tabellari è critico quanto la progettazione di euristiche di selezione complesse.

Il lavoro posiziona la selezione del contesto non supervisionata come un ponte tra i dati non etichettati abbondanti e le previsioni forti e sensibili al contesto dei TFM. Gli autori riconoscono le limitazioni, inclusa la restrizione ai compiti di classificazione con $\le 10$ classi, il costo computazionale di K-Medoids su pool molto grandi e l'attuale accoppiamento con TabClustPFN come fonte di rappresentazione. Suggeriscono che il lavoro futuro dovrebbe esplorare compiti di regressione, approssimazioni scalabili e se altri modelli di embedding o strategie di selezione possano migliorare ulteriormente le prestazioni.