The Galaxy's Guide to the Tokenizer: A Benchmark for Scientific Foundation Models

Sintesi Tecnica: La Guida della Galassia al Tokenizer

Problematica
Sebbene i modelli fondativi basati su transformer siano diventati un paradigma dominante per l'estrazione di intuizioni scientifiche dai dati astronomici, l'impatto specifico delle strategie di tokenizzazione sulle rappresentazioni apprese rimane scarsamente compreso. In domini scientifici come l'astronomia, dove le osservazioni sono governate da processi fisici noti e accompagnate da una verità fondamentale (ground truth) misurata indipendentemente (ad esempio, redshift, massa stellare), esiste la necessità critica di valutare come la conversione delle osservazioni grezze in sequenze di token plasmi la capacità del modello di eseguire l'inferenza scientifica. La letteratura attuale si concentra spesso sulle scelte architettoniche, lasciando un vuoto nella comprensione se la fedeltà di ricostruzione correli con l'accessibilità dell'informazione fisica all'interno dello spazio latente.

Metodologia
Gli autori conducono un confronto sistematico di quattro distinte strategie di tokenizzazione all'interno di un framework unificato e controllato utilizzando l'architettura AstroPT, un decoder-only transformer addestrato in modo autoregressivo su dati astronomici. Lo studio utilizza 640.000 immagini di galassie provenienti dal DESI Legacy Survey (DR8), elaborate in ritagli (postage stamps) di pixel 256×256.

Le quattro strategie di tokenizzazione valutate sono:

1. Affine: Un baseline minimale che utilizza una semplice proiezione lineare dai patch di immagine allo spazio di embedding.
2. AIM (basata su MLP): Sostituisce la proiezione lineare con un Multi-Layer Perceptron (MLP) per introdurre non linearità, seguendo il framework originale di AstroPT.
3. JetFormer: Un approccio basato sul flusso che utilizza un normalizing flow invertibile per produrre token continui. È addestrato end-to-end per massimizzare la verosimiglianza dell'immagine senza un encoder pre-addestrato separato.
4. VQ-VAE: Un approccio discreto che quantizza i patch di immagine in un codebook appreso di token visivi. L'encoder è pre-addestrato su immagini di galassie in-distribution e congelato durante il principale addestramento di AstroPT.

Protocollo di Valutazione
Lo studio impiega due assi di valutazione primari:

• Predizione di Proprietà Fisiche: Probe lineari e MLP vengono addestrati sugli embedding estratti dallo strato centrale dei modelli AstroPT per predire le proprietà fisiche di 167.000 galassie tenute in hold-out. Queste proprietà includono magnitudini fotometriche, colori, redshift fotometrici e spettroscopici, sSFR (specific star formation rate), massa stellare e indicatori morfologici.
• Fedeltà di Ricostruzione: La qualità della ricostruzione dell'immagine è valutata utilizzando SSIM e PSNR su 5.000 galassie casuali del set di test.
• Verifica del Contenuto Informativo: Per distinguere tra perdita di informazione e informazione inaccessibile, gli autori sondano le immagini ricostruite stesse utilizzando feature di una ResNet-50 pre-addestrata su ImageNet, isolando il contenuto informativo dei dati dei pixel dalla geometria dell'embedding.

Risultati Chiave
I risultati rivelano un significativo disaccoppiamento tra la fedeltà di ricostruzione e la qualità delle rappresentazioni per l'inferenza fisica:

• JetFormer: Raggiunge la più alta fedeltà di ricostruzione (Media PSNR ~31.11 dB, SSIM ~0.76), preservando dettagli spaziali fini e componenti a bassa luminosità superficiale. Tuttavia, i suoi embedding sono i meno accessibili linearmente per la predizione delle proprietà fisiche. Il probing delle immagini ricostruite conferma che JetFormer conserva quasi tutta l'informazione originale, ma questa informazione è "dispersa" nello spazio latente in un modo che i semplici probe non possono facilmente recuperare.
• VQ-VAE: Fornisce le prestazioni più forti per la predizione delle proprietà fisiche, particolarmente con i probe lineari. Il suo collo di bottiglia discreto organizza l'informazione fisica in un modo più linearmente accessibile. Tuttavia, ottiene una fedeltà di ricostruzione inferiore (Media PSNR ~23.57 dB) e perde sistematicamente dettagli fini (ad esempio, morfologia, fotometria assoluta), pur preservando gli indici di colore.
• Affine e AIM: Questi metodi performano in modo quasi identico in quasi tutte le proprietà, suggerendo che la testa MLP in AIM aggiunge un beneficio trascurabile rispetto a una semplice proiezione lineare quando il backbone del transformer è sufficientemente espressivo. Preservano meglio l'informazione morfologica localizzata rispetto a JetFormer, ma generalmente performano peggio di VQ-VAE nei compiti di regressione.
• Trade-off: Lo studio identifica un trade-off fondamentale: le rappresentazioni soft, dense e complete di informazione (JetFormer) favoriscono un'alta fedeltà di ricostruzione, mentre le strategie di tokenizzazione hard e basate su patch (VQ-VAE) promuovono rappresentazioni che sono più direttamente interpretabili e accessibili per l'inferenza fisica.

Significatività e Rivendicazioni
L'articolo sostiene che la tokenizzazione non è un passaggio di pre-elaborazione neutro, ma una scelta di design critica che dicta quale informazione viene appresa e come viene organizzata. Gli autori affermano che la qualità della ricostruzione non è un proxy affidabile per l'utilità di una rappresentazione per l'inferenza scientifica.

Ancorando la valutazione a quantità fisiche misurate indipendentemente, lo studio funge da dimostrazione di come i dati scientifici possano fornire benchmark oggettivi e non circolari per i modelli fondativi. Gli autori postulano che la scelta del tokenizer debba essere guidata dal compito specifico a valle: VQ-VAE è preferibile per l'inferenza fotometrica o spettroscopica, mentre JetFormer è superiore per compiti di generazione o ricostruzione di immagini. Il lavoro evidenzia il potenziale dell'astronomia come setting per la costruzione di benchmark interpretabili, notando che framework simili potrebbero essere preziosi in altri domini dove è disponibile la verità fisica (ground truth).

Limitazioni
Gli autori riconoscono che il confronto non è interamente ablativo a causa della necessità di diversi procedure di addestramento per ogni tokenizer (ad esempio, pre-addestramento di VQ-VAE rispetto all'addestramento end-to-end per JetFormer). Inoltre, l'uso di probe lineari e MLP potrebbe sottostimare l'informazione presente nelle rappresentazioni, sebbene il probing delle immagini ricostruite aiuti a mitigare questo aspetto per i casi estremi. Lo studio non esplora la scalabilità con la dimensione del dataset o la capacità del modello.