The Galaxy's Guide to the Tokenizer: A Benchmark for Scientific Foundation Models

Technische Samenvatting: De Gids van de Melkweg naar de Tokenizer

Probleemstelling
Hoewel transformer-gebaseerde fundamentele modellen een leidend paradigma zijn geworden voor het extraheren van wetenschappelijke inzichten uit astronomische data, blijft de specifieke impact van tokenisatiestrategieën op geleerde representaties onvoldoende begrepen. In wetenschappelijke domeinen zoals de astronomie, waar observaties worden beheerst door bekende fysieke processen en vergezeld gaan van onafhankelijk gemeten grondwaarheid (bijv. roodverschuiving, stellaire massa), is er een kritische behoefte om te evalueren hoe het omzetten van ruwe observaties naar tokensequenties de bekwaamheid van het model vormgeeft om wetenschappelijke inferentie uit te voeren. De huidige literatuur richt zich vaak op architecturale keuzes, waardoor er een gat ontstaat in het begrip of reconstructiefaillibiliteit correleert met de toegankelijkheid van fysieke informatie binnen de latente ruimte.

Methodologie
De auteurs voeren een systematische vergelijking uit van vier verschillende tokenisatiestrategieën binnen een uniforme, gecontroleerde framework met behulp van de AstroPT-backbone, een decoder-only transformer die autoregressief is getraind op astronomische data. De studie maakt gebruik van 640.000 sterrenstelselbeelden uit de DESI Legacy Survey (DR8), verwerkt tot 256×256 pixel postage stamps.

De vier geëvalueerde tokenisatiestrategieën zijn:

1. Affine: Een minimale baseline die gebruikmaakt van een eenvoudige lineaire projectie van beeldpatches naar de embeddingruimte.
2. AIM (MLP-gebaseerd): Vervangt de lineaire projectie door een Multi-Layer Perceptron (MLP) om niet-lineariteit te introduceren, conform het oorspronkelijke AstroPT-framework.
3. JetFormer: Een flow-gebaseerde aanpak die gebruikmaakt van een inverteerbare normalizing flow om continue tokens te produceren. Het is end-to-end getraind om de beeld-likelihood te maximaliseren zonder een aparte voorgetrainde encoder.
4. VQ-VAE: Een discrete aanpak die beeldpatches kwantiseert in een geleerd codeboek van visuele tokens. De encoder is voorgetraind op in-distributie sterrenstelsel-beelden en wordt bevroren tijdens de hoofdtraining van AstroPT.

Evaluatieprotocol
De studie hanteert twee primaire evaluatieassen:

• Voorspelling van Fysische Eigenschappen: Lineaire en MLP-probes worden getraind op embeddings geëxtraheerd uit de centrale laag van de AstroPT-modellen om de fysische eigenschappen van 167.000 uit de testset gehouden sterrenstelsels te voorspellen. Deze eigenschappen omvatten fotometrische magnituden, kleuren, fotometrische en spectroscopische roodverschuivingen, de specifieke stervormingssnelheid (sSFR), stellaire massa en morfologische indicatoren.
• Reconstructiefaillibiliteit: De kwaliteit van de beeldreconstructie wordt beoordeeld met behulp van SSIM en PSNR op 5.000 willekeurige testset-sterrenstelsels.
• Verificatie van Informatiegehalte: Om onderscheid te maken tussen informatieverlies en ontoegankelijke informatie, onderzoeken de auteurs de gereconstrueerde beelden zelf met behulp van ImageNet-voorgetrainde ResNet-50 features, waardoor het informatiegehalte van de pixeldata wordt geïsoleerd van de embedding-geometrie.

Belangrijkste Resultaten
De resultaten onthullen een significante ontkoppeling tussen reconstructiefaillibiliteit en de kwaliteit van representaties voor fysische inferentie:

• JetFormer: Bereikt de hoogste reconstructiefaillibiliteit (Gemiddelde PSNR ~31,11 dB, SSIM ~0,76), waarbij fijne ruimtelijke details en componenten met een lage oppervlaktehelderheid behouden blijven. De embeddings zijn echter het minst lineair toegankelijk voor de voorspelling van fysische eigenschappen. Probing van de gereconstrueerde beelden bevestigt dat JetFormer bijna alle originele informatie behoudt, maar deze informatie is "verstrooid" in de latente ruimte op een manier waarop eenvoudige probes deze niet gemakkelijk kunnen herstellen.
• VQ-VAE: Levert de sterkste prestaties voor het voorspellen van fysische eigenschappen, met name met lineaire probes. De discrete bottleneck organiseert fysische informatie op een meer lineair toegankelijke manier. Het bereikt echter een lagere reconstructiefaillibiliteit (Gemiddelde PSNR ~23,57 dB) en verliest systematisch fijnmazige details (bijv. morfologie, absolute fotometrie), hoewel het kleurindices behoudt.
• Affine en AIM: Deze methoden presteren bijna identiek over bijna alle eigenschappen, wat suggereert dat de MLP-head in AIM een verwaarloosbaar voordeel biedt ten opzichte van een eenvoudige lineaire projectie wanneer de transformer-backbone voldoende expressief is. Ze behouden gelokaliseerde morfologische informatie beter dan JetFormer, maar presteren over het algemeen minder goed dan VQ-VAE bij regressietaken.
• Trade-offs: De studie identificeert een fundamentele trade-off: zachte, dichte, informatie-volledige representaties (JetFormer) bevoordelen hoge-getrouwheid reconstructie, terwijl harde, patch-gebaseerde tokenisatiestrategieën (VQ-VAE) representaties bevorderen die directer interpreteerbaar en toegankelijk zijn voor fysische inferentie.

Betekenis en Claims
Het artikel betoogt dat tokenisatie geen neutrale voorbewerkingsstap is, maar een cruciale ontwerpkeuze die bepaalt welke informatie wordt geleerd en hoe deze wordt georganiseerd. De auteurs stellen dat reconstructiekwaliteit geen betrouwbare proxy is voor de bruikbaarheid van een representatie voor wetenschappelijke inferentie.

Door de evaluatie te funderen in onafhankelijk gemeten fysische grootheden, dient deze studie als een demonstratie van hoe wetenschappelijke data objectieve, niet-circulaire benchmarks kunnen bieden voor fundamentele modellen. De auteurs stellen dat de keuze voor een tokenizer gedreven moet worden door de specifieke downstream taak: VQ-VAE is te verkiezen voor fotometrische of spectroscopische inferentie, terwijl JetFormer superieur is voor taken zoals beeldgeneratie of reconstructie. Het werk benadrukt het potentieel van astronomie als een setting voor het construeren van interpreteerbare benchmarks, waarbij wordt opgemerkt dat soortgelijke frameworks waardevol kunnen zijn in andere domeinen waar fysische grondwaarheid beschikbaar is.

Beperkingen
De auteurs erkennen dat de vergelijking niet volledig ablatief is vanwege de noodzaak van verschillende trainingsprocedures voor elke tokenizer (bijv. het voortrainen van VQ-VAE versus end-to-end training voor JetFormer). Daarnaast kan de afhankelijkheid van lineaire en MLP-probes de informatie in de representaties onderschatten, hoewel het onderzoeken van gereconstrueerde beelden helateert bij de extreme gevallen. De studie onderzoekt niet de schaalbaarheid met betrekking tot datasetgrootte of modelcapaciteit.