The Galaxy's Guide to the Tokenizer: A Benchmark for Scientific Foundation Models

Resumen Técnico: La Guía Galáctica del Tokenizador

Planteamiento del Problema
Si bien los modelos fundacionales basados en transformadores se han convertido en un paradigma líder para la extracción de conocimiento científico a partir de datos astronómicos, el impacto específico de las estrategias de tokenización en las representaciones aprendidas sigue siendo poco comprendido. En dominios científicos como la astronomía, donde las observaciones están regidas por procesos físicos conocidos y acompañadas de una verdad fundamental medida independientemente (por ejemplo, el desplazamiento al rojo o la masa estelar), existe una necesidad crítica de evaluar cómo la conversión de observaciones puras en secuencias de tokens moldea la capacidad del modelo para realizar inferencia científica. La literatura actual suele centrarse en las elecciones arquitectónicas, dejando un vacío en la comprensión de si la fidelidad de la reconstrucción se correlaciona con la accesibilidad de la información física dentro del espacio latente.

Metodología
Los autores llevan a cabo una comparación sistemática de cuatro estrategias de tokenización distintas dentro de un marco unificado y controlado utilizando el backbone AstroPT, un transformador de solo decodificador entrenado de forma autorregresiva con datos astronómicos. El estudio utiliza 640.000 imágenes de galaxias del DESI Legacy Survey (DR8), procesadas en estampillas de 256×256 píxeles.

Las cuatro estrategias de tokenización evaluadas son:

1. Affine (Afín): Una línea base mínima que utiliza una simple proyección lineal desde los parches de imagen hacia el espacio de incrustación (embedding).
2. AIM (basada en MLP): Reemplaza la proyección lineal con un Perceptrón Multicapa (MLP) para introducir no linealidad, siguiendo el marco original de AstroPT.
3. JetFormer: Un enfoque basado en flujos que utiliza un flujo normalizante invertible para producir tokens continuos. Se entrena de extremo a extremo para maximizar la verosimilitud de la imagen sin un codificador preentrenado por separado.
4. VQ-VAE: Un enfoque discreto que cuantiza los parches de imagen en un libro de códigos (codebook) aprendido de tokens visuales. El codificador es preentrenado en imágenes de galaxias de la misma distribución y se mantiene congelado durante el entrenamiento principal de AstroPT.

Protocolo de Evaluación
El estudio emplea dos ejes principales de evaluación:

• Predicción de Propiedades Físicas: Se entrenan sondas lineales y de MLP sobre las incrustaciones extraídas de la capa central de los modelos AstroPT para predecir las propiedades físicas de 167.000 galaxias no utilizadas en el entrenamiento. Estas propiedades incluyen magnitudes fotométricas, colores, desplazamientos al rojo fotométricos y espectroscópicos, tasa específica de formación estelar (sSFR), masa estelar e indicadores morfológicos.
• Fidelidad de la Reconstrucción: La calidad de la reconstrucción de la imagen se evalúa mediante SSIM y PSNR en 5.000 galaxias aleatorias del conjunto de prueba.
• Verificación del Contenido de Información: Para distinguir entre la pérdida de información y la información inaccesible, los autores sondean las imágenes reconstruidas mismas utilizando características de una ResNet-50 preentrenada en ImageNet, aislando el contenido de información de los datos de píxeles de la geometría de la incrustación.

Resultados Clave
Los resultados revelan un desacoplamiento significativo entre la fidelidad de la reconstrucción y la calidad de las representaciones para la inferencia física:

• JetFormer: Logra la mayor fidelidad de reconstrucción (PSNR medio ~31.11 dB, SSIM ~0.76), preservando detalles espaciales finos y componentes de bajo brillo superficial. Sin embargo, sus incrustaciones son las menos accesibles linealmente para la predicción de propiedades físicas. El sondeo de las imágenes reconstruidas confirma que JetFormer retiene casi toda la información original, pero esta información está "dispersa" en el espacio latente de una manera que las sondas simples no pueden recuperar fácilmente.
• VQ-VAE: Produce el rendimiento más sólido para la predicción de propiedades físicas, particularmente con sondas lineales. Su cuello de botella discreto organiza la información física de una manera más accesible linealmente. No obstante, logra una menor fidelidad de reconstrucción (PSNR medio ~23.57 dB) y pierde sistemáticamente detalles de grano fino (por ejemplo, morfología, fotometría absoluta), aunque preserva los índices de color.
• Affine y AIM: Ambos métodos se comportan de manera casi idéntica en casi todas las propiedades, lo que sugiere que la cabeza MLP en AIM añade un beneficio insignificante sobre una simple proyección lineal cuando el backbone del transformador es suficientemente expresivo. Preservan mejor la información morfológica localizada que JetFormer, pero generalmente rinden por debajo de VQ-VAE en tareas de regresión.
• Compromisos (Trade-offs): El estudio identifica un compromiso fundamental: las representaciones suaves, densas y completas de información (JetFormer) favorecen la alta fidelidad de reconstrucción, mientras que las estrategias de tokenización basadas en parches y duras (VQ-VAE) promueven representaciones que son más directamente interpretables y accesibles para la inferencia física.

Significancia y Reivindicaciones
El artículo argumenta que la tokenización no es un paso de preprocesamiento neutral, sino una elección de diseño crítica que dicta qué información se aprende y cómo se organiza. Los autores afirman que la calidad de la reconstrucción no es un indicador fiable de la utilidad de una representación para la inferencia científica.

Al fundamentar la evaluación en cantidades físicas medidas independientemente, el estudio sirve como una demostración de cómo los datos científicos pueden proporcionar parámetros de referencia objetivos y no circulares para los modelos fundacionales. Los autores postulan que la elección del tokenizador debe ser impulsada por la tarea específica de aplicación: VQ-VAE es preferible para la inferencia fotométrica o espectroscópica, mientras que JetFormer es superior para tareas de generación de imágenes o reconstrucción. El trabajo destaca el potencial de la astronomía como un entorno para construir parámetros de referencia interpretables, señalando que marcos similares podrían ser valiosos en otros dominios donde exista una verdad física subyacente.

Limitaciones
Los autores reconocen que la comparación no es enteramente ablativa debido a la necesidad de diferentes procedimientos de entrenamiento para cada tokenizador (por ejemplo, el preentrenamiento de VQ-VAE frente al entrenamiento de extremo a extremo para JetFormer). Además, la dependencia de sondas lineales y de MLP podría subestimar la información presente en las representaciones, aunque el sondeo de las imágenes reconstruidas ayuda a mitigar esto en los casos extremos. El estudio no explora el escalado con el tamaño del conjunto de datos o la capacidad del modelo.