Semantic search for 100M+ galaxy images using AI-generated captions

Resumen Técnico: Búsqueda Semántica de más de 100M de Imágenes de Galaxias mediante Descripciones Generadas por IA

Planteamiento del Problema
La comunidad astronómica se enfrenta a un cuello de botella crítico en la exploración de los miles de millones de imágenes de galaxias generadas por los telescopios modernos. Los métodos de descubrimiento tradicionales dependen de campañas de etiquetado manual lentas (por ejemplo, Galaxy Zoo) o modelos de aprendizaje profundo supervisados limitados a conjuntos de preguntas fijos. Estos enfoques no pueden escalar para futuros conjuntos de datos (por ejemplo, Euclid, LSST) y carecen de la flexibilidad necesaria para soportar consultas de vocabulario abierto. Además, los métodos existentes de búsqueda de similitud autosupervisada recuperan imágenes visualmente similares en lugar de imágenes que contengan fenómenos físicos específicos, lo que los hace insuficientes para el descubrimiento científico dirigido.

Metodología
Los autores proponen AION-Search, un flujo de trabajo diseñado para crear un motor de búsqueda semántica a partir de datos de imágenes completamente no etiquetados. La metodología procede en tres etapas:

1. Generación de Descripciones mediante VLM: Los autores evaluaron 14 Modelos de Lenguaje-Visión (VLM) frente a anotaciones humanas del catálogo Galaxy Zoo-DECaLS. Evaluaron los modelos según su capacidad para generar descripciones de texto libre que pudieran procesarse en respuestas de árbol de decisión. Se seleccionó GPT-4.1-mini como el modelo óptimo, ofreciendo el mejor equilibrio entre precisión (tasa de coincidencia del 50.1% en las preguntas de Galaxy Zoo) y costo de API. Utilizando este modelo, el equipo generó descripciones detalladas para 300,000 imágenes de galaxias seleccionadas aleatoriamente del Legacy Survey y Hyper Suprime-Cam (HSC). Estas descripciones fueron posteriormente resumidas en oraciones únicas para reducir el ruido.
2. Alineación Contrastiva: Para permitir una búsqueda escalable sin necesidad de describir cada imagen del catálogo, los autores entrenaron un modelo de aprendizaje contrastivo. Utilizaron AION-1, un modelo fundacional de astronomía preentrenado en más de 200 millones de observaciones, como codificador de imágenes. Las descripciones de texto fueron incrustadas (embedded) usando text-embedding-3-large. Se entrenó un cabezal de proyección MLP residual de cuatro capas para alinear las incrustaciones de imagen y texto en un espacio semántico compartido de 1024 dimensiones utilizando una pérdida de entropía cruzada simétrica (InfoNCE). Los pesos subyacentes de AION-1 y del codificador de texto se mantuvieron congelados durante este proceso.
3. Reclasificación (Re-ranking) mediante VLM: Para mejorar la precisión de la recuperación de fenómenos raros, los autores introdujeron una etapa de reclasificación post-búsqueda. Tras una recuperación inicial de los 1,000 candidatos principales mediante similitud de coseno, un VLM (GPT-4.1) califica cada candidato basándose en la consulta del usuario. Este paso aprovecha un mayor cómputo en el tiempo de inferencia para refinar el orden de los resultados.

Contribuciones Clave

• Búsqueda Semántica Escalable: El sistema permite una búsqueda semántica flexible de vocabulario abierto para más de 100 millones de imágenes de galaxias (específicamente galaxias del Legacy Survey DR10) sin requerir anotación humana para todo el conjunto de datos.
• Rendimiento Zero-Shot: El modelo logra un rendimiento zero-shot de vanguardia en la localización de fenómenos raros (galaxias espirales, fusiones y lentes gravitacionales), a pesar de haber sido entrenado con imágenes seleccionadas aleatoriamente sin una curaduría deliberada para estas clases específicas.
• Marco de Reclasificación: La introducción de un método de reclasificación basado en VLM casi duplica la recuperación (recall) para los objetivos más desafiantes (lentes gravitacionales) en los primeros 100 resultados.
• Infraestructura Pública: Los autores han liberado el código, los pesos del modelo entrenado, las incrustaciones precomputadas y una aplicación web pública (alojada en Hugging Face Spaces) que soporta modos de búsqueda de texto, imagen e híbrida.

Resultados

• Rendimiento de Recuperación: AION-Search supera significativamente a las líneas de base de similitud (incluyendo variantes de AION-1, AstroCLIP y DINOv2). En la métrica nDCG@10, AION-Search alcanzó puntuaciones de 0.941 para espirales, 0.554 para fusiones y 0.173 para lentes gravitacionales, comparado con líneas de base que oscilan entre 0.015 y 0.643.
• Eficacia de la Reclasificación: La aplicación de la reclasificación con GPT-4.1 y un promedio de 5 muestras mejoró las puntuaciones nDCG@10 en todas las categorías. Para los lentes gravitacionales, la reclasificación aumentó el número de lentes confirmados encontrados en los primeros 100 resultados de 7 a 13.
• Clasificación Zero-Shot: En el benchmark Galaxy10, AION-Search alcanzó una precisión del 53.3% en clasificación zero-shot, superando ligeramente el rendimiento del VLM (GPT-4.1-mini) que generó sus datos de entrenamiento. Cuando se añadió un cabezal MLP supervisado a las incrustaciones congeladas de AION-Search, la precisión alcanzó el 84.1%, igualando el rendimiento del modelo base AION-1, lo que indica que la alineación contrastiva preservó la información morfológica.
• Descubrimiento Científico: Utilizando el sistema, los autores identificaron 36 nuevos candidatos a corrientes estelares extragalácticas mediante consultas híbridas iterativas de imagen y texto. Estos candidatos fueron confirmados como novedosos tras el cotejo con 11 catálogos existentes de características de marea.

Significancia y Reivindicaciones
El artículo afirma que este trabajo constituye el primer ejemplo en astrofísica del uso de descripciones generadas por VLM para crear conjuntos de entrenamiento para la recuperación semántica. Los autores sostienen que su enfoque demuestra que los grandes archivos de imágenes no etiquetadas pueden hacerse semánticamente buscables sin supervisión humana. Posicionan esto como un marco generalizable aplicable a otros campos con grandes archivos de imágenes no etiquetadas, como la observación terrestre, la microscopía y la ciencia de materiales. El trabajo se presenta como un paso hacia la visión de "un país de genios en un centro de datos", donde los agentes de IA pueden acelerar el descubrimiento científico analizando vastos conjuntos de datos que exceden la capacidad de inspección humana. Los autores mantienen la modestia respecto a las limitaciones, reconociendo que las descripciones de los VLM pueden contener alucinaciones y que el modelo hereda los sesgos del VLM de entrenamiento, pero argumentan que estas anotaciones imperfectas siguen proporcionando una señal suficiente para un aprendizaje contrastivo efectivo.