Semantic search for 100M+ galaxy images using AI-generated captions

Technische Samenvatting: Semantische Zoekopdrachten voor 100M+ Sterrenstelselafbeeldingen met AI-gegenereerde Bijschriften

Probleemstelling
De astronomische gemeenschap staat voor een kritieke flessenhals bij het verkennen van de miljarden afbeeldingen van sterrenstelsels die door moderne telescopen worden gegenereerd. Traditionele ontdekkingsmethoden vertrouwen op trage, handmatige labelcampagnes (bijv. Galaxy Zoo) of gesuperviseerde deep learning-modellen die beperkt zijn tot vaste vraagensets. Deze benaderingen kunnen niet opschalen naar toekomstige datasets (bijv. Euclid, LSST) en missen de flexibiliteit om open-vocabulary zoekopdrachten te ondersteunen. Bovendien zijn bestaande zelfgesuperviseerde gelijkeniszoekmethoden gericht op het ophalen van visueel gelijkaardige afbeeldingen in plaats van afbeeldingen die specifieke fysische verschijnselen bevatten, waardoor ze onvoldoende zijn voor gerichte wetenschappelijke ontdekking.

Methodologie
De auteurs stellen AION-Search voor, een pijplijn die is ontworpen om een semantische zoekmachine te creëren vanuit volledig ongelabelde beelddata. De methodologie verloopt in drie fasen:

1. VLM Bijschriftgeneratie: De auteurs hebben 14 Vision-Language Modellen (VLM's) gebenchmarkt tegen menselijke annotaties uit de Galaxy Zoo-DECaLS catalogus. Ze evalueerden modellen op hun vermogen om vrije beschrijvingen te genereren die kunnen worden geparsed naar antwoorden in een beslissingsboom. GPT-4.1-mini werd geselecteerd als het optimale model, omdat het de beste balans biedt tussen nauwkeurigheid (50,1% matchrate op Galaxy Zoo-vragen) en API-kosten. Met behulp van dit model genereerde het team gedetailleerde beschrijvingen voor 300.000 willekeurig geselecteerde sterrenstelselafbeeldingen uit de Legacy Survey en Hyper Suprime-Cam (HSC). Deze beschrijvingen werden vervolgens samengevat in enkelvoudige zinnen om ruis te verminderen.
2. Contrastieve Uitlijning: Om schaalbare zoekopdrachten mogelijk te maken zonder elke afbeelding te voorzien van een bijschrift, hebben de auteurs een contrastief leermodel getraind. Ze gebruikten AION-1, een astronomisch fundamentmodel dat is voorgetraind op meer dan 200 miljoen observaties, als de beeldencoder. De tekstsamenvattingen werden ingebed met behulp van text-embedding-3-large. Een vierlaagse residuele MLP-projectiekop werd getraind om de beeld- en tekstembeddings uit te lijnen in een gedeelde 1024-dimensionale semantische ruimte met behulp van een symmetrische cross-entropy (InfoNCE) loss. De onderliggende gewichten van AION-1 en de tekstencoder bleven tijdens dit proces bevroren.
3. VLM Re-ranking: Om de precisie van de retrieval te verbeteren voor zeldzame verschijnselen, introduceerden de auteurs een post-search re-ranking fase. Na een initiële retrieval van de top-1.000 kandidaten via cosinus-gelijkenis, scoort een VLM (GPT-4.1) elke kandidaat op basis van de zoekopdracht van de gebruiker. Deze stap maakt gebruik van verhoogde rekenkracht tijdens de inferentie om de volgorde van de resultaten te verfijnen.

Belangrijkste Bijdragen

• Schaalbare Semantische Zoekopdrachten: Het systeem maakt flexibele, open-vocabulary semantische zoekopdrachten mogelijk voor meer dan 100 miljoen sterrenstelselafbeeldingen (specifiek Legacy Survey DR10 sterrenstelsels) zonder dat er voor de gehele dataset menselijke annotatie nodig is.
• Zero-Shot Prestaties: Het model bereikt state-of-the-art zero-shot prestaties bij het vinden van zeldzame verschijnselen (spiraalstelsels, fusies en gravitationele lenzen), ondanks dat het is getraind op willekeurig geselecteerde afbeeldingen zonder bewuste curatie voor deze specifieke klassen.
• Re-ranking Framework: De introductie van een VLM-gebaseerde re-ranking methode verdubbelt bijna de recall voor de meest uitdagende doelwitten (gravitationele lenzen) in de top-100 resultaten.
• Publieke Infrastructuur: De auteurs hebben de code, de getrainde modelgewichten, de vooraf berekende embeddings en een publieke webapplicatie (gehost op Huggend Face Spaces) vrijgegeven die tekst-, beeld- en hybride zoekmodi ondersteunt.

Resultaten

• Retrieval Prestaties: AION-Search presteert significant beter dan gelijkenis-gebaseerde baselines (inclusief AION-1 varianten, AstroCLIP en DINOv2). Op de nDCG@10 metriek behaalde AION-Search scores van 0,941 voor spiralen, 0,554 voor fusies en 0,173 voor gravitationele lenzen, vergeleken met baselines variërend van 0,015 tot 0,643.
• Effectiviteit van Re-ranking: Het toepassen van GPT-4.1 re-ranking met 5-sample averaging verbeterde de nDCG@10 scores in alle categorieën. Voor gravitationele lenzen verbeterde re-ranking het aantal bevestigde lenzen gevonden in de top-100 resultaten van 7 naar 13.
• Zero-Shot Classificatie: Op de Galaxy10 benchmark behaalde AION-Search 53,3% nauwkeurigheid in zero-shot classificatie, wat de prestaties van de VLM (GPT-4.1-mini) die de trainingsdata genereerde, licht overtrof. Wanneer een gesuperviseerde MLP-kop werd toegevoegd aan de bevroren AION-Search embeddings, bereikte de nauwkeurigheid 84,1%, wat overeenkomt met de prestaties van het basis AION-1 model, wat aangeeft dat de contrastieve uitlijning de morfologische informatie heeft behouden.
• Wetenschappelijke Ontdekking: Met behulp van het systeem identificeerden de auteurs 36 nieuwe extragalactische stellar stream kandidaten door middel van iteratieve hybride beeld- en tekstzoekopdrachten. Deze kandidaten werden als nieuw bevestigd door ze te kruisverwijzen met 11 bestaande catalogi van getijdenkenmerken (tidal features).

Betekenis en Claims
Het artikel beweert dat dit werk het eerste voorbeeld in de astrofysica is van het gebruik van door VLM gegenereerde bijschriften om trainingssets voor semantische retrieval te genereren. De auteurs stellen dat hun aanpak aantoont dat grote, ongelabelde wetenschappelijke beeldarchieven semantisch doorzoekbaar kunnen worden gemaakt zonder menselijk toezicht. Zij positioneren dit als een generaliseerbaar framework dat toepasbaar is op andere velden met grote ongelabelde beeldarchieven, zoals aardobservatie, microscopie en materiaalkunde. Het werk wordt gepresenteerd als een stap richting de visie van "een land van genieën in een datacenter", waarbij AI-agenten wetenschappelijke ontdekkingen kunnen versnellen door enorme datasets te analyseren die de menselijke inspectiecapaciteit te boven gaan. De auteurs blijven bescheiden over beperkingen en erkennen dat VLM-beschrijvingen hallucinaties kunnen bevatten en dat het model de biases van de trainings-VLM overneemt, maar zij beargumenteren dat deze imperfecte annotaties nog steeds een voldoende signaal bieden voor effectieve contrastieve leermethoden.