Semantic search for 100M+ galaxy images using AI-generated captions

Sintesi Tecnica: Ricerca Semantica per oltre 100 Milioni di Immagini di Galassie tramite Didascalie Generate dall'IA

Problematica
La comunità astronomica affronta un collo di bottiglia critico nell'esplorazione dei miliardi di immagini di galassie generate dai moderni telescopi. I metodi di scoperta tradizionali si affidano a campagne di etichettatura manuale lente (come Galaxy Zoo) o a modelli di deep learning supervisionati, vincolati a set di domande predefinite. Questi approcci non possono scalare per i futi dataset (ad esempio, Euclid, LSST) e mancano della flessibilità necessaria per supportare query a vocabolario aperto. Inoltre, i metodi esistenti di ricerca per similarità autosupervisionata recuperano immagini visivamente simili piuttosto che immagini contenenti specifici fenomeni fisici, rendendoli insufficienti per una scoperta scientifica mirata.

Metodologia
Gli autori propongono AION-Search, una pipeline progettata per creare un motore di ricerca semantica partendo da dati d'immagine completamente non etichettati. La metodologia procede in tre fasi:

1. Generazione di Didascalie tramite VLM: Gli autori hanno testato 14 Modelli Vision-Language (VLM) rispetto alle annotazioni umane del catalogo Galaxy Zoo-DECaLS. Hanno valutato i modelli in base alla loro capacità di generare descrizioni a testo libero che potessero essere analizzate in risposte basate su alberi decisionali. GPT-4.1-mini è stato selezionato come il modello ottimale, offrendo il miglior compromesso tra accuratezza (tasso di corrispondenza del 50,1% sulle domande di Galaxy Zoo) e costo delle API. Utilizzando questo modello, il team ha generato descrizioni dettagliate per 300.000 immagini di galassie selezionate casualmente dal Legacy Survey e dall'Hyper Suprime-Cam (HSC). Queste descrizioni sono state successivamente riassunte in singole frasi per ridurre il rumore.
2. Allineamento Contrastivo: Per consentire una ricerca scalabile senza dover etichettare ogni immagine del catalogo, gli autori hanno addestrato un modello di apprendimento contrastivo. Hanno utilizzato AION-1, un modello di fondazione astronomico preaddestrato su oltre 200 milioni di osservazioni, come encoder d'immagine. Le sintesi testuali sono state trasformate in embedding utilizzando text-embedding-3-large. Un head di proiezione MLP residuo a quattro strati è stato addestrato per allineare gli embedding immagine e testo in uno spazio semantico condiviso a 1024 dimensioni, utilizzando una perdita di cross-entropia simmetrica (InfoNCE). I pesi sottostanti di AION-1 e dell'encoder testuale sono stati congelati durante questo processo.
3. Reranking tramite VLM: Per migliorare la precisione del recupero per i fenomeni rari, gli autori hanno introdotto una fase di reranking post-ricerca. Dopo un recupero iniziale dei primi 1.000 candidati tramite similarità del coseno, un VLM (GPT-4.1) assegna un punteggio a ciascun candidato in base alla query dell'utente. Questo passaggio sfrutta un maggiore calcolo al momento dell'inferenza per raffinare l'ordinamento dei risultati.

Contributi Chiave

• Ricerca Semantica Scalabile: Il sistema consente una ricerca semantica flessibile a vocabolario aperto per oltre 100 milioni di immagini di galassie (specificamente le galassie del Legacy Survey DR10) senza richiedere l'annotazione umana per l'intero dataset.
• Performance Zero-Shot: Il modello raggiunge prestazioni state-of-the-art zero-shot nel trovare fenomeni rari (galassie a spirale, fusioni e lenti gravitazionali), nonostante sia stato addestrato su immagini selezionate casualmente senza una cura deliberata per queste classi specifiche.
• Framework di Reranking: L'introduzione di un metodo di reranking basato su VLM quasi raddoppia il richiamo (recall) per i target più difficili (lenti gravitazionali) nei primi 100 risultati.
• Infrastruttura Pubblica: Gli autori hanno rilasciato il codice, i pesi del modello addestrato, gli embedding pre-calcolati e un'applicazione web pubblica (ospitata su Hugging Face Spaces) che supporta modalità di ricerca testuale, d'immagine e ibrida.

Risultati

• Prestazioni di Recupero: AION-Search supera significativamente i baseline basati sulla similarità (inclusi le varianti di AION-1, AstroCLIP e DINOv2). Sulla metrica nDCG@10, AION-Search ha ottenuto punteggi di 0,941 per le spirali, 0,554 per le fusioni e 0,173 per le lenti gravitazionali, rispetto ai baseline che vanno da 0,015 a 0,643.
• Efficacia del Reranking: L'applicazione del reranking con GPT-4.1 con media di 5 campioni ha migliorato i punteggi nDCG@10 in tutte le categorie. Per le lenti gravitazionali, il reranking ha aumentato il numero di lenti confermate trovate nei primi 100 risultati da 7 a 13.
• Classificazione Zero-Shot: Sul benchmark Galaxy10, AION-Search ha raggiunto un'accuratezza del 53,3% nella classificazione zero-shot, superando leggermente le prestazioni del VLM (GPT-4.1-mini) che ha generato i suoi dati di addestramento. Quando è stato aggiunto un head MLP supervisionato agli embedding congelati di AION-Search, l'accuratezza ha raggiunto l'84,1%, eguagliando le prestazioni del modello base AION-1, indicando che l'allineamento contrastivo ha preservato l'informazione morfologica.
• Scoperta Scientifica: Utilizzando il sistema, gli autori hanno identificato 36 nuovi candidati di correnti stellari extragalattiche attraverso query ibride iterative di immagini e testo. Questi candidati sono stati confermati come nuovi tramite il cross-matching con 11 cataloghi esistenti di strutture tidali.

Significatività e Rivendicazioni
L'articolo sostiene che questo lavoro rappresenta il primo esempio in astrofisica dell'uso di didascalie generate da VLM per generare set di addestramento per la ricerca semantica. Gli autori affermano che il loro approccio dimostra che grandi archivi di immagini non etichettate possono essere resi semanticamente ricercabili senza supervisione umana. Posizionano questo lavoro come un framework generalizzabile applicabile ad altri campi con grandi archivi di immagini non etichettate, come l'osservazione terrestre, la microscopia e la scienza dei materiali. Il lavoro è presentato come un passo verso la visione di "un paese di geni in un datacenter", dove agenti IA possono accelerare la scoperta scientifica analizzando vasti dataset che eccedono la capacità di ispezione umana. Gli autori rimangono modesti riguardo ai limiti, riconoscendo che le descrizioni dei VLM possono contenere allucinazioni e che il modello eredita i bias del VLM di addestramento, ma sostengono che queste annotazioni imperfette forniscono comunque un segnale sufficiente per un efficace apprendimento contrastivo.