A survey detection channel overrides the pixels in an astronomical foundation model, and biases tomographic mean redshifts
Questo articolo dimostra che i modelli di fondazione per l'astronomia, come AION-1, ereditano pregiudizi sistematici dai canali di rilevamento incompleti delle survey, causando una loro priorità verso le maschere di segmentazione rispetto ai dati d'immagine reali e distorcendo significativamente le misurazioni fotometriche e di redshift, in particolare nelle analisi tomografiche.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Gli astronomi si affidano da tempo a massicce indagini automatizzate per mappare l'universo. Queste indagini scattano foto al cielo e poi utilizzano software per misurare la luminosità, la dimensione e la distanza di ogni galassia che vedono. I risultati vengono conservati in vasti cataloghi digitali, che fungono da riferimento primario per gli scienziati che studiano come l'universo si sia evoluto nel corso di miliardi di anni. Recentemente, una nuova generazione di intelligenza artificiale è entrata in questo campo. Si tratta di "modelli di base" (foundation models), enormi programmi informatici addestrati sia sulle immagini grezze del cielo sia sui cataloghi pre-esistenti derivati da esse. La speranza è che questi modelli possano apprendere i profondi schemi del cosmo, agendo come un traduttore universale tra la luce grezza e la verità scientifica. Ma affinché questi strumenti possano essere ritenuti affidabili negli studi cosmologici più precisi, gli scienziati devono capire esattamente come prendono le decisioni. Se un modello si affida a una scorciatoia che fallisce in modi specifici, potrebbe introdurre un bias nascosto che altera la nostra intera comprensione dell'espansione dell'universo.
Un recente audit di un potente nuovo modello chiamato AION-1 ha rivelato un difetto sorprendente e potenzialmente pericoloso nel suo modo di pensare. I ricercatori hanno scoperto che il modello non guarda principalmente la luce reale delle stelle e delle galassie quando effettua le sue misurazioni. Inveve, ha imparato a fidarsi di una mappa digitale che indica dove una galassia dovrebbe trovarsi, spesso ignorando l'immagine reale se le due non concordano. Questo comportamento non è un piccolo glitch; è una preferenza fondamentale incorporata nel design del modello. Quando i ricercatori hanno testato questo aspetto mantenendo l'immagine di una galassia esattamente identica ma spostando la mappa digitale che ne segna la posizione, le misurazioni riportate dal modello sono cambiate drasticamente. La luminosità stimata della galassia poteva scendere di quasi l'ottanta per cento e la sua distanza stimata poteva variare selvaggiamente, semplicemente perché il marcatore digitale era stato spostato di pochi pixel rispetto al centro dell'oggetto. Il modello non stava calcolando la luce; stava spuntando una casella.
Il meccanismo dietro questo fallimento è ciò che i ricercatori chiamano un "cancello di rilevamento" (detection gate). In termini semplici, il modello ha imparato che se la mappa digitale dice che una galassia è presente in un determinato punto, allora una galassia è lì, indipendentemente da ciò che i pixel mostrano effettivamente. Tratta i dati di posizione del catalogo come un comando piuttosto che come un suggerimento. Questo è particolarmente problematico perché il software che crea queste mappe digitali non è perfetto. Nei dati del sondaggio utilizzati per addestrare il modello, circa il 3,7 per cento delle volte il software non riesce a posizionare un marcatore su una galassia che è chiaramente visibile nell'immagine. Quando il modello incontra una di queste galassie non marcate, ignora efficacementmente la luce, producendo una risposta sicura ma completamente errata. I ricercatori hanno dimostrato che questo errore non è un rumore casuale; è uno spostamento sistematico che muove la distanza media di interi gruppi di galassie. Nei casi peggiori, questo spostamento è sufficientemente grande da rompere i rigorosi requisiti di precisione stabiliti per le future grandi missioni spaziali, rischiando di consumare l'intero margine di errore consentito per questi studi.
Si potrebbe presumere che se il modello sbaglia sulla posizione, almeno guarderebbe la luce per determinare la distanza. Tuttavia, lo studio ha trovato l'opposto. Quando i ricercatori hanno corrotto i dati del catalogo relativi al colore o alla luminosità di una galassia, la stima della distanza del modello è diventata nove volte peggiore rispetto a se non avesse ricevuto alcun dato dal catalogo. Si è aggrappato alle informazioni errate invece di ricorrere all'immagine grezza. Ciò suggerisce che il modello è stato addestrato in modo tale da rendere i dati del catalogo una "risposta facile", così non ha mai imparato a verificare quella risposta confrontandola con l'immagine reale. Il problema è così profondamente radicato che rendere il modello informatico più grande e potente non lo ha risolto; anzi, il modello più grande si è appoggiato ancora di più ai dati errati del catalogo.
I ricercatori hanno anche scoperto che la capacità del modello di vedere la forma e la struttura delle galassie è limitata da come le immagini vengono tradotte in numeri. La parte del sistema che elabora le immagini agisce come una scala molto semplice di livelli di luminosità, con solo circa ventotto gradini distinti per rappresentare la luce. Ciò significa che il modello non può distinguere tra diverse forme o texture all'interno di una singola porzione di cielo; può solo dire se una porzione è più luminosa o meno luminosa. Questo limite è costruito nel vocabolario del modello e non può essere risolto semplicemente aggiungendo potenza di calcolo. Per questo motivo, le prestazioni del modello sulle immagini rimarranno sempre inferiori alle sue prestazioni quando riceve spettri dettagliati, ovvero scomposizioni dettagliate dei colori della luce. Quando i ricercatori hanno fornito al modello questi spettri dettagliati, il bias è quasi del tutto scomparso, provando che il problema è specifico del modo in cui il modello gestisce le immagini senza quelle informazioni supplementari.
Lo studio conclude con una raccomandazione chiara su come utilizzare questi potenti strumenti in sicurezza. I ricercatori hanno scoperto che rimuovere semplicemente la mappa digitale della posizione dall'input del modello interrompe completamente il bias, senza compromettere l'accuratezza del modello. Il modello funziona altrettanto bene, o addirittura meglio, quando è costretto a guardare la luce stessa invece di fare affidamento sulla mappa pre-esistente. Tuttavia, se la mappa viene rimossa, il modello non deve ricevere un segnaposto generico, poiché ciò peggiora la situazione. La lezione fondamentale è che, affinché questi sistemi di intelligenza artificiale siano utili nei lavori scientifici più critici, devono essere progettati per fidarsi dei dati grezzi dell'universo piuttosto che dei riassunti che gli esseri umani ne hanno già scritto. Senza questa correzione, gli stessi strumenti destinati a rivelare i segreti del cosmo potrebbero invece condurre gli astronomi lungo un sentiero di errori sistematici invisibili.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.