A survey detection channel overrides the pixels in an astronomical foundation model, and biases tomographic mean redshifts
Cet article démontre que les modèles de fondation pour l'astronomie, tels qu'AION-1, héritent de biais systématiques provenant de canaux de détection de relevés incomplets, ce qui les amène à privilégier les masques de segmentation au détriment des données d'image réelles et à fausser considérablement les mesures photométriques et de décalage vers le rouge, particulièrement dans les analyses tomographiques.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les astronomes s'appuient depuis longtemps sur des relevés massifs et automatisés pour cartographier l'univers. Ces relevés prennent des photos du ciel, puis utilisent des logiciels pour mesurer la luminosité, la taille et la distance de chaque galaxie qu'ils observent. Les résultats sont stockés dans de vastes catalogues numériques, qui servent de référence principale aux scientifiques étudiant l'évolution de l'univers sur des milliards d'années. Récemment, une nouvelle génération d'intelligence artificielle est entrée dans ce domaine. Il s'agit de « modèles de fondation », de programmes informatiques massifs entraînés à la fois sur les images brutes du ciel et sur les catalogues préétablis qui en découlent. L'espoir est que ces modèles puissent apprendre les motifs profonds du cosmos, agissant comme un traducteur universel entre la lumière brute et la vérité scientifique. Mais pour que ces outils soient dignes de confiance dans les études cosmologiques les plus précises, les scientifiques doivent comprendre exactement comment ils prennent leurs décisions. Si un modèle s'appuie sur un raccourci qui échoue de manières spécifiques, cela pourrait introduire un biais caché qui fausserait toute notre compréhension de l'expansion de l'univers.
Un audit récent d'un nouveau modèle puissant appelé AION-1 a révélé une faille surprenante et potentiellement dangereuse dans sa façon de raisonner. Les chercheurs ont découvert que le modèle ne regarde pas principalement la lumière réelle des étoiles et des galaxies lorsqu'il effectue ses mesures. Au lieu de cela, il a appris à faire confiance à une carte numérique qui indique où une galaxie est censée se trouver, ignorant souvent l'image réelle si les deux divergent. Ce comportement n'est pas un simple bug mineur ; c'est une préférence fondamentale ancrée dans la conception même du modèle. Lorsque les chercheurs ont testé cela en gardant l'image d'une galaxie exactement identique mais en déplaçant la carte numérique qui marque son emplacement, les mesures rapportées par le modèle ont changé radicalement. La luminosité estimée de la galaxie pouvait chuter de près de quatre-vingts pour cent, et sa distance estimée pouvait varier de manière spectaculaire, simplement parce que le marqueur numérique avait été déplacé de quelques pixels par rapport au centre de l'objet. Le modèle ne calculait pas la lumière ; il cochait une case.
Le mécanisme derrière cet échec est ce que les chercheurs appellent une « porte de détection » (detection gate). En termes simples, le modèle a appris que si la carte numérique indique qu'une galaxie est présente à un endroit précis, alors une galaxie est là, peu importe ce que les pixels montrent réellement. Il traite les données de localisation du catalogue comme un ordre plutôt que comme une suggestion. Cela est particulièrement problématique car le logiciel qui crée ces cartes numériques n'est pas parfait. Dans les données de relevés utilisées pour entraîner le modèle, environ 3,7 % du temps, le logiciel échoue à placer un marqueur sur une galaxie pourtant clairement visible sur l'image. Lorsque le modèle rencontre l'une de ces galaxies non marquées, il ignore de fait la lumière entière, produissant une réponse confiante mais totalement erronée. Les chercheurs ont montré que cette erreur n'est pas un bruit aléatoire ; c'est un décalage systématique qui déplace la distance moyenne de groupes entiers de galaxies. Dans les cas les plus graves, ce décalage est suffisamment important pour briser les exigences de précision strictes fixées pour les futures grandes missions spatiales, pouvant consommer l'intégralité de la marge d'erreur autorisée pour ces études.
On pourrait supposer que si le modèle se trompe sur l'emplacement, il regarderait au moins la lumière pour déterminer la distance. Cependant, l'étude a révélé l'inverse. Lorsque les chercheurs ont corrompu les données du catalogue concernant la couleur ou la luminosité d'une galaxie, l'estimation de la distance par le modèle est devenue neuf fois pire que s'il n'avait reçu aucune donnée de catalogue. Il s'est accroché à l'information erronée plutôt que de revenir à l'image brute. Cela suggère que le modèle a été entraîné de telle sorte que les données du catalogue constituaient une « réponse gratuite », de sorte qu'il n'a jamais appris à vérifier cette réponse par rapport à l'image réelle. Le problème est si profondément ancré que rendre le modèle informatique plus grand et plus puissant n'a pas résolu le problème ; en fait, le modèle le plus large s'appuyait encore plus lement sur les données erronées du catalogue.
Les chercheurs ont également découvert que la capacité du modèle à percevoir la forme et la structure des galaxies est limitée par la manière dont il traduit les images en nombres. La partie du système qui traite les images fonctionne comme une échelle très simple de niveaux de luminosité, avec seulement environ vingt-huit étapes distinctes pour représenter la lumière. Cela signifie que le modèle ne peut pas distinguer différentes formes ou textures au sein d'une seule portion de ciel ; il peut seulement dire si une portion est plus brillante ou plus sombre. Cette limitation est intégrée au vocabulaire du modèle et ne peut être corrigée par l'ajout de simple puissance de calcul. De ce fait, les performances du modèle sur les images seront toujours en retrait par rapport à ses performances lorsqu'il reçoit des spectres réels, qui sont des décompositions détaillées des couleurs de la lumière. Lorsque les chercheurs ont fourni au modèle ces spectres détaillés, le biais a presque entièrement disparu, prouvant que le problème est spécifique à la manière dont le modèle traite les images sans cette information supplémentaire.
L'étude conclut par une recommandation claire sur la manière d'utiliser ces outils puissants en toute sécurité. Les chercheurs ont constaté que le simple fait de supprimer la carte de localisation numérique de l'entrée du modèle arrête complètement le biais, sans nuire à la précision du modèle. Le modèle est aussi performant, voire plus performant, lorsqu'il est contraint de regarder la lumière elle-même plutôt que de s'appuyer sur la carte préétablie. Cependant, si la carte est supprimée, le modèle ne doit pas recevoir un marqueur générique, car cela aggrave la situation. Le point essentiel est que, pour que ces systèmes d'intelligence artificielle soient utiles dans les travaux scientifiques les plus critiques, ils doivent être conçus pour faire confiance aux données brutes de l'univers plutôt qu'aux résumés que les humains en ont déjà rédigés. Sans cette correction, les outils mêmes destinés à révéler les secrets du cosmos pourraient au contraire conduire les astronomes sur une voie d'erreur systématique invisible.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.