Imaginez que vous soyez un détective tentant de résoudre un mystère, mais que vous ne disposiez pas de la scène du crime réelle. À la place, vous avez un film généré par ordinateur, incroyablement détaillé, de ce que vous pensez qu'il s'est passé. Vous entraînez vos compétences de détective sur ce film, apprenant à repérer les indices et à prédire les issues. Ensuite, vous portez votre attention sur le monde réel, espérant que votre détective formé par le film saura repérer la vérité. C'est exactement ainsi que travaillent les physiciens modernes. Ils utilisent des simulations informatiques massives pour modéliser l'univers, des plus infimes particules entrant en collision dans des anneaux géants à la naissance des étoiles. Ils utilisent ensuite l'apprentissage automatique (Machine Learning ou ML) — des programmes informatiques super intelligents qui apprennent des motifs — pour analyser des données réelles provenant de télescopes et de collisionneurs de particules.

Mais voici le piège : le film informatique n'est jamais parfait. C'est une approximation. Peut-être que la physique dans le film est légèrement erronée, ou que la « caméra » dans la simulation ne correspond pas tout à fait au véritable télescope. Quand le modèle est incorrect, nous appelons cela une « spécification erronée » (misspecification). Généralement, nous connaissons ces petites erreurs et pouvons les corriger. Mais parfois, le modèle est faux d'une manière que nous ne pouvions même pas imaginer. Ce sont les « inconnues inconnues » (unknown unknowns) : des failles si cachées que nos vérifications habituelles ne les voient pas. C'est un problème majeur car, si notre détective est entraîné sur un film défectueux, il pourrait penser avoir trouvé une nouvelle espèce extraterrestre alors qu'il n'a fait que trouver un bug dans le projecteur. Ou pire, il pourrait rater un véritable extraterrestre parce que le bug l'a fait passer pour un simple bruit de fond.

Ce document, intitulé « Unknown Unknowns: Model Misspecification in Machine Learning for Physics », sert de guide pour ces détectives. Les auteurs, une équipe de physiciens et de scientifiques des données, soutiennent que l'apprentissage automatique ne crée pas ce problème ; il le rend simplement plus bruyant et plus difficile à ignorer. Ils expliquent que si le ML est un outil puissant pour découvrir une nouvelle physique, il peut aussi amplifier les erreurs cachées de nos simulations. Ils précisent que nous ne pouvons jamais être sûrs à 100 % que notre modèle est parfait. Au lieu de cela, nous devons constamment tester la résistance de nos modèles, utiliser une batterie de vérifications différentes pour voir où ils échouent, et concevoir nos expériences pour qu'elles puissent survivre à l'erreur. Le message central est que faire de la bonne science ne consiste pas à avoir un modèle parfait, mais à être prêt à suspecter son propre modèle et à construire des systèmes capables de gérer la surprise d'être faux de manières que l'on n'avait pas anticipées.

Le dilemme du détective : quand la carte est fausse

Considérez la physique comme un jeu de « Carte et Territoire ». Le « Territoire » est l'univers réel, avec ses comportements désordonnés, complexes et parfois étranges. La « Carte » est notre modèle mathématique ou notre simulation informatique qui tente de décrire ce territoire. Autrefois, les physiciens dessinaient des cartes à la main, en les vérifiant par rapport au terrain. Aujourd'hui, nous utilisons l'apprentissage automatique pour dessiner des cartes à la vitesse de l'éclair. Mais si la carte est dessinée avec de mauvaises règles, le détective se perd.

Le document commence par définir ce que signifie une carte « mal spécifiée ». Ce n'est pas seulement une faute de frappe ; c'est une incompréhension fondamentale. Imaginez que vous essayiez de prédire la météo. Si votre modèle suppose que la pluie tombe toujours verticalement, mais qu'en réalité, le vent la fait tomber de côté, votre modèle est mal spécifié. En physique, cela arrive lorsque nous manquons une pièce du puzzle, comme une force cachée ou une interaction de particules étrange. Les auteurs font une distinction cruciale : parfois, découvrir que la carte est fausse est l'objectif même ! Si la carte échoue d'une manière spécifique, cela peut signifier que nous avons découvert une nouvelle loi de la nature (comme l'énergie noire). Mais d'autres fois, la carte est simplement désordonnée de manière banale (comme un objectif de caméra flou), et nous voulons simplement nettoyer l'image pour mesurer quelque chose d'autre avec précision. Le défi est de faire la différence entre une « nouvelle découverte » et un « bug ».

Le monstre des « Inconnues Inconnues »

La partie la plus effrayante de l'histoire est l'« Inconnue Inconnue ». Vous savez ce que vous ne savez pas ? C'est une « inconnue connue ». Par exemple, vous savez que votre règle peut être décalée d'un millimètre. Vous pouvez en tenir compte. Une « Inconnue Inconnue », c'est quand vous ne savez même pas que votre règle est cassée. Peut-être que la règle s'étire lorsqu'elle chauffe, et vous n'avez jamais pensé à vérifier la température.

Le document explique que l'apprentissage automatique rend ces monstres plus dangereux. Parce que les modèles de ML sont très doués pour trouver des motifs, ils peuvent accidentellement apprendre les « bugs » de la simulation au lieu de la physique réelle. Si la simulation possède une petite erreur bizarre qui ne se produit qu'à haute vitesse, le modèle de ML pourrait apprendre cette erreur comme une règle. Ensuite, lorsqu'il examine les données réelles, il est confus ou, pire, il est avec certitude dans l'erreur. Les auteurs préviennent que nous ne pouvons pas simplement faire confiance au modèle parce qu'il correspond bien aux données. Un modèle peut être « juste pour de mauvaises raisons ». Il peut prédire la bonne réponse en utilisant une logique brisée qui, par pur hasard, annule les erreurs.

La boîte à outils : comment attraper le bug

Alors, comment attraper ces monstres invisibles ? Le document suggère que nous ne pouvons pas nous fier à un seul test. C'est comme essayer de trouver une fuite dans un bateau. Vous ne pouvez pas vous contenter de regarder le niveau de l'eau ; vous devez tapoter la coque, écouter les gouttes et peut-être même remplir le bateau d'eau pour voir où les bulles apparaissent.

1. La qualité de l'ajustement (Le test du « Est-ce que ça semble correct ? ») : C'est la première vérification. Nous comparons les données réelles à la simulation. Si elles sont totalement différentes, nous savons que quelque chose ne va pas. Le document énumère plusieurs façons de faire cela, comme utiliser un « classificateur » (un trieur intelligent) pour voir s'il peut distinguer les données réelles des données fausses. Si le trieur les distingue facilement, le modèle est mal spécifié. Mais si le trieur ne peut pas les distinguer, le modèle peut tout de même être erroné de manière subtile que le trieur a manquée.
2. La division des données (Le test de résistance) : Imaginez que vous entraîniez un étudiant sur un ensemble spécifique de questions d'entraînement. S'il réussit l'examen, tant mieux. Mais que se passe-t-il si vous lui donnez une question portant sur un sujet complètement différent ? S'il échoue, c'est qu'il n'a pas vraiment appris le concept, il a juste mémorisé les réponses. Les physiciens font cela en divisant leurs données. Ils peuvent entraîner un modèle sur des données provenant d'une partie de l'univers (comme l'univers primordial) et le tester sur une autre (comme l'univers tardif). Si le modèle échoue, cela signifie qu'il n'a pas appris les lois universelles, mais qu'il a simplement appris les particularités spécifiques du premier ensemble de données.
3. Le test de clôture (Le test de la « fausse réalité ») : C'est ici que les scientifiques créent un univers fictif parfait où ils connaissent la réponse. Ils effectuent leur analyse sur ces données fictives. Si l'analyse ne parvient pas à trouver la réponse qu'ils savent être présente, alors la méthode elle-même est défaillante. C'est comme un chef goûtant un plat qu'il a lui-même cuisiné. S'il ne peut pas goûter le sel qu'il a ajouté, ce sont ses papilles qui sont défectueuses, pas le plat.

Corriger la carte : Stratégies d'atténuation

Une fois que nous trouvons un bug, que faisons-nous ? Le document présente quatre principales façons de le corriger, ou du moins de vivre avec.

• Couvrir avec des incertitudes : Parfois, nous savons que la carte est un peu floue, mais nous ne savons pas exactement à quel point. Alors, nous ajoutons simplement une grande étiquette de « flou » à nos résultats. C'est comme dire : « Le trésor est ici, à plus ou moins un kilomètre ». Cela ne corrige pas la carte, mais cela nous empêche de prétendre avoir trouvé le trésor alors que nous sommes dans la ville voisine.
• Le calibrage : C'est comme accorder une radio. Si la simulation semble un peu décalée par rapport aux données réelles, nous pouvons ajuster les boutons (repondération) pour qu'elles correspondent. Nous pouvons modifier la simulation pour qu'elle ressemble davantage à la réalité. Mais le document met en garde : faites attention ! Si vous accordez trop la radio, vous pourriez accidentellement supprimer la nouvelle musique (la nouvelle physique) que vous cherchiez à trouver.
• Éviter les mauvaises caractéristiques : Si vous savez qu'une partie spécifique de la carte est défectueuse (comme un pont qui n'existe pas), ne roulez simplement pas dessus. En physique, cela signifie ignorer certains points de données ou certaines caractéristiques que la simulation gère mal. C'est un peu comme ignorer la partie floue d'une photo.
• La modélisation pilotée par les données : Parfois, au lieu d'utiliser une simulation, nous utilisons simplement les données réelles pour construire notre modèle. C'est comme apprendre à conduire en regardant les autres voitures plutôt qu'en lisant un manuel. Cela évite les erreurs de simulation, mais introduit de nouvelles hypothèses sur le comportement des données réelles.

L'avenir : Des robots en tant que détectives ?

Le document se termine par un regard vers l'avenir. Pourrions-nous utiliser l'intelligence artificielle pour accomplir toute la méthode scientifique à notre place ? Imaginez un robot qui propose une nouvelle théorie, construit un modèle, le teste, trouve les erreurs et les corrige, tout cela de manière autonome. Les auteurs suggèrent que c'est possible, mais il y a un bémol. L'IA est excellente pour trouver des motifs, mais elle pourrait ne pas avoir de « goût ». Elle pourrait proposer une théorie qui correspond parfaitement aux données mais qui n'a aucun sens pour un physicien humain. Elle pourrait manquer la « beauté » ou la « simplicité » qui guide souvent les véritables découvertes. Ainsi, bien que l'IA puisse aider à vérifier un million de possibilités différentes, le détective humain doit encore décider lesquelles valent la peine d'être poursuivies.

L'essentiel

La leçon la plus importante de ce document n'est pas une nouvelle formule ou un nouvel outil. C'est une attitude. Les auteurs nous rappellent que « tous les modèles sont faux, mais certains sont utiles ». L'objectif n'est pas de construire un modèle parfait qui ne faillira jamais. L'objectif est de construire un modèle assez robuste pour survivre à des erreurs que nous n'avions pas anticipées. Il s'agit d'être humble. Il s'agit d'admettre : « Je pourrais avoir tort », et de concevoir des expériences capables de gérer cette erreur sans ruiner toute l'enquête.

Dans un monde de calculateurs géants et d'algorithmes super intelligents, le document soutient que l'outil le plus puissant que nous possédons est toujours la volonté humaine de douter de son propre travail. Nous devons continuer à nous demander : « Et si je passais à côté de quelque chose ? » et « Et si le modèle me mentait ? ». Car en fin de compte, les plus grandes découvertes proviennent souvent des moments où nos cartes nous font défaut, et que nous devons en dessiner une nouvelle.