Adapting Vision-Language Models for Neutrino Event Classification in High-Energy Physics

Ce papier démontre que les modèles vision-langage affinés, spécifiquement une variante de LLaMA 3.2, surpassent les réseaux de neurones convolutifs traditionnels et les transformers dédiés uniquement à la vision dans la classification des interactions de neutrinos en physique des hautes énergies en atteignant une précision, une robustesse et une interprétabilité supérieures grâce au raisonnement multimodal.

L'essentiel

Imaginez que vous êtes un détective tentant de résoudre un mystère à l'intérieur d'un appareil photo géant et haute technologie. Cet appareil ne prend pas de photos de personnes ou de paysages ; il capture des images de particules invisibles filant à travers un réservoir d'argon liquide. Lorsque ces particules percutent les atomes du réservoir, elles laissent derrière elles de faibles traces pixelisées — comme des empreintes dans la neige.

L'objectif de cette recherche est d'enseigner à un ordinateur d'examiner ces « empreintes dans la neige » et de dire instantanément : « Ah, ceci est un muon (une particule lourde laissant une longue traînée) » ou « Ceci est un électron (un nuage flou et diffus) » ou « Ceci n'est que du bruit de fond ».

Voici comment l'article décompose la solution, en utilisant des analogies simples :

1. L'Ancienne Méthode : L'Artisan Spécialisé (CNN)

Pendant des années, les physiciens ont utilisé un type spécifique d'intelligence artificielle appelé Réseau de Neurones Convolutif (CNN). Imaginez cela comme un maître artisan ayant passé des décennies à apprendre à reconnaître des motifs spécifiques. Ils sont très rapides et efficaces, mais ils ne connaissent que ce qui leur a été explicitement enseigné. Si vous leur montrez une photo légèrement floue ou sous un angle étrange, ils pourraient se perdre. Ils sont excellents dans leur tâche, mais ils ne peuvent pas expliquer pourquoi ils ont pris une décision ; ils vous donnent simplement une réponse « Oui » ou « Non ».

2. Le Nouveau Contendant : Le Savant Visuel (ViT)

Puis sont arrivés les Transformers Visuels (ViT). Imaginez un savant qui observe l'ensemble de l'image d'un coup d'œil, plutôt que de la scanner pièce par pièce. Ce savant est meilleur pour relier des points distants (comme une piste longue et sinueuse traversant toute l'image). L'article a révélé que ce savant est plus robuste que l'artisan. Même si la photo est floue ou de faible résolution, le savant peut toujours comprendre ce qui se passe.

3. La Star du Spectacle : Le Modèle Vision-Langage (VLM)

Enfin, les chercheurs ont tenté quelque chose de nouveau : un Modèle Vision-Langage (VLM), spécifiquement une version de LLaMA 3.2.
Imaginez ce modèle non pas seulement comme un détective, mais comme un détective qui est aussi un professeur de physique.

• Il voit l'image : Il examine les empreintes pixelisées tout comme les autres modèles.
• Il parle le langage : Il a été entraîné sur d'énormes quantités de textes et d'images. Il comprend des concepts tels que « trajectoire de muon », « gerbe d'électrons » et « courant neutre ».

Le Tour de Magie :
Lorsque vous demandez au VLM de classifier une particule, il ne se contente pas de cracher une étiquette. Il rédige un court essai expliquant son raisonnement.

• Exemple : « Je vois une ligne longue et étroite dans l'image. Selon ma formation, les lignes longues signifient généralement un muon. Par conséquent, il s'agit d'un événement Muon. »

Que Ont-ils Découvert ?

Les chercheurs ont testé ces trois « détectives » sur un vaste ensemble de données de collisions de particules simulées. Voici le verdict :

• Précision : Le VLM (le Professeur) et le ViT (le Savant) ont été les gagnants. Ils étaient légèrement plus précis et beaucoup meilleurs pour gérer les images floues ou de mauvaise qualité que le CNN (l'Artisan).
• Le Test « Aveugle » : Lorsque les chercheurs ont essayé d'utiliser le VLM sans lui apprendre les règles spécifiques du jeu (en lui montrant simplement quelques exemples), il a échoué lamentablement. Il a deviné la même réponse pour tout. Cela leur a appris que vous devez affiner (entraîner) spécifiquement ces grands modèles pour la physique ; vous ne pouvez pas simplement leur demander de « deviner » en se basant sur des connaissances générales.
• Le Compromis : Le VLM est le plus intelligent et le plus explicable, mais il est aussi le plus lent et le plus coûteux à exécuter. Il nécessite beaucoup de mémoire informatique et prend plusieurs secondes pour analyser un événement, alors que le CNN le fait en millisecondes.
  • Analogie : Le CNN est un sprinter qui termine la course en un éclair mais ne peut pas vous raconter la stratégie. Le VLM est un coureur de fond qui prend plus de temps mais peut écrire un livre détaillé sur la stratégie de la course après coup.

Pourquoi Cela Compte-t-il ?

L'article conclut que nous n'avons pas à choisir l'un ou l'autre. Nous pouvons les utiliser pour différentes tâches :

• Utilisez le CNN lorsque vous avez besoin de vitesse, comme pour filtrer les données en temps réel à mesure qu'elles arrivent du détecteur.
• Utilisez le VLM pour une analyse approfondie hors ligne. Lorsqu'un physicien découvre un événement étrange et veut savoir pourquoi l'ordinateur l'a signalé, le VLM peut fournir une explication lisible par un humain qui relie les pixels aux concepts physiques.

En bref : Cet article prouve que nous pouvons enseigner à de gigantesques modèles d'IA maîtrisant le texte de « voir » la physique des particules. Bien qu'ils soient plus lents que les outils traditionnels, ils offrent une nouvelle capacité puissante : ils peuvent non seulement classifier les événements, mais aussi expliquer leur raisonnement en anglais simple, comblant le fossé entre des données complexes et la compréhension humaine.

Résumé technique

Résumé technique : Adaptation de modèles vision-langage pour la classification d'événements de neutrinos en physique des hautes énergies

Énoncé du problème
En physique des hautes énergies (HEP), et plus spécifiquement dans les expériences de neutrinos comme l'expérience Deep Underground Neutrino Experiment (DUNE), la classification des événements est cruciale pour distinguer les interactions de signal (événements à courant chargé de neutrinos électroniques et muoniques) du bruit de fond (interactions à courant neutre). Traditionnellement, cette tâche repose sur la reconstruction d'objets de haut niveau et l'ingénierie de caractéristiques spécifiques (par exemple, énergie, configuration spatiale) pour les alimenter dans des algorithmes allant des arbres de décision aux réseaux de neurones peu profonds. Bien que efficace, cette approche est limitée par les erreurs de reconstruction et les contraintes des caractéristiques prédéfinies. De plus, les modèles d'apprentissage profond, en particulier les réseaux de neurones convolutifs (CNN), fonctionnent souvent comme des « boîtes noires », manquant d'interprétabilité concernant pourquoi une prédiction spécifique a été faite. Bien que les Vision Transformers (ViT) aient amélioré les performances en capturant les dépendances spatiales à longue portée, ils manquent toujours de la capacité à fournir un raisonnement en langage naturel ou à intégrer un contexte sémantique.

Méthodologie
Les auteurs proposent d'adapter un modèle vision-langage (VLM), spécifiquement une variante fine-tunée de LLaMA 3.2 Vision (11 milliards de paramètres), pour classifier les interactions de neutrinos directement à partir de cartes de pixels brutes du détecteur.

• Jeu de données : L'étude utilise une simulation personnalisée d'une chambre à projection temporelle à argon liquide (LArTPC) avec une résolution de pixel de 5 mm. Le jeu de données comprend 190 000 événements simulés ($\nu_e$ CC, $\nu_\mu$ CC et Courant Neutre) générés à l'aide de GENIE et GEANT4. Les données sont représentées sous forme de paires d'images en niveaux de gris 2D (projections XZ et YZ) recadrées à 512 $\times$ 512 pixels.
• Architecture du modèle et entraînement :
  • VLM (LLaMA 3.2 Vision) : Le modèle intègre un encodeur de vision ViT-h/14 haute résolution avec un décodeur de langage basé sur un transformateur. Pour adapter ce modèle de 11 milliards de paramètres à la tâche de physique spécifique sans coûts de calcul prohibitifs, les auteurs emploient QLoRA (Quantized Low-Rank Adaptation). Cette méthode de fine-tuning efficace en paramètres (PEFT) quantifie les poids de base à une précision de 4 bits et entraîne uniquement des matrices d'adaptateur de faible rang (29,5 millions de paramètres entraînables) sur une seule époque. Le pipeline d'entraînement utilise un prompt système informé par la physique décrivant la géométrie du détecteur et les caractéristiques des interactions, suivi d'un prompt utilisateur demandant une classification.
  • Lignes de base : Le VLM est mis en comparaison avec deux architectures établies :
    1. Un ViT-h/14 (632 millions de paramètres), représentant l'épine dorsale de vision du VLM, entraîné par un fine-tuning complet sur 10 époques.
    2. Un CNN Siamese SE-ResNet (21,7 millions de paramètres), représentant l'approche convolutive de pointe utilisée dans les principales expériences de neutrinos, entraîné par un fine-tuning complet sur 300 époques.
• Inférence et interprétabilité : Le VLM génère des prédictions de manière autoregressive. Pour garantir des outputs lisibles par machine, les auteurs appliquent des contraintes phrastiques lors du décodage, forçant le modèle à sortir un préfixe fixe suivi de l'étiquette de classe. Crucialement, le modèle est capable de générer des explications en langage naturel justifiant sa classification en fonction de caractéristiques visuelles (par exemple, « trace de muon plus longue et plus étroite » par rapport à « gerbe d'électrons floue »).

Résultats clés

• Performance de classification : Le LLaMA 3.2 Vision fine-tuné a atteint la précision, la précision et le rappel les plus élevés (0,87 chacun) avec un AUC-ROC de 0,96. Cette performance était comparable à celle du ViT-h/14 entièrement fine-tuné (0,86 de précision, 0,96 AUC) et nettement supérieure à la ligne de base CNN (0,80 de précision, 0,94 AUC).
• Efficacité des paramètres : Le VLM a atteint ces résultats en ne mettant à jour que 29,5 millions de paramètres (via QLoRA) en une seule époque, tandis que le ViT nécessitait 632 millions de paramètres sur 10 époques, et le CNN 21,7 millions de paramètres sur 300 époques.
• Robustesse (Généralisation) : Sous un décalage de distribution impliquant un sous-échantillonnage des images d'entrée vers 256 $\times$ 256 pixels (simulant une résolution de détecteur dégradée), les modèles basés sur des transformateurs (VLM et ViT) ont maintenu de hautes performances (0,85 de précision). En revanche, la ligne de base CNN a subi une dégradation sévère, chutant à une précision de 0,43–0,49.
• Interprétabilité : Contrairement au CNN et au ViT, qui ne fournissent que des probabilités numériques, le VLM a généré des explications lisibles par l'humain ancrées dans la topologie de l'événement. Une étude d'ablation a montré que même sans définitions physiques explicites dans le prompt système, le modèle a maintenu une haute précision (0,86) et a généré des explications plausibles liées à la physique, suggérant qu'il a internalisé des caractéristiques pertinentes pour la tâche lors du fine-tuning.
• Limites du few-shot : Une évaluation few-shot en contexte utilisant le modèle pré-entraîné figé (sans fine-tuning) a échoué à distinguer les classes (précision ~0,37), démontrant que l'adaptation des paramètres est nécessaire pour ce domaine spécifique.

Signification et revendications
L'article affirme que les modèles vision-langage représentent une nouvelle direction prometteuse pour la classification d'événements en HEP, offrant une combinaison unique de performances prédictives solides, de robustesse aux variations de détecteurs et d'interprétabilité améliorée.

Les auteurs soulignent que, bien que les VLM entraînent des coûts de calcul plus élevés (12,9 Go de mémoire contre 2,4 Go pour le CNN ; ~3,4 s d'inférence contre ~24 ms), leur capacité à fournir des justifications textuelles ancrées dans la physique offre un avantage distinct pour l'analyse hors ligne, le diagnostic d'erreurs et la construction de la confiance dans les flux de travail scientifiques pilotés par l'apprentissage automatique. Les résultats suggèrent que les architectures basées sur des transformateurs, en particulier lorsqu'elles sont adaptées via des méthodes efficaces en paramètres, peuvent servir d'épine dorsale polyvalente pour la classification d'événements en physique. L'étude postule que cette approche pourrait ouvrir la voie à des « modèles de fondation HEP » réutilisables qui se généralisent à travers différentes expériences avec un fine-tuning supplémentaire minimal, comblant le fossé entre la précision brute et le besoin de prédictions transparentes et basées sur le raisonnement en physique expérimentale.