Adapting Vision-Language Models for Neutrino Event Classification in High-Energy Physics

本論文は、高エネルギー物理学におけるニュートリノ相互作用の分類において、マルチモーダル推論を通じて優れた精度、頑健性、解釈可能性を達成するよう微調整されたビジョン・ランゲージモデル、特に LLaMA 3.2 の変種が、従来の畳み込みニューラルネットワークやビジョン専用トランスフォーマーを上回ることを実証している。

要約

巨大でハイテクなカメラの中に潜む謎を解く探偵になったと想像してください。このカメラは人や風景を写すのではなく、液体アルゴンのタンク中を飛び交う目に見えない粒子の写真を撮影します。これらの粒子がタンク内の原子に衝突すると、雪に付いた足跡のように、かすかでピクセル化された痕跡を残します。

この研究の目的は、コンピュータにこれらの「雪の足跡」を見て、瞬時に「ああ、これはミューオン（重く、長い軌跡を残す粒子）だ」「これは電子（ぼんやりと広がる雲のようなもの）だ」「あるいは単なる背景ノイズだ」と判断させることです。

以下では、この論文が用いた単純な比喩を用いて、解決策を解説します。

1. 従来の方法：専門職職人（CNN）

長年、物理学者は**畳み込みニューラルネットワーク（CNN）**と呼ばれる特定の種類の AI を使用してきました。これは、数十年かけて特定のパターンを認識することを学んだ熟練の職人のようなものです。彼らは非常に高速で効率的ですが、明示的に教えられたことしか知りません。少しぼやけた写真や奇妙な角度の画像を見せると、混乱するかもしれません。彼らはその仕事には優れていますが、なぜその判断を下したのかを説明することはできません。「はい」か「いいえ」の答えだけを返すだけです。

2. 新たな挑戦者：視覚専門の学者（ViT）

次に登場したのは**ビジョン・トランスフォーマー（ViT）**です。これは画像を一片ずつスキャンするのではなく、全体を一度に見る学者のような存在です。この学者は、画像全体にわたる長く曲がりくねった軌跡のように、遠く離れた点同士をつなぐのが得意です。論文によると、この学者は職人よりも頑健です。写真がぼやけていたり解像度が低かったりしても、学者は依然として何が起きているかを理解できます。

3. 主役：視覚言語モデル（VLM）

最後に、研究者たちは新しい試みを行いました。LLaMA 3.2のバージョンである**視覚言語モデル（VLM）**です。
このモデルを単なる探偵ではなく、探偵でありながら物理学の教授でもある存在と想像してください。

• 画像を見る： 他のモデルと同じように、ピクセル化された足跡を見ます。
• 言語を話す： 膨大な量のテキストと画像で訓練されています。「ミューオンの軌跡」「電子シャワー」「中性カレント」といった概念を理解しています。

マジックのトリック：
VLM に粒子を分類するよう求めると、単にラベルを吐き出すわけではありません。その推論を説明する短い論文を書きます。

• 例： 「画像の中に長く細い線が見えます。私の訓練に基づけば、長い線は通常ミューオンを意味します。したがって、これはミューオン事象です。」

彼らは何を見つけましたか？

研究者たちは、シミュレーションされた粒子衝突の巨大なデータセットで、これら 3 人の「探偵」をテストしました。その結論は以下の通りです。

• 精度： **VLM（教授）とViT（学者）が勝利しました。彼らはCNN（職人）**よりもわずかに精度が高く、ぼやけた画像や低品質な画像の処理において格段に優れていました。
• 「盲目」テスト： 研究者たちは、VLM にゲームの特定のルールを教えず（数例を見せるだけ）、使用しようと試みました。すると、VLM は惨敗しました。すべてに対して同じ答えを推測したのです。これは、これらの大規模モデルを物理学に特化して微調整（訓練）する必要があることを教えました。一般的な知識に基づいて「推測」させるだけでは通用しません。
• トレードオフ： VLM は最も賢く、説明可能ですが、実行には最も時間がかかり、最も高価です。大量のコンピュータメモリを必要とし、1 つの事象を分析するのに数秒を要するのに対し、CNN はミリ秒単位で完了します。
  • 比喩： CNN はレースを瞬く間に駆け抜けるスプリンターですが、戦略を語ることはできません。一方、VLM はマラソンランナーで、時間はかかりますが、レース後の戦略について詳細な本を書くことができます。

なぜこれが重要なのでしょうか？

論文は結論として、私たちはただ一つを選ぶ必要はないと述べています。異なる仕事に使い分けることができるのです。

• CNN を使う： データが検出器からリアルタイムで流入する際のフィルタリングなど、速度が必要な場合。
• VLM を使う： 深いオフライン分析の場合。物理学者が奇妙な事象を見つけ、コンピュータがなぜそれを検知したのかを知りたいとき、VLM はピクセルと物理学の概念を結びつけた、人間が読める説明を提供できます。

要約すると： この論文は、巨大でテキストに精通した AI モデルに素粒子物理学を「見る」ことを教えることができることを証明しています。従来のツールよりも遅いものの、これらは強力な新たな能力を提供します。すなわち、事象を分類するだけでなく、複雑なデータと人間の理解の間の溝を埋めるために、その推論を平易な英語で説明することができるのです。

技術概要

技術概要：高エネルギー物理学におけるニュートリノ事象分類へのビジョン・言語モデルの適応

問題定義
高エネルギー物理学（HEP）、特に深層地下ニュートリノ実験（DUNE）のようなニュートリノ実験において、事象分類は、信号相互作用（電子ニュートリノおよびミューオンニュートリノの荷電流事象）を背景（中性流相互作用）から区別する上で極めて重要である。従来、このタスクは、決定木から浅いニューラルネットワークに至るまでのアルゴリズムに入力するための高レベルな物体の再構築と、エネルギーや空間配置などの特定の特性（特徴量）の設計に依存していた。このアプローチは効果的ではあるが、再構築誤差と事前定義された特徴量の制約によって制限されている。さらに、畳み込みニューラルネットワーク（CNN）などの深層学習モデルは、特定の予測がなぜ行われたかに関する解釈可能性を欠く「ブラックボックス」として機能することが多い。ビジョン・トランスフォーマー（ViT）は長距離の空間的依存関係を捉えることで性能を向上させたが、自然言語による推論の提供や意味的コンテキストの統合という能力は依然として欠いている。

手法
著者らは、生検出器ピクセルマップから直接ニュートリノ相互作用を分類するために、ビジョン・言語モデル（VLM）、具体的にはLLaMA 3.2 Vision（110 億パラメータ）の微調整版を適応させることを提案する。

• データセット: 本研究では、5 mm ピクセル解像度を持つ液体アルゴン時間投影室（LArTPC）の独自シミュレーションを利用する。データセットは、GENIE および GEANT4 を用いて生成された 19 万個のシミュレーション事象（$\nu_e$ CC、$\nu_\mu$ CC、および中性流）で構成される。データは、512 $\times$ 512 ピクセルに切り抜かれた 2 次元グレースケール画像（XZ 投影および YZ 投影）のペアとして表現される。
• モデルアーキテクチャとトレーニング:
  • VLM（LLaMA 3.2 Vision）: このモデルは、高解像度の ViT-h/14 ビジョンエンコーダーとトランスフォーマーベースの言語デコーダーを統合している。この 110 億パラメータのモデルを、過剰な計算コストなしに特定の物理タスクに適応させるため、著者らは**QLoRA（量子化低ランク適応）**を採用する。このパラメータ効率型微調整（PEFT）手法は、ベース重みを 4 ビット精度に量子化し、単一のエポックで低ランクアダプター行列（学習可能パラメータ 2950 万）のみをトレーニングする。トレーニングパイプラインは、検出器幾何学と相互作用特性を記述する物理情報に基づくシステムプロンプトに続き、分類を要求するユーザープロンプトを使用する。
  • ベースライン: VLM は、2 つの確立されたアーキテクチャと比較評価される。
    1. ViT-h/14（6.32 億パラメータ）: VLM のビジョンバックボーンを表し、10 エポックのフル微調整によりトレーニングされる。
    2. Siamese SE-ResNet CNN（2170 万パラメータ）: 主要なニュートリノ実験で使用されている最先端の畳み込みアプローチを表し、300 エポックのフル微調整によりトレーニングされる。
• 推論と説明可能性: VLM は自己回帰的に予測を生成する。機械可読な出力を確保するため、著者らはデコーディング中にフレーズ制約を適用し、モデルが固定された接頭辞に続いてクラスラベルを出力することを強制する。重要なのは、モデルが視覚的特徴に基づいて分類を正当化する自然言語の説明を生成できる点である（例：「長く細いミューオントラック」対「ぼやけた電子シャワー」）。

主要な結果

• 分類性能: 微調整された LLaMA 3.2 Vision は、最高精度、適合率、再現率（いずれも 0.87）を達成し、AUC-ROC は 0.96 となった。この性能は、フル微調整された ViT-h/14（精度 0.86、AUC 0.96）と同等であり、CNN ベースライン（精度 0.80、AUC 0.94）よりも著しく優れていた。
• パラメータ効率: VLM は、QLoRA を通じて 2950 万パラメータのみを更新し、単一のエポックでこれらの結果を達成した。一方、ViT は 6.32 億パラメータを 10 エポックで更新する必要があり、CNN は 2170 万パラメータを 300 エポックで更新する必要があった。
• ロバスト性（一般化）: 入力画像を 256 $\times$ 256 ピクセルにダウンサンプリングする分布シフト（劣化した検出器解像度をシミュレート）の下では、トランスフォーマーベースのモデル（VLM および ViT）は高い性能（精度 0.85）を維持した。対照的に、CNN ベースラインは深刻な劣化を被り、精度が 0.43〜0.49 に低下した。
• 説明可能性: 数値確率のみを提供する CNN や ViT と異なり、VLM は事象トポロジーに基づいた人間が読める説明を生成した。アブレーション研究により、システムプロンプトに明示的な物理定義が含まれていなくても、モデルは高い精度（0.86）を維持し、妥当な物理関連の説明を生成することが示された。これは、微調整中にタスクに関連する特徴を内部化していることを示唆している。
• Few-Shot の限界: 微調整を行わない凍結済み事前学習モデルを用いた Few-shot コンテキスト評価では、クラス間の区別ができず（精度約 0.37）、この特定のドメインにはパラメータ適応が必要であることが示された。

意義と主張
本論文は、ビジョン・言語モデルが、強力な予測性能、検出器変動に対するロバスト性、および強化された解釈可能性という独自の組み合わせを提供し、HEP 事象分類のための有望な新たな方向性を表すと主張している。

著者らは、VLM がより高い計算コスト（メモリ 12.9 GB 対 CNN の 2.4 GB；推論時間約 3.4 秒対約 24 ミリ秒）を伴う一方で、物理に基づいたテキストによる正当化を提供する能力は、オフライン分析、エラー診断、および機械学習駆動の科学的ワークフローへの信頼構築において明確な利点をもたらすと強調している。結果は、特にパラメータ効率型手法を介して適応されたトランスフォーマーベースのアーキテクチャが、物理事象分類のための汎用バックボーンとして機能し得ることを示唆している。本研究は、このアプローチが、最小限のさらなる微調整で異なる実験間で一般化可能な再利用可能な「HEP ファウンデーションモデル」への道を開き、実験物理学における生精度と透明性のある推論に基づく予測の必要性との間のギャップを埋める可能性があると提唱している。