Adapting Vision-Language Models for Neutrino Event Classification in High-Energy Physics

Este artigo demonstra que Modelos Visão-Linguagem ajustados finamente, especificamente uma variante do LLaMA 3.2, superam as redes neurais convolucionais tradicionais e os transformadores apenas visuais na classificação de interações de neutrinos em física de altas energias, alcançando precisão, robustez e interpretabilidade superiores por meio de raciocínio multimodal.

O essencial

Imagine que você é um detetive tentando resolver um mistério dentro de uma câmera gigante e de alta tecnologia. Esta câmera não tira fotos de pessoas ou paisagens; ela tira fotos de partículas invisíveis ziguezagueando por um tanque de argônio líquido. Quando essas partículas colidem com os átomos no tanque, deixam para trás trilhas tênues e pixeladas — como pegadas na neve.

O objetivo desta pesquisa é ensinar um computador a olhar para essas "pegadas na neve" e dizer instantaneamente: "Ah, isso é um múon (uma partícula pesada com rastro longo)" ou "Isso é um elétron (uma nuvem difusa e espalhada)" ou "Isso é apenas ruído de fundo".

Aqui está como o artigo desdobra a solução, usando analogias simples:

1. O Jeito Antigo: O Artesão Especializado (CNN)

Por anos, os físicos usaram um tipo específico de IA chamado Rede Neural Convolucional (CNN). Pense nisso como um mestre artesão que passou décadas aprendendo a reconhecer padrões específicos. Eles são muito rápidos e eficientes, mas só sabem o que foram explicitamente ensinados. Se você mostrar a eles uma foto levemente desfocada ou um ângulo estranho, eles podem ficar confusos. Eles são ótimos no trabalho, mas não conseguem explicar por que tomaram uma decisão; apenas dão uma resposta de "Sim" ou "Não".

2. O Novo Concorrente: O Erudito Apenas Visual (ViT)

Então surgiram os Transformers Visuais (ViT). Imagine um erudito que olha para a imagem inteira de uma vez, em vez de escaneá-la peça por peça. Este erudito é melhor em conectar pontos distantes (como uma trilha longa e sinuosa através de toda a imagem). O artigo descobriu que este erudito é mais robusto que o artesão. Mesmo que a foto esteja desfocada ou de baixa resolução, o erudito ainda consegue entender o que está acontecendo.

3. A Estrela do Show: O Modelo Visão-Linguagem (VLM)

Finalmente, os pesquisadores tentaram algo novo: um Modelo Visão-Linguagem (VLM), especificamente uma versão do LLaMA 3.2.
Pense neste modelo não apenas como um detetive, mas como um detetive que também é um professor de física.

• Ele vê a imagem: Ele olha para as pegadas pixeladas assim como os outros modelos.
• Ele fala a linguagem: Ele foi treinado em quantidades massivas de texto e imagens. Ele entende conceitos como "trilha de múon", "chuveiro de elétrons" e "corrente neutra".

O Truque de Mágica:
Quando você pede ao VLM para classificar uma partícula, ele não apenas cospe um rótulo. Ele escreve um pequeno ensaio explicando seu raciocínio.

• Exemplo: "Vejo uma linha longa e estreita na imagem. Com base no meu treinamento, linhas longas geralmente significam um múon. Portanto, este é um evento de Múon."

O Que Eles Descobriram?

Os pesquisadores testaram esses três "detetives" em um conjunto massivo de dados de colisões de partículas simuladas. Aqui está o veredito:

• Precisão: O VLM (o Professor) e o ViT (o Erudito) foram os vencedores. Eles foram ligeiramente mais precisos e muito melhores em lidar com imagens desfocadas ou de baixa qualidade do que a CNN (o Artesão).
• O Teste "Cego": Quando os pesquisadores tentaram usar o VLM sem ensinar-lhe as regras específicas do jogo (apenas mostrando alguns exemplos), ele falhou miseravelmente. Ele chutou a mesma resposta para tudo. Isso lhes ensinou que você deve ajustar finamente (treinar) esses grandes modelos especificamente para a física; você não pode apenas pedir para eles "chutarem" com base no conhecimento geral.
• O Trade-off: O VLM é o mais inteligente e explicável, mas também é o mais lento e mais caro de executar. Ele requer muita memória de computador e leva segundos para analisar um evento, enquanto a CNN faz isso em milissegundos.
  • Analogia: A CNN é um velocista que termina a corrida num piscar de olhos, mas não consegue contar a estratégia. O VLM é um maratonista que leva mais tempo, mas pode escrever um livro detalhado sobre a estratégia da corrida depois.

Por Que Isso Importa?

O artigo conclui que não precisamos escolher apenas um. Podemos usá-los para trabalhos diferentes:

• Use a CNN quando precisar de velocidade, como filtrar dados em tempo real à medida que chegam do detector.
• Use o VLM para análise profunda e offline. Quando um físico encontra um evento estranho e quer saber por que o computador o sinalizou, o VLM pode fornecer uma explicação legível por humanos que conecta os pixels aos conceitos de física.

Em resumo: Este artigo prova que podemos ensinar modelos gigantes de IA, versados em texto, a "ver" a física de partículas. Embora sejam mais lentos que as ferramentas tradicionais, eles oferecem uma nova capacidade poderosa: não apenas podem classificar eventos, mas também explicar seu raciocínio em inglês simples, fechando a lacuna entre dados complexos e a compreensão humana.

Resumo técnico

Resumo Técnico: Adaptação de Modelos Visão-Linguagem para Classificação de Eventos de Neutrinos em Física de Altas Energias

Declaração do Problema
Na física de altas energias (HEP), especificamente dentro de experimentos de neutrinos como o Deep Underground Neutrino Experiment (DUNE), a classificação de eventos é crítica para distinguir interações de sinal (eventos de corrente carregada de neutrinos de elétron e múon) do fundo (interações de corrente neutra). Tradicionalmente, essa tarefa depende da reconstrução de objetos de alto nível e da engenharia de características específicas (por exemplo, energia, configuração espacial) para alimentar algoritmos que variam de árvores de decisão a redes neurais rasas. Embora eficaz, essa abordagem é limitada por erros de reconstrução e pelas restrições de características pré-definidas. Além disso, modelos de aprendizado profundo, particularmente Redes Neurais Convolucionais (CNNs), frequentemente operam como "caixas pretas", carecendo de interpretabilidade sobre por que uma previsão específica foi feita. Embora os Vision Transformers (ViTs) tenham melhorado o desempenho ao capturar dependências espaciais de longo alcance, eles ainda carecem da capacidade de fornecer raciocínio em linguagem natural ou integrar contexto semântico.

Metodologia
Os autores propõem adaptar um Modelo Visão-Linguagem (VLM), especificamente uma variante ajustada finamente do LLaMA 3.2 Vision (11B parâmetros), para classificar interações de neutrinos diretamente a partir de mapas de pixels brutos do detector.

• Conjunto de Dados: O estudo utiliza uma simulação personalizada de uma Câmara de Projeção Temporal de Argônio Líquido (LArTPC) com resolução de pixel de 5 mm. O conjunto de dados compreende 190.000 eventos simulados ($\nu_e$ CC, $\nu_\mu$ CC e Corrente Neutra) gerados usando GENIE e GEANT4. Os dados são representados como pares de imagens em tons de cinza 2D (projeções XZ e YZ) recortadas para 512 $\times$ 512 pixels.
• Arquitetura do Modelo e Treinamento:
  • VLM (LLaMA 3.2 Vision): O modelo integra um codificador de visão ViT-h/14 de alta resolução com um decodificador de linguagem baseado em transformer. Para adaptar esse modelo de 11B parâmetros à tarefa específica de física sem custos computacionais proibitivos, os autores empregam QLoRA (Adaptação de Baixo Rank Quantizada). Este método de ajuste fino eficiente em parâmetros (PEFT) quantiza os pesos base para precisão de 4 bits e treina apenas matrizes adaptadoras de baixo rank (29,5M de parâmetros treináveis) sobre um único epoch. O pipeline de treinamento usa um prompt de sistema informado por física descrevendo a geometria do detector e as características de interação, seguido por um prompt de usuário solicitando classificação.
  • Baselines: O VLM é comparado a duas arquiteturas estabelecidas:
    1. Um ViT-h/14 (632M parâmetros), representando a espinha dorsal de visão do VLM, treinado via ajuste fino completo por 10 epochs.
    2. Uma CNN Siamesa SE-ResNet (21,7M parâmetros), representando a abordagem convolucional de última geração usada em principais experimentos de neutrinos, treinada via ajuste fino completo por 300 epochs.
• Inferência e Explicabilidade: O VLM gera previsões de forma autoregressiva. Para garantir saídas legíveis por máquina, os autores aplicam restrições frasais durante a decodificação, forçando o modelo a emitir um prefixo fixo seguido pelo rótulo da classe. Crucialmente, o modelo é capaz de gerar explicações em linguagem natural que justificam sua classificação com base em características visuais (por exemplo, "trilha de múon mais longa e estreita" vs. "chuveiro de elétron difuso").

Principais Resultados

• Desempenho de Classificação: O LLaMA 3.2 Vision ajustado finamente alcançou a maior acurácia, precisão e recall (0,87 cada) com uma AUC-ROC de 0,96. Esse desempenho foi comparável ao ViT-h/14 ajustado finamente (0,86 de acurácia, 0,96 AUC) e significativamente superior à baseline CNN (0,80 de acurácia, 0,94 AUC).
• Eficiência de Parâmetros: O VLM alcançou esses resultados atualizando apenas 29,5M de parâmetros (via QLoRA) em um único epoch, enquanto o ViT exigiu 632M de parâmetros ao longo de 10 epochs, e a CNN exigiu 21,7M de parâmetros ao longo de 300 epochs.
• Robustez (Generalização): Sob uma mudança de distribuição envolvendo a redução da resolução das imagens de entrada para 256 $\times$ 256 pixels (simulando resolução degradada do detector), os modelos baseados em transformer (VLM e ViT) mantiveram alto desempenho (0,85 de acurácia). Em contraste, a baseline CNN sofreu uma degradação severa, caindo para 0,43–0,49 de acurácia.
• Explicabilidade: Diferentemente da CNN e do ViT, que fornecem apenas probabilidades numéricas, o VLM gerou explicações legíveis por humanos fundamentadas na topologia do evento. Um estudo de ablação mostrou que, mesmo sem definições explícitas de física no prompt de sistema, o modelo manteve alta acurácia (0,86) e gerou explicações plausíveis relacionadas à física, sugerindo que internalizou características relevantes para a tarefa durante o ajuste fino.
• Limitações Few-Shot: Uma avaliação few-shot em contexto usando o modelo pré-treinado congelado (sem ajuste fino) falhou em distinguir entre classes (acurácia ~0,37), demonstrando que a adaptação de parâmetros é necessária para este domínio específico.

Significado e Alegações
O artigo alega que Modelos Visão-Linguagem representam uma nova direção promissora para a classificação de eventos em HEP, oferecendo uma combinação única de desempenho preditivo forte, robustez a variações de detector e interpretabilidade aprimorada.

Os autores destacam que, embora os VLMs incorram em custos computacionais mais altos (12,9 GB de memória vs. 2,4 GB para CNN; ~3,4s de inferência vs. ~24ms), sua capacidade de fornecer justificativas textuais fundamentadas em física oferece uma vantagem distinta para análise offline, diagnóstico de erros e construção de confiança em fluxos de trabalho científicos impulsionados por aprendizado de máquina. Os resultados sugerem que arquiteturas baseadas em transformer, particularmente quando adaptadas via métodos eficientes em parâmetros, podem servir como espinhas dorsais de propósito geral para classificação de eventos físicos. O estudo postula que essa abordagem pode abrir caminho para "modelos fundamentais de HEP" reutilizáveis que generalizam entre diferentes experimentos com ajuste fino mínimo adicional, preenchendo a lacuna entre a acurácia bruta e a necessidade de previsões transparentes e baseadas em raciocínio na física experimental.