Adapting Vision-Language Models for Neutrino Event Classification in High-Energy Physics

Este trabajo demuestra que los modelos de visión y lenguaje ajustados, específicamente una variante de LLaMA 3.2, superan a las redes neuronales convolucionales tradicionales y a los transformadores de solo visión en la clasificación de interacciones de neutrinos en física de altas energías al lograr una precisión, robustez e interpretabilidad superiores mediante el razonamiento multimodal.

Lo esencial

Imagina que eres un detective tratando de resolver un misterio dentro de una cámara gigante y de alta tecnología. Esta cámara no toma fotografías de personas o paisajes; toma imágenes de partículas invisibles que zumban a través de un tanque de argón líquido. Cuando estas partículas chocan contra los átomos en el tanque, dejan atrás estelas tenues y pixeladas, como huellas en la nieve.

El objetivo de esta investigación es enseñar a una computadora a observar estas "huellas en la nieve" y decir instantáneamente: "Ah, esto es un muón (una partícula pesada con estela larga)" o "Esto es un electrón (una nube difusa y dispersa)" o "Esto es solo ruido de fondo".

Así es como el artículo desglosa la solución, utilizando analogías simples:

1. La Vieja Forma: El Artesano Especializado (CNN)

Durante años, los físicos utilizaron un tipo específico de inteligencia artificial llamado Red Neuronal Convolucional (CNN). Piensa en esto como un maestro artesano que ha pasado décadas aprendiendo a reconocer patrones específicos. Son muy rápidos y eficientes, pero solo saben lo que se les enseñó explícitamente. Si les muestras una foto ligeramente borrosa o un ángulo extraño, podrían confundirse. Son excelentes en su trabajo, pero no pueden explicar por qué tomaron una decisión; simplemente te dan una respuesta de "Sí" o "No".

2. El Nuevo Contendiente: El Académico Solo Visual (ViT)

Luego llegaron los Transformadores de Visión (ViT). Imagina a un académico que mira la imagen completa de una sola vez, en lugar de escanearla pieza por pieza. Este académico es mejor conectando puntos distantes (como una pista larga y sinuosa a través de toda la imagen). El artículo encontró que este académico es más robusto que el artesano. Incluso si la foto está borrosa o tiene baja resolución, el académico aún puede entender qué está sucediendo.

3. La Estrella del Espectáculo: El Modelo Visión-Lenguaje (VLM)

Finalmente, los investigadores probaron algo nuevo: un Modelo Visión-Lenguaje (VLM), específicamente una versión de LLaMA 3.2.
Piensa en este modelo no solo como un detective, sino como un detective que también es profesor de física.

• Ve la imagen: Observa las huellas pixeladas igual que los otros modelos.
• Habla el idioma: Ha sido entrenado con cantidades masivas de texto e imágenes. Entiende conceptos como "rastro de muón", "lluvia de electrones" y "corriente neutra".

El Truco Mágico:
Cuando le pides al VLM que clasifique una partícula, no solo escupe una etiqueta. Escribe un breve ensayo explicando su razonamiento.

• Ejemplo: "Veo una línea larga y estrecha en la imagen. Basado en mi entrenamiento, las líneas largas generalmente significan un muón. Por lo tanto, este es un evento de Muón".

¿Qué Descubrieron?

Los investigadores probaron a estos tres "detectives" en un conjunto masivo de datos de colisiones de partículas simuladas. Aquí está el veredicto:

• Precisión: El VLM (el Profesor) y el ViT (el Académico) fueron los ganadores. Fueron ligeramente más precisos y mucho mejores manejando imágenes borrosas o de baja calidad que la CNN (el Artesano).
• La Prueba "Ciega": Cuando los investigadores intentaron usar el VLM sin enseñarle las reglas específicas del juego (solo mostrándole unos pocos ejemplos), falló miserablemente. Adivinó la misma respuesta para todo. Esto les enseñó que debes ajustar finamente (entrenar) estos grandes modelos específicamente para la física; no puedes simplemente pedirles que "adivinen" basándose en el conocimiento general.
• La Compensación: El VLM es el más inteligente y explicable, pero también es el más lento y costoso de ejecutar. Requiere mucha memoria de computadora y tarda segundos en analizar un evento, mientras que la CNN lo hace en milisegundos.
  • Analogía: La CNN es un velocista que termina la carrera en un instante pero no puede decirte la estrategia. El VLM es un maratonista que tarda más pero puede escribir un libro detallado sobre la estrategia de la carrera después.

¿Por Qué Importa Esto?

El artículo concluye que no tenemos que elegir solo uno. Podemos usarlos para diferentes trabajos:

• Usa la CNN cuando necesites velocidad, como filtrar datos en tiempo real a medida que llegan del detector.
• Usa el VLM para un análisis profundo y fuera de línea. Cuando un físico encuentra un evento extraño y quiere saber por qué la computadora lo marcó, el VLM puede proporcionar una explicación legible por humanos que conecta los píxeles con conceptos físicos.

En resumen: Este artículo demuestra que podemos enseñar a modelos de IA gigantes y expertos en texto a "ver" la física de partículas. Aunque son más lentos que las herramientas tradicionales, ofrecen una nueva capacidad poderosa: no solo pueden clasificar eventos, sino también explicar su razonamiento en inglés sencillo, cerrando la brecha entre datos complejos y la comprensión humana.

Resumen técnico

Resumen Técnico: Adaptación de Modelos Visión-Lenguaje para la Clasificación de Eventos de Neutrinos en Física de Altas Energías

Enunciado del Problema
En la física de altas energías (HEP), específicamente dentro de experimentos de neutrinos como el Experimento de Neutrinos del Subsuelo Profundo (DUNE), la clasificación de eventos es crítica para distinguir las interacciones de señal (eventos de corriente cargada de neutrinos electrónicos y muónicos) del fondo (interacciones de corriente neutra). Tradicionalmente, esta tarea depende de la reconstrucción de objetos de alto nivel y del diseño de características específicas (por ejemplo, energía, configuración espacial) para alimentar algoritmos que van desde árboles de decisión hasta redes neuronales superficiales. Aunque efectiva, este enfoque está limitado por errores de reconstrucción y las restricciones de las características predefinidas. Además, los modelos de aprendizaje profundo, particularmente las Redes Neuronales Convolucionales (CNN), a menudo operan como "cajas negras", careciendo de interpretabilidad sobre por qué se tomó una predicción específica. Aunque los Transformadores Visuales (ViT) han mejorado el rendimiento al capturar dependencias espaciales de largo alcance, aún carecen de la capacidad de proporcionar razonamiento en lenguaje natural o integrar contexto semántico.

Metodología
Los autores proponen adaptar un Modelo Visión-Lenguaje (VLM), específicamente una variante ajustada finamente de LLaMA 3.2 Vision (11 mil millones de parámetros), para clasificar interacciones de neutrinos directamente a partir de mapas de píxeles crudos del detector.

• Conjunto de Datos: El estudio utiliza una simulación personalizada de una Cámara de Proyección de Tiempo de Argón Líquido (LArTPC) con una resolución de píxel de 5 mm. El conjunto de datos comprende 190.000 eventos simulados ($\nu_e$ CC, $\nu_\mu$ CC y Corriente Neutra) generados mediante GENIE y GEANT4. Los datos se representan como pares de imágenes en escala de grises 2D (proyecciones XZ e YZ) recortadas a 512 $\times$ 512 píxeles.
• Arquitectura del Modelo y Entrenamiento:
  • VLM (LLaMA 3.2 Vision): El modelo integra un codificador visual ViT-h/14 de alta resolución con un decodificador de lenguaje basado en transformadores. Para adaptar este modelo de 11 mil millones de parámetros a la tarea específica de física sin costos computacionales prohibitivos, los autores emplean QLoRA (Adaptación de Bajo Rango Cuantizada). Este método de ajuste fino eficiente en parámetros (PEFT) cuantiza los pesos base a precisión de 4 bits y entrena solo matrices adaptadoras de bajo rango (29,5 millones de parámetros entrenables) durante una sola época. La tubería de entrenamiento utiliza un prompt del sistema informado por la física que describe la geometría del detector y las características de interacción, seguido de un prompt de usuario que solicita la clasificación.
  • Líneas Base: El VLM se compara con dos arquitecturas establecidas:
    1. Un ViT-h/14 (632 millones de parámetros), que representa la columna vertebral visual del VLM, entrenado mediante ajuste fino completo durante 10 épocas.
    2. Una CNN Siamesa SE-ResNet (21,7 millones de parámetros), que representa el enfoque convolucional de última generación utilizado en experimentos importantes de neutrinos, entrenado mediante ajuste fino completo durante 300 épocas.
• Inferencia e Interpretabilidad: El VLM genera predicciones de manera autoregresiva. Para garantizar salidas legibles por máquina, los autores aplican restricciones fraseológicas durante la decodificación, obligando al modelo a emitir un prefijo fijo seguido de la etiqueta de clase. Crucialmente, el modelo es capaz de generar explicaciones en lenguaje natural que justifican su clasificación basándose en características visuales (por ejemplo, "rastro de muón más largo y estrecho" frente a "lluvia de electrones difusa").

Resultados Clave

• Rendimiento de Clasificación: El LLaMA 3.2 Vision ajustado finamente logró la mayor precisión, exactitud y exhaustividad (0,87 cada una) con un AUC-ROC de 0,96. Este rendimiento fue comparable al ViT-h/14 ajustado finamente (0,86 de precisión, 0,96 AUC) y significativamente superior a la línea base CNN (0,80 de precisión, 0,94 AUC).
• Eficiencia de Parámetros: El VLM logró estos resultados actualizando solo 29,5 millones de parámetros (mediante QLoRA) en una sola época, mientras que el ViT requirió 632 millones de parámetros durante 10 épocas, y la CNN requirió 21,7 millones de parámetros durante 300 épocas.
• Robustez (Generalización): Bajo un desplazamiento de distribución que implicaba la submuestreo de las imágenes de entrada a 256 $\times$ 256 píxeles (simulando una resolución de detector degradada), los modelos basados en transformadores (VLM y ViT) mantuvieron un alto rendimiento (0,85 de precisión). En contraste, la línea base CNN sufrió una degradación severa, cayendo a una precisión de 0,43–0,49.
• Interpretabilidad: A diferencia de la CNN y el ViT, que solo proporcionan probabilidades numéricas, el VLM generó explicaciones legibles por humanos fundamentadas en la topología del evento. Un estudio de ablación mostró que incluso sin definiciones explícitas de física en el prompt del sistema, el modelo mantuvo una alta precisión (0,86) y generó explicaciones plausibles relacionadas con la física, lo que sugiere que internalizó características relevantes para la tarea durante el ajuste fino.
• Limitaciones de Few-Shot: Una evaluación de contexto few-shot utilizando el modelo preentrenado congelado (sin ajuste fino) falló en distinguir entre clases (precisión ~0,37), demostrando que la adaptación de parámetros es necesaria para este dominio específico.

Significado y Afirmaciones
El artículo afirma que los Modelos Visión-Lenguaje representan una nueva dirección prometedora para la clasificación de eventos en HEP, ofreciendo una combinación única de alto rendimiento predictivo, robustez ante variaciones del detector y una interpretabilidad mejorada.

Los autores destacan que, aunque los VLMs incurren en costos computacionales más altos (12,9 GB de memoria frente a 2,4 GB para CNN; ~3,4 s de inferencia frente a ~24 ms), su capacidad para proporcionar justificaciones textuales fundamentadas en la física ofrece una ventaja distintiva para el análisis fuera de línea, el diagnóstico de errores y la construcción de confianza en flujos de trabajo científicos impulsados por aprendizaje automático. Los resultados sugieren que las arquitecturas basadas en transformadores, particularmente cuando se adaptan mediante métodos eficientes en parámetros, pueden servir como columnas vertebrales de propósito general para la clasificación de eventos físicos. El estudio postula que este enfoque podría allanar el camino para "modelos fundamentales de HEP" reutilizables que se generalicen a través de diferentes experimentos con un ajuste fino adicional mínimo, cerrando la brecha entre la precisión bruta y la necesidad de predicciones transparentes y basadas en el razonamiento en la física experimental.