Reducing Simulation Dependence in Neutrino Telescopes with Masked Point Transformers

Este artículo presenta el primer proceso de entrenamiento autosupervisado para telescopios de neutrinos utilizando transformadores de puntos enmascarados para aprovechar datos reales, reduciendo así significativamente la dependencia de las simulaciones y mitigando las incertidumbres sistemáticas asociadas.

Lo esencial

El gran problema: El "mundo perfecto" frente al "mundo real"

Imagina que estás enseñando a un estudiante a identificar diferentes tipos de aves. Tienes un libro de texto lleno de fotos perfectas y nítidas de aves (esto es la Simulación). También tienes un video desordenado del mundo real de un bosque donde las aves suelen estar ocultas por las hojas, la iluminación es mala y hay hojas moviéndose al azar por el viento (estos son los Datos Reales).

Tradicionalmente, los científicos entrenan sus modelos informáticos (los estudiantes) usando solo las fotos perfectas del libro de texto. El problema es que cuando el modelo sale al bosque real, se confunde. No sabe cómo lidiar con las hojas desordenadas o la iluminación extraña porque nunca las vio en el libro de texto. En el mundo de los telescopios de neutrinos (detectores gigantes enterrados en el hielo o en aguas profundas), estas "hojas desordenadas" son cosas como el ruido electrónico aleatorio o efectos ambientales inesperados que las simulaciones por computadora no predijeron.

La nueva solución: "Aprendizaje autosupervisado"

Los autores de este artículo proponen una nueva forma de entrenar estos modelos. En lugar de solo estudiar el libro de texto perfecto, dejan que el modelo practique con el video desordenado del bosque real sin que un profesor le diga qué ave es cada una.

Ellos llaman a esto Aprendizaje Autosupervisado (SSL, por sus siglas en inglés).

La analogía: El juego de la "pieza faltante"
Imagina que tienes un rompecabezas enorme de una escena de un bosque, pero alguien ha cubierto el 75% de las piezas con cinta negra (esto es el Enmascaramiento).

1. La tarea: El modelo informático tiene que mirar las piezas visibles y adivinar cómo son las piezas ocultas.
2. El aprendizaje: Para hacer esto, el modelo tiene que aprender la estructura del bosque. Aprende que "los árboles suelen tener hojas", "las aves vuelan siguiendo ciertos patrones" y "el viento mueve las hojas de una manera específica". Aprende estas reglas observando los datos reales desordenados por sí mismo, no leyendo un libro de texto.
3. El Resultado: Una vez que el modelo ha dominado la "estructura del bosque" jugando a este juego de adivinanzas, puedes mostrarle algunas imágenes etiquetadas del libro de texto para enseñarle nombres específicos de aves. Debido a que ya comprende el entorno desordenado, maneja el mundo real mucho mejor que un modelo que solo estudió el libro de texto.

La herramienta: "Neptune"

Para que esto funcione, los autores construyeron un tipo específico de cerebro informático llamado neptune (un "Transformador de Eventos de Neutrinos").

• Cómo funciona: Los telescopios de neutrinos detectan "impactos" (destellos de luz) de los sensores. Estos impactos están dispersos en el espacio y el tiempo en 3D, como una nube de puntos.
• La innovación: Neptune trata estos puntos dispersos como una "nube de puntos" (similar a cómo un escáner 3D ve una habitación). Utiliza un "Transformer" (un tipo de IA famosa por entender el lenguaje) para comprender las relaciones entre estos destellos de luz dispersos, incluso cuando algunos de ellos faltan o tienen ruido.

El experimento: Probando el "ruido"

Los investigadores probaron dos escenarios para ver si su nuevo método funcionaba mejor que el antiguo:

Escenario 1: La "sorpresa total" (Ruido no modelado)

• La configuración: Entrenaron el modelo antiguo con una simulación "limpia" (sin ruido). Lo probaron con datos "reales" que tenían mucho ruido aleatorio (como la estática en una radio).
• El resultado: El modelo antiguo colapsó. No pudo determinar la dirección de los neutrinos ni distinguir entre diferentes tipos de eventos. Fue como un estudiante que solo estudió en una biblioteca silenciosa fallando un examen en una zona de construcción ruidosa.
• El ganador: El nuevo modelo SSL (que practicó con los datos ruidosos primero) se mantuvo tranquilo y preciso. Sabía cómo era el "ruido" porque lo había visto durante su entrenamiento de "pieza faltante".

Escenario 2: El "desajuste ligero" (Tasas de ruido variables)

• La configuración: Tanto los datos de entrenamiento como los de prueba tenían ruido, pero la cantidad era ligeramente diferente (por ejemplo, 500 Hz en el entrenamiento frente a 600 Hz en la prueba).
• El resultado: En este caso, el modelo antiguo estuvo bien. Pudo manejar pequeñas diferencias. Sin embargo, el nuevo modelo SSL funcionó igual de bien, demostrando que es una opción segura y robusta tanto para problemas pequeños como grandes.

La conclusión fundamental

El artículo afirma que, al utilizar esta técnica de "adivinar la pieza faltante" en datos reales no etiquetados, los científicos pueden construir modelos que dependen mucho menos de simulaciones perfectas.

• Forma antigua: Entrenar con simulaciones perfectas $\rightarrow$ Fallar cuando la vida real es desordenada.
• Nueva forma: Aprender la estructura de la vida real desordenada primero $\rightarrow$ Tener éxito incluso cuando las simulaciones son imperfectas.

Este enfoque no solo corrige errores pequeños; actúa como una red de seguridad contra los "desconocidos desconocidos": cosas en el detector real que los científicos ni siquiera sabían que debían simular en primer lugar.

Resumen técnico

Resumen Técnico: Reducción de la Dependencia de la Simulación en Telescopios de Neutrinos mediante Transformadores de Puntos Enmascarados

Planteamiento del Problema
Los modelos de aprendizaje automático (ML) en la física de neutrinos, particularmente para telescopios de gran escala como IceCube, KM3NeT y Baikal-GVD, han dependido tradicionalmente de datos de Monte Carlo (simulación) etiquetados. Si bien estos modelos permiten una reconstrucción y clasificación rápida de eventos, enfrentan un desafío persistente: las discrepancias entre las simulaciones y los datos reales derivadas de condiciones ambientales complejas, sistemáticas específicas del detector y efectos físicos no modelados. Estas discrepancias pueden introducir sesgos en la reconstrucción o conducir a evaluaciones de cobertura incorrectas, impactando finalmente las conclusiones del análisis. Aunque el aprendizaje auto-supervisado (SSL) ha emergido como un paradigma poderoso para reducir la dependencia de conjuntos de datos etiquetados en la visión por computadora y el procesamiento de lenguaje natural, su aplicación a los telescopios de neutrinos ha sido limitada, explorada principalmente para la adaptación de dominio en lugar de como una estrategia de entrenamiento primaria para mitigar el modelado erróneo de la simulación.

Metodología
Los autores proponen un novedoso flujo de trabajo de entrenamiento que traslada la mayor parte del entrenamiento del modelo hacia datos reales no etiquetados, eludiendo así las discrepancias de la simulación. El núcleo de este enfoque consiste en:

1. Arquitectura del Modelo (neptune): El estudio utiliza una arquitectura de transformador personalizada denominada "neptune" (un Efficient Point Transformer for Ultrarelativistic Neutrino Events). Este modelo se fundamenta en metodías de nubes de puntos y consta de tres componentes:

   • Tokenizador de Eventos: Convierte impactos de sensores irregulares (coordenadas espacio-temporales 4D) en secuencias de tokens. Emplea una estrategia inspirada en PointNet mediante MLPs por punto. Para manejar tamaños de evento variables, utiliza el Muestreo de Punto Más Lejano (Farthest Point Sampling - FPS) si el recuento de impactos excede un máximo ($T_{max}=512$) y k-Vecinos Más Cercanos (k-NN) 4D para agregar el contexto espacial y temporal.
   • Codificador de Transformador (Transformer Encoder): Procesa las secuencias de tokens, enriquecidas con posiciones espaciales y tiempos de primer impacto.
   • Cabezal de Tarea Periférica (Downstream Task Head): Agrega las salidas del codificador mediante el promedio (mean pooling) para tareas específicas.

2. Pre-entrenamiento Auto-supervisado: El modelo se pre-entrena en datos "reales" no etiquetados utilizando un enfoque de auto-codificador enmascarado. El tokenizador enmascara las coordenadas espacio-temporales (solo temporales o espacio-temporales), y el transformador es entrenado para reconstruir estos ingresos enmascarados utilizando una pérdida smooth L1. Se emplean ratios de enmascaramiento altos (0.75 a 1.0) para forzar al modelo a aprender la estructura inherente de los datos de neutrinos sin etiquetas explícitas.

3. Ajuste Fino (Fine-tuning): Tras el pre-entrenamiento, se adjunta un cabezal de predicción y el modelo se ajusta finamente con un conjunto más pequeño de datos de simulación etiquetados. Para prevenir el olvido catastrófico del dominio objetivo durante este cambio, los autores emplean una técnica de "expansión de bloques", insertando bloques de transformador inicializados con la identidad sobre las capas pre-entrenadas congeladas.

Configuración Experimental
El estudio evalúa el enfoque utilizando dos tareas de referencia:

• Reconstrucción Direccional: Reconstrucción de la dirección de los neutrinos muón ($\nu_\mu$ CC).
• Clasificación de Cascada: Separación de cascadas dobles (de $\nu_\tau$ CC) de los fondos de cascada simple.

Los conjuntos de datos fueron generados utilizando el marco de simulación Prometheus con una configuración similar a IceCube. Para probar la robustez, los autores introdujeron impactos de ruido no correlacionados en el conjunto de "datos" a tasas específicas (por ejemplo, 100 Hz o 600 Hz) mientras mantenían el conjunto de simulación limpio o desajustado. Se probaron dos escenarios:

1. Ruido No Modelado: La simulación contiene cero ruido, mientras que los "datos" contienen ruido.
2. Tasas de Ruido Variables: Ambos conjuntos contienen ruido, pero con un desajuste modesto (600 Hz en datos frente a 500 Hz en simulación).

Resultados Clave
Los experimentos comparan el enfoque SSL propuesto contra un modelo supervisado base entrenado directamente en simulación etiquetada:

• Escenario de Ruido No Modelado: Cuando la simulación carece de ruido por completo pero los datos reales lo contienen, el modelo supervisado sufre una degradación significativa de rendimiento.
  • Reconstrucción Direccional: El error angular mediano del modelo supervisado en los "datos" empeoró a 20.5°, mientras que el modelo SSL mantuvo una robustez de 5.0° (comparado con ~2° en simulación para ambos).
  • Clasificación de Cascada: El PR-AUC del modelo supervisado cayó a 0.226 en los "datos" (desde 0.364 en simulación), mientras que el modelo SSL generalizó mejor con una puntuación de 0.287.
• Tasas de Ruido Variables: Cuando ambos conjuntos de datos contenían ruido con un desajuste modesto (600 Hz frente a 500 Hz), ambos modelos, el supervisado y el SSL, se desempeñaron de manera comparable. Esto indica que los modelos supervisados son resilientes ante errores sistemáticos moderados y conocidos, pero fallan cuando los efectos son enteramente no modelados.

Significancia y Reivindicaciones
El artículo afirma presentar el primer flujo de trabajo de entrenamiento auto-supervisado para telescopios de neutrinos que aprovecha los transformadores de nubes de puntos y los auto-codificadores enmascarados. La principal significancia radica en demostrar que el SSL proporciona una "salvaguarda valiosa" contra las discrepancias no modeladas entre las simulaciones y los datos reales del detector.

Los autores argumentan que, si bien los métodos supervisados tradicionales son adecuados para manejar errores sistemáticos pequeños y conocidos, son frágiles ante fenómenos sutiles y no modelados. En contraste, el enfoque SSL, al aprender representaciones de la estructura interna de los datos reales no etiquetados, mantiene un rendimiento estable incluso cuando la simulación no captura perfectamente el comportamiento del detector. Esto representa un cambio fundamental respecto a las aplicaciones previas de ML en el campo, allanando el camino para una mejor reconstrucción de eventos y clasificación en presencia de sistemáticas desconocidas. Los autores señalan que el trabajo futuro se centrará en desplegar este enfoque en datos experimentales reales, evaluando específicamente la robustez en detectores de gran escala como IceCube.