An AI-ready, Polarized Electron-Positron Collision Dataset

Este artículo presenta una versión modernizada y preparada para IA de aproximadamente 660.000 eventos reconstruidos de colisiones electrón-positrón del SLD y documentación interna recientemente digitalizada, convertida desde formatos heredados para facilitar la investigación tanto en física de partículas como en aprendizaje automático.

Lo esencial

Imagina una biblioteca masiva y de alta tecnología de la década de 1990 que guarda los planos y registros de un experimento muy especial. Este experimento, llamado SLD, era como una "fábrica de Z", que hacía chocar electrones y positrones para crear una partícula llamada bosón Z. Lo que hacía que esta fábrica fuera única era que los haces de electrones estaban "polarizados"; piensa en ellos como trompos que giran todos en la misma dirección. Esto permitió a los científicos medir cosas con una precisión increíble que otros colisionadores no podían alcanzar.

Sin embargo, durante décadas, los datos de esta fábrica estuvieron guardados en una bóveda digital. Los archivos estaban escritos en un lenguaje antiguo y oscuro (una mezcla de viejo código Fortran y formatos binarios) que las computadoras modernas no podían leer, y las "llaves" para abrirlos (el software original y la documentación) se habían perdido o estaban dispersas.

Este artículo es la historia de cómo un equipo de científicos utilizó Inteligencia Artificial (IA) moderna para irrumpir en esa bóveda, traducir el lenguaje antiguo y abrir las puertas para todos.

Aquí hay un desgido de lo que hicieron, utilizando analogías simples:

1. Los datos de la "Cápsula del Tiempo"

El equipo publicó alrededor de 660,000 eventos reconstruidos (instantáneas de colisiones de partículas) de 1996 a 1998.

• El Problema: Estos archivos eran como una cinta de casete en un idioma que ya nadie habla. El software original para leerlos había desaparecido, y la documentación era solo pilas de papel en un archivo.
• La Solución de IA: Utilizaron agentes de IA (específicamente, una herramienta llamada "Claude") para actuar como un arqueólogo digital. La IA examinó los datos binarios brutos (los 1s y 0s) y los comparó con las leyes conocidas de la física (como un detective que coteja la coartada de un sospechoso con la escena del crimen).
  • Analogía: Imagina encontrar una caja cerrada sin llave. En lugar de romperla, observas los rasguños en la caja, adivinas qué hay dentro basándote en el peso y luego usas un asistente inteligente para descifrar el código de la cerradura de combinación. La IA les ayudó a realizar la ingeniería inversa del código para leer los datos.
• El Resultado: Construyeron una nueva herramienta de código abierto llamada jazelle que traduce estos archivos antiguos a formatos modernos y fáciles de usar (como Parquet) que cualquier científico de datos puede usar ahora.

2. La "Biblioteca Perdida" de Documentación

Junto con los datos, digitalizaron alrededor de 1,190 documentos internos.

• El Problema: Eran papeles físicos, muchos de ellos fotocopias de fotocopias, con notas manuscritas, diagramas desordenados y texto mecanografiado todo mezclado. Los escáneres estándar suelen fallar ante este tipo de papel "desordenado".
• La Solución de IA: Probaron cuatro herramientas diferentes de IA para leer estos documentos.
  • Analogía: Es como intentar leer una tarjeta de receta escrita a mano que tiene manchas de café y garabatos. Algunas herramientas de IA intentaron convertir la letra en texto pero se confundieron con las líneas de la cuadrícula del papel. Otras fueron excelentes leyendo tablas pero fallaron en las ecuaciones matemáticas.
  • Descubrieron que, combinando las mejores herramientas, podían convertir estas páginas desordenadas en texto buscable. Incluso construyeron un "Bibliotecario" de IA (un sistema de respuesta a preguntas) que puede leer estos documentos y responder preguntas específicas, como "¿Cuál era la velocidad de reloj del microprocesador utilizado en 1995?".

3. Probando que funciona (La "Prueba de Manejo")

Antes de entregar las llaves, el equipo tenía que demostrar que los datos eran precisos. No solo adivinaron; realizaron una "prueba de manejo".

• La Prueba: Tomaron los datos recién traducidos y ejecutaron exactamente los mismos cálculos de física que hicieron los científicos originales hace 20 años.
• El Resultado: Los números coincidieron. Recrearon con éxito las famosas mediciones del "ángulo de mezcla débil" (una propiedad fundamental del universo) utilizando los nuevos datos. Esto demostró que la traducción de la IA no rompió nada; simplemente hizo que los datos volvieran a ser legibles.

4. Por qué esto es importante para la investigación de la IA

El artículo destaca que este conjunto de datos es un campo de entrenamiento único para la Inteligidad Artificial moderna.

• La Brecha: La mayoría de los modelos de IA en física son entrenados con datos de colisiones protón-protón (como en el Gran Colisionador de Hadrones), que son desordenados y caóticos.
• La Diferencia de SLD: Los datos de SLD son "limpios" y las condiciones iniciales se conocen perfectamente.
• El "Nuevo Territorio": Los investigadores probaron un modelo de IA moderno (llamado OmniLearned) con estos datos. Descubrieron que los datos de SLD ocupan un "vecindario" completamente diferente (espacio latente) en el cerebro de la IA en comparación con otros conjuntos de datos.
  • Analogía: Si entrenas a un perro para traer una pelota en un parque, podría confundirse si de repente le pides que traiga una pelota en una piscina. Este conjunto de datos es la "piscina" que los modelos de IA actuales nunca han visto. Al publicarlo, el equipo está dando a los investigadores de IA un nuevo y único entorno para aprender, lo que podría ayudar a construir modelos mejores y más versátiles.

Resumen

En resumen, este artículo trata sobre resucitar un tesoro científico perdido. El equipo utilizó la IA para traducir datos antiguos e ilegibles y notas de papel desordenadas en un formato moderno y utilizable. Demostraron que la traducción es precisa al volver a ejecutar antiguos experimentos de física, y mostraron que estos datos únicos ofrecen un patio de juegos fresco y limpio para entrenar a la próxima generación de modelos de IA en la física de partículas.

Resumen técnico

Resumen Técnico: Un conjunto de datos de colisiones electrón-positrón polarizadas listo para la IA

Planteamiento del problema
A pesar del impacto duradero en la física del experimento SLD en el Colisionador Lineal de SLAC (SLC), sus datos reconstruidos de la ejecución de 1996–1998 (aproximadamente 660,000 eventos) permanecieron inaccesibles para las herramientas de análisis modernas. Los datos existían en formatos binarios heredados "Jazelle", decodificados por un software escrito en Mortran (una extensión de Fortran) que ya no es operativo en sistemas modernos. Además, el ecosistema propietario y mal documentado significaba que las estructuras de datos críticas, como el banco de polarización del haz de electrones por evento (PHBM), estaban efectivamente perdidas. Esta inaccesibilidad representa un cuello de botella para el aprendizaje automático (ML) en física de partículas, que actualmente depende en gran medida de los datos de colisiones protón-protón (LHC) y carece de conjuntos de datos diversos y de alta calidad del régimen $e^+e^-$, particularmente aquellos que presentan una polarización inicial conocida. Además, el conocimiento institucional necesario para interpretar estos conjuntos de datos heredados reside en notas internas físicas que nunca fueron digitalizadas.

Metodología
Los autores ejecutaron un esfuerzo de modernización de dos vertientes que involucró la reconstrucción de datos y la digitalización de la documentación:

1. Reconstrucción y traducción de datos:

   • Ingeniería inversa: El equipo realizó ingeniería inversa al formato binario Jazelle utilizando asistencia de IA (específicamente Claude de Anthropic). Combinaron documentación heredada parcial con "verdad fundamental basada en la física" (por ejemplo, restricciones cinemáticas de decaimientos $Z \to q\bar{q}$) para identificar posiciones de campos candidatos y tipos de datos dentro de los bancos binarios.
   • El kit de herramientas jazelle: Se desarrolló un paquete de Python de código abierto para leer los binarios heredados y emitir arreglos de registros Awkward. Estos se serializan en formatos columnares modernos (Parquet, HDF5, Feather).
   • Alcance: La versión abarca las ejecuciones de 1996–1998. Incluye encabezados de eventos, información del haz (incluyendo la polarización), trazas cargadas, cúmulos de calorímetro, subsistemas de identificación de partículas y tablas relacionales. Aplica requisitos estándar de calidad de datos pero no una selección de canal específica.

2. Digitalización de la documentación y preparación para la IA:

   • Cuerpo documental: Aproximadamente 1,190 notas internas de SLD/SLC (principalmente de 1980–1988) fueron escaneadas desde archivos físicos.
   • Pipeline de extracción: Se evaluaron cuatro herramientas para la extracción de texto: Marker, Docling, Nougat (modelos de pesos abiertos) y la API de Azure AI Document Intelligence. El pipeline maneja entradas heterogéneas, incluyendo notas mecanografiadas, fotocopias, figuras dibujadas a mano y tablas complejas.
   • Flujo de trabajo agéntico: El texto extraído fue indexado mediante recuperación híbrida (embeddings densos + búsqueda por palabra clave). Se construyó un sistema de respuesta de preguntas agéntico para demostrar la utilidad del corpus, utilizando un servidor de Protocolo de Contexto de Modelo (MCP) para la recuperación y el razonamiento iterativo.

Resultados clave

• Validación de la física: Los autores reprodujeron mediciones canónicas de SLD en el conjunto de datos traducido para validar la consistencia interna:
  • Distribuciones cinemáticas: Los espectros de masa reconstruida y las variables de forma de evento ($\tau$) coincidieron con la física esperada del polo $Z$ (por ejemplo, topología de dos jets de frente a frente).
  • Mediciones de asimetría: Las asimetrías de la sección eficaz izquierda-derecha ($A_{LR}$) y las asimetrías de acoplamiento leptónico ($A_\ell$) se extrajeron mediante el conteo de eventos. El ángulo de mezcla débil efectivo derivado ($\sin^2 \theta_{eff}^W = 0.23144 \pm 0.00044$ de $A_{LR}$) se alinea con los valores publicados, confirmando que el conjunto de datos preserva el contenido sensible a la polarización.
  • Limitaciones: Los autores señalan que los valores brutos de $A_{LR}$ difieren ligeramente de los resultados publicados porque el conjunto de datos liberado carece del software de corrección electrodébil específico (ZFITTER) utilizado en el análisis original. Del mismo modo, los conteos de canales leptónicos muestran discrepancias menores debido al software de selección original no disponible.
• Demostración de ML: Utilizando el modelo fundacional OmniLearned, los autores integraron jets de SLD junto con jets de ALEPH ($e^+e^-$), H1 ($ep$) y JetClass ($pp$). La proyección t-SNE reveló que los datos de SLD ocupan una región distinta en el espacio latente, separada por el estado inicial y la escala de energía. Crucialmente, al ser el único dato de detector reconstruido en la comparación, representa un régimen ( $e^+e^-$ polarizado en el polo $Z$) no capturado por las simulaciones de Monte Carlo públicas actuales.
• Desempeño de la documentación: Un sistema de QA agéntico logró una finalización de tareas cercana a la saturación (60/61 preguntas) en un benchmark autogenerado mediante la reformulación iterativa de consultas. Esto demostró que el corpus digitalizado soporta la exploración científica compleja de múltiples pasos, superando a las líneas base de RAG de un solo paso.

Significancia y afirmaciones
El artículo afirma que este lanzamiento sirve a tres propósitos primarios:

1. Preservación: Salva un conjunto de datos único del único colisionador lineal de alta energía $e^+e^-$ con haces polarizados, una configuración no replicada en futuros colisionadores.
2. Benchmarking de ML: Proporciona un entorno limpio y bien comprendido con estados iniciales y polarización conocidos para complementar los dominantes conjuntos de datos de colisionadores de hadrones en la investigación de ML. El espacio latente distinto de los datos de SLD ofrece un nuevo banco de pruebas para el aprendizaje por transferencia y los benchmarks de desplazamiento de dominio.
3. Potencial de Nueva Física: El conjunto de datos permite nuevos análisis aprovechando el ML moderno y los avances teóricos que no fueron posibles durante la operación original de SLD.

Los autores enfatizan que el conjunto de datos es un "punto de partida fiel" para análisis que suministren las correcciones radiativas y los tratamientos sistemáticos faltantes, en lugar de una re-derivación de los resultados finales publicados. El trabajo también ilustra un patrón más amplio: los conjuntos de datos heredados con software perdido pueden recuperarse combinando la documentación superviviente, las restricciones de la física y las herramientas de IA modernas.