CelloAI Benchmarks: Toward Repeatable Evaluation of AI Assistants

Este artículo presenta CelloAI, un marco de evaluación repetible y automatizado diseñado para medir el rendimiento de los modelos de lenguaje en tareas de desarrollo de software específicas para la física de altas energías y la computación de alto rendimiento, abarcando la generación de documentación, la creación de kernels de GPU y el análisis de datos gráficos.

Lo esencial

Imagina que tienes un bibliotecario gigante e inteligente (una Inteligencia Artificial) que puede leer millones de libros de código informático y escribir nuevos libros por ti. Suena genial, ¿verdad? Pero aquí está el problema: en el mundo de la física de altas energías (como en el CERN) y los superordenadores, un error de una sola letra en el código puede hacer que toda una simulación de una explosión estelar falle, o peor aún, que los resultados parezcan correctos pero estén totalmente equivocados.

Este paper presenta "CelloAI", no solo como un asistente, sino como un sistema de pruebas de estrés para ver qué tan bien funcionan estos bibliotecarios inteligentes en situaciones reales y peligrosas.

Aquí te explico los tres "juegos" o pruebas que diseñaron para evaluar a estas IAs, usando analogías sencillas:

1. El Juego del "Traductor de Manuales" (Documentación de Código)

Imagina que tienes una máquina muy compleja (el código) que ha sido usada por 20 años por diferentes mecánicos. Nadie sabe exactamente qué hace cada botón porque los manuales están perdidos o mal escritos.

• El reto: Pedirle a la IA que escriba las etiquetas explicativas (como "esto es un botón de encendido") para cada pieza.
• La prueba: No basta con que la IA escriba algo bonito. Tiene que ser exacta. Si el manual dice que hay 5 tornillos y la IA solo menciona 3, o si inventa un tornillo que no existe, reprueba.
• El resultado: Descubrieron que las IAs son muy buenas poniendo las etiquetas correctas (como decir "esto es un tornillo"), pero a veces fallan al explicar por qué ese tornillo es importante para la física. Es como si un traductor dijera la palabra correcta, pero no entendiera la historia que cuenta.

2. El Juego del "Mudanza de Muebles Pesados" (Generación de Código)

Imagina que tienes una casa llena de muebles pesados (código antiguo) construida para un piso específico (un tipo de procesador de computadora). Ahora quieres mudarlos a una casa nueva con un suelo diferente (un chip gráfico o GPU).

• El reto: La IA debe mover los muebles sin romperlos ni dejarlos tirados en la calle. En el mundo real, esto significa convertir código de un lenguaje a otro (por ejemplo, de CUDA a OpenMP) para que funcione en superordenadores.
• La prueba: Hay tres niveles de dificultad:
  1. Fácil: Limpiar el polvo (poner ceros en una lista).
  2. Medio: Contar cuántos muebles hay (identificar operaciones).
  3. Difícil: El mueble más pesado y complejo (la simulación principal).
• El resultado: Las IAs son excelentes en el nivel fácil y decentes en el medio. Pero en el nivel difícil, la mayoría tropieza. Es como pedirle a un robot que mueva un piano de cola por unas escaleras estrechas; a veces lo hace, pero a menudo lo deja caer. Esto les dice a los científicos: "Ojo, no confíes ciegamente en la IA para las tareas más críticas todavía".

3. El Juego del "Detective de Gráficos" (Análisis de Datos Visuales)

Imagina que tienes dos dibujos de montañas (gráficos de datos) hechos por dos artistas diferentes. Uno es el dibujo original y el otro es una versión nueva.

• El reto: La IA debe mirar los dibujos y decir: "¡Espera! Aquí hay una montaña que es un poco más alta de lo normal, y aquí hay un valle que no debería estar".
• La prueba: Le muestran a la IA gráficos generados por computadora y le piden que encuentre las diferencias (los "puntos fuera de lugar").
• El resultado: Algunas IAs con "ojos" (capacidad visual) son bastante buenas encontrando las diferencias, pero otras se confunden o no ven nada. Es como tener un detective que a veces nota que falta una pieza en el rompecabezas, pero otras veces ignora una pieza gigante que sobra.

¿Por qué es importante todo esto?

Antes de este trabajo, la gente decía: "¡Mira qué bien escribe código esta IA!" basándose en ejemplos pequeños y fáciles.

Este paper dice: "Eso no es suficiente".
Para la ciencia, necesitamos saber si la IA puede:

1. Escribir manuales que no mientan.
2. Mover código complejo sin romper la física.
3. Ver gráficos y detectar errores reales.

La conclusión final:
CelloAI es como un gimnasio de entrenamiento para estas IAs. No solo las deja jugar, sino que las pone a hacer ejercicios difíciles y repetibles para ver si realmente están listas para ayudar a los científicos a descubrir cosas nuevas sin causar desastres. Aún no son perfectas, pero ahora tenemos una regla clara para medir cuánto han mejorado.

Resumen técnico

Resumen Técnico: CelloAI Benchmarks

1. El Problema

Los Grandes Modelos de Lenguaje (LLM) están transformando el desarrollo de software, pero los benchmarks existentes para asistencia en codificación (como SWE-bench o LiveCodeBench) son insuficientes para los dominios de Física de Altas Energías (HEP) y Computación de Alto Rendimiento (HPC).

Las limitaciones actuales incluyen:

• Falta de contexto científico: Los benchmarks generales no evalúan si el código generado respeta restricciones científicas (intento físico, estabilidad numérica) o de rendimiento (transferencias CPU-GPU, layouts de memoria).
• Complejidad de integración: En HEP/HPC, el código no es aislado; debe integrarse en bases de código masivas, con dependencias complejas y sistemas de compilación estrictos. Un error en la traducción o gestión de datos puede invalidar resultados científicos silenciosamente.
• Evaluación cualitativa: La adopción práctica se ve frenada por la falta de métricas cuantitativas y repetibles para comparar modelos en entornos reales de investigación.

2. Metodología

El equipo presenta CelloAI, un asistente de codificación basado en recuperación aumentada (RAG) alojado localmente, diseñado específicamente para flujos de trabajo científicos. El núcleo de la metodología es la creación de un marco de evaluación impulsado por benchmarks que se centra en la repetibilidad, la evaluación automatizada y las modos de fallo relevantes para el dominio.

El sistema CelloAI utiliza tres mecanismos clave para mejorar la generación:

1. RAG científico: Recupera contexto tanto de texto científico como de código fuente.
2. Fragmentación consciente de la sintaxis: Preserva los límites semánticos del código para evitar recuperaciones fragmentadas.
3. Mejora de prompts consciente del grafo de llamadas: Proporciona contexto de dependencias (llamador/llamado) para que el modelo respete el flujo de ejecución real.

Sobre esta base, se definen tres pistas de evaluación (tracks):

• A. Documentación de Código (CelloAI-Doc-Bench):

  • Objetivo: Evaluar la generación de comentarios estilo Doxygen.
  • Métricas:
    • Puntuación de Cobertura (Tag-based): Extensión del F1-score a nivel de etiquetas (@param, @return) para medir completitud estructural.
    • Similitud Semántica: Uso de embeddings vectoriales para medir la coherencia entre descripciones de parámetros en funciones relacionadas (Similitud Diferencial) y la alineación con documentación escrita por expertos (Similitud con Experto).
  • Datos: Funciones del paquete ATLAS Athena y simulaciones FastCaloSim.

• B. Generación y Portabilidad de Código (CelloAI-Code-Bench):

  • Objetivo: Evaluar la capacidad de portar kernels GPU (de CUDA a OpenMP/SYCL) manteniendo la corrección científica y el rendimiento.
  • Método: Se utilizan tres kernels representativos de FastCaloSim (Reset, Count, Compute-heavy Simulation).
  • Evaluación: Pipeline automatizado que intenta compilar, ejecutar y validar el código generado. El éxito se define por la capacidad de pasar todas las pruebas de integración, no solo por la generación de fragmentos.

• C. Análisis de Datos Gráficos (CelloAI-Multimodal-Bench):

  • Objetivo: Evaluar LLMs con capacidades de visión para analizar histogramas generados en experimentos HEP.
  • Tarea: Detectar discrepancias entre curvas de "referencia" y "monitoreadas", e identificar puntos atípicos (outliers).
  • Métricas: Precisión, Recall y F1 para la detección de outliers y la identificación de regiones de discrepancia, comparando la salida JSON del modelo con datos sintéticos de verdad fundamental (ground truth).

3. Contribuciones Clave

1. Marco de Benchmarking Repetible: Se introduce una suite de benchmarks unificada que permite comparaciones justas entre modelos, configuraciones de decodificación (temperatura) y estrategias de contexto.
2. Enfoque en Restricciones Científicas: A diferencia de los benchmarks generales, estos evalúan explícitamente la integración en bases de código grandes, la corrección de dependencias y la validación de resultados científicos.
3. Métricas Híbridas: Combinan medidas estructurales (cobertura de etiquetas, compilación exitosa) con medidas semánticas (similitud con expertos, coherencia de descripciones).
4. Evaluación Multimodal: Extiende la evaluación de LLMs a la interpretación de gráficos científicos, un área crítica para el análisis de datos en HEP.

4. Resultados Principales

• Documentación:

  • Los modelos más grandes (ej. GPT-oss-120b) logran una cobertura de etiquetas muy alta (Recall ≈ 1.0, F1 > 0.95), indicando que incluyen todos los parámetros requeridos.
  • Sin embargo, la calidad semántica sigue siendo limitada (Similitud con Experto ≈ 0.60), sugiriendo que los modelos necesitan ajuste fino (fine-tuning) en el dominio para capturar la intención científica precisa.
  • El uso de CelloAI mejora marginalmente las métricas, pero la temperatura de decodificación afecta negativamente la consistencia semántica.

• Generación de Código:

  • Existe una brecha significativa según la complejidad del kernel. Los kernels simples (Reset) tienen tasas de éxito altas (hasta 10/10 con CelloAI).
  • El kernel de simulación complejo (Compute-heavy) es extremadamente difícil: incluso los mejores modelos logran solo 1-2 éxitos de 10 intentos.
  • Esto demuestra que la validación de extremo a extremo (compilación + ejecución) es un filtro mucho más estricto que las pruebas unitarias aisladas, y que la corrección científica es el principal cuello de botella.

• Análisis Gráfico:

  • Los modelos de visión muestran un rendimiento moderado. InternVL 3.5 y Qwen3-VL obtienen los mejores resultados en la detección de outliers (F1 ≈ 0.57 y 0.50 respectivamente).
  • La detección de regiones de discrepancia es más difícil, con puntuaciones F1 que oscilan entre 0.26 y 0.60 dependiendo del modelo y la temperatura.
  • Los resultados indican que se necesitan modelos multimodales más capaces o adaptados al dominio para una extracción confiable de datos científicos de gráficos.

5. Significancia e Impacto

Este trabajo es fundamental porque cambia el paradigma de evaluación de IA en ciencia:

• De anecdótico a cuantitativo: Proporciona una base objetiva para medir el progreso de los asistentes de IA en entornos científicos críticos.
• Seguridad y Confiabilidad: Al enfatizar la integración en bases de código existentes y la validación de resultados, el marco ayuda a identificar modos de fallo que podrían pasar desapercibidos en entornos de desarrollo estándar, protegiendo la integridad de la investigación científica.
• Guía para el Futuro: Establece que, para que los LLMs sean útiles en HEP/HPC, no basta con generar código sintácticamente correcto; deben entender dependencias, flujos de datos y restricciones físicas. La suite de benchmarks sienta las bases para desarrollar asistentes de código verdaderamente "conscientes de la ciencia".