CelloAI Benchmarks: Toward Repeatable Evaluation of AI Assistants
Este artículo presenta CelloAI, un marco de evaluación repetible y automatizado diseñado para medir el rendimiento de los modelos de lenguaje en tareas de desarrollo de software específicas para la física de altas energías y la computación de alto rendimiento, abarcando la generación de documentación, la creación de kernels de GPU y el análisis de datos gráficos.