CelloAI Benchmarks: Toward Repeatable Evaluation of AI Assistants

Dit paper introduceert CelloAI, een herhaalbaar benchmarkkader dat specifiek is ontworpen om de prestaties van LLM's te evalueren op domeinrelevante taken binnen High Energy Physics en High Performance Computing, waaronder het genereren van documentatie, het creëren van GPU-kernen en visuele data-analyse.

De kern

Stel je voor dat je een enorme, ouderwetse bibliotheek hebt vol met blauwdrukken voor een supercomplex ruimteschip. Deze blauwdrukken zijn door tientallen ingenieurs over de afgelopen 50 jaar geschreven, in verschillende talen, en sommige pagina's zijn zelfs verloren gegaan. Nu wil je een nieuwe, slimme robot-assistent (een AI) inhuren om je te helpen bij het bouwen en repareren van dit schip.

Het probleem? De robot is slim, maar hij heeft geen idee hoe het ruimteschip werkt. Als hij een foutje maakt, kan het hele schip ontploffen of, erger nog, hij bouwt iets dat er perfect uitziet maar gewoon niet werkt.

Dit is precies het probleem waar wetenschappers in de Hoge Energie Fysica (zoals bij CERN) en bij Supercomputers tegen aan lopen. Ze gebruiken AI om code te schrijven, maar de bestaande tests voor AI zijn alsof je vraagt: "Kan deze robot een simpele stoel bouwen?" Terwijl ze eigenlijk nodig hebben: "Kan deze robot een veiligheidsklep voor een kernreactor repareren zonder dat hij ontploft?"

Deze paper introduceert CelloAI, een nieuwe manier om te testen of die robot echt geschikt is voor dit zware werk. Ze hebben drie nieuwe "proefballonnen" (benchmarks) bedacht:

1. De Vertaalrobot voor de Handleiding (Code Documentatie)

Stel je voor dat je een boek hebt waarin de regels staan, maar de uitleg ontbreekt. De AI moet nu de uitleg schrijven.

• De oude test: Kijkt alleen of de AI de juiste woorden gebruikt (bijv. "Hier staat een knop").
• De nieuwe test (CelloAI): Kijkt of de AI begrijpt waarom die knop er is.
  • De analogie: Het is alsof je een vertaler vraagt om een recept te vertalen. De oude test zegt: "Heeft hij de ingrediënten opgeschreven?" De nieuwe test zegt: "Begrijpt hij dat je de suiker moet toevoegen voordat je de eieren klopt, en heeft hij dat ook zo opgeschreven?"
  • Het resultaat: De slimste robots kunnen de lijstjes (de "tags") perfect invullen, maar ze schrijven soms nog wel onzin over waarom iets werkt. Ze missen de "geest" van de wetenschap.

2. De Bouwmeester die van Materiaal verandert (Code Generatie)

Soms moet je een machine die op benzine werkt, ombouwen naar elektriciteit, zonder dat hij stopt met rijden. In de computerwereld heet dit: code van de ene computer (CPU) naar een super-snelle grafische kaart (GPU) verplaatsen.

• De oude test: Kijkt of de code één klein stukje werkt (een "unit test").
• De nieuwe test (CelloAI): Kijkt of het hele ruimteschip nog start.
  • De analogie: Het is alsof je een robot vraagt om een auto te bouwen. De oude test zegt: "Werkt het wiel?" De nieuwe test zegt: "Rijdt de auto naar de garage, remt hij goed, en ontploft hij niet?"
  • Het resultaat: De robots kunnen simpele taken (zoals een wiel vervangen) prima. Maar als ze een complexe motor moeten bouwen (de "simulatie-kern"), zakken ze door de vloer. Zelfs de slimste AI's lukken dit maar zelden perfect. Ze vergeten vaak belangrijke regels over hoe de onderdelen aan elkaar hangen.

3. De Kunstcriticus die naar Grafieken kijkt (Grafische Data Analyse)

Wetenschappers kijken naar duizenden grafieken om te zien of er iets mis is met hun experiment.

• De oude test: Kijkt of de AI een lijn kan tekenen.
• De nieuwe test (CelloAI): Kijkt of de AI een afwijking ziet en begrijpt wat die betekent.
  • De analogie: Stel je voor dat je naar een schilderij kijkt. Een simpele camera ziet: "Er is een rode vlek." De AI moet zeggen: "Die rode vlek is er niet in het origineel, en dat betekent dat de verf te dun was aangebracht."
  • Het resultaat: De robots kunnen soms een afwijking zien, maar ze zijn nog niet goed in het begrijpen waarom die afwijking er is. Ze zijn als een kunstcriticus die wel weet dat er iets mis is, maar niet weet welke kwast de fout heeft gemaakt.

Wat betekent dit voor de toekomst?

De boodschap van dit paper is simpel: We moeten stoppen met testen of AI's "leuke" dingen kunnen, en beginnen testen of ze "veilige" dingen kunnen doen.

De wetenschappers hebben nu een nieuwe "rijbewijstest" bedacht voor AI's. Deze test kijkt niet alleen of de code werkt, maar ook of de AI de context begrijpt, of hij de handleidingen correct schrijft, en of hij fouten in grafieken kan vinden.

Hoewel de robots nog niet perfect zijn (ze maken nog veel fouten bij de zware taken), geeft deze nieuwe test ons eindelijk een eerlijke manier om te zien welke AI het beste is voor het bouwen van de toekomstige ruimteschepen van de wetenschap. Het is de eerste stap om AI van een "leuke hobby" naar een "betrouwbare ingenieur" te tillen.

Technische samenvatting

Titel: CelloAI Benchmarks: Een framework voor herhaalbare evaluatie van AI-assistenten in HEP/HPC

1. Het Probleem

Grote Taalmodellen (LLMs) worden steeds vaker gebruikt voor softwareontwikkeling, maar bestaande benchmarks voor codering (zoals SWE-bench of LiveCodeBench) sluiten niet aan bij de specifieke eisen van High Energy Physics (HEP) en High Performance Computing (HPC).

• Contextuele beperkingen: HEP/HPC-codebases zijn enorm, complex, slecht gedocumenteerd en hebben zware afhankelijkheden. Bestaande benchmarks testen vaak geïsoleerde snippets, terwijl in de wetenschap correctheid afhangt van de integratie in grote systemen, wetenschappelijke validatie en prestatie-eisen.
• Risico's: Fouten in translatie, dataverplaatsing of afhankelijkheidsbeheer kunnen in HPC-omgevingen leiden tot stilzwijgende ongeldige resultaten of prestatieverlies.
• Gebrek aan herhaalbaarheid: Kwalitatieve, anekdotische indrukken bieden geen solide basis om modellen te vergelijken of falen te identificeren in grote codebases.

2. Methodologie: CelloAI en de Benchmark-suite

De auteurs introduceren CelloAI, een lokaal gehoste, retrieval-augmented (RAG) coderingsassistent die is ontworpen voor wetenschappelijke workflows. Het systeem gebruikt drie kernmechanismen:

1. RAG: Haalt context uit zowel wetenschappelijke teksten als broncode.
2. Syntax-aware chunking: Behoudt semantische grenzen om gefragmenteerde ophaling te voorkomen.
3. Callgraph-aware prompt enhancement: Voegt afhankelijkheidscontext toe (caller/callee) zodat het antwoord de uitvoeringsflow respecteert.

Om de prestaties kwantitatief te meten, stellen de auteurs drie evaluatietracks voor met geautomatiseerde scoring:

A. Code Documentatie (CelloAI-Doc-Bench)

• Doel: Evaluatie van het genereren van gestructureerde Doxygen-commentaren.
• Metrieken:
  • Coverage Score: Een F1-score op tag-niveau (@param, @return) om te meten of alle parameters correct worden gedocumenteerd.
  • Semantische Similariteit: Gebruikt cosine similarity van vectorrepresentaties om twee aspecten te meten:
    • Differential Similarity: Consistentie in beschrijvingen tussen gerelateerde functies (caller/callee).
    • Expert Similarity: Vergelijking met door experts geschreven documentatie.

B. HPC Code Generatie (CelloAI-Code-Bench)

• Doel: Evaluatie van het porteren van GPU-kernels (van CUDA naar OpenMP/SYCL) binnen de FastCaloSim werkstroom (ATLAS experiment).
• Opdrachten: Drie kernels met toenemende complexiteit:
  1. Reset: Array initialisatie (eenvoudig).
  2. Count: Atomaire operaties en datapakking (gemiddeld).
  3. Simulate: Zware floating-point berekeningen met geheugenupdates en atomaire accumulatie (complex).
• Evaluatie: Een geautomatiseerde pipeline compileert de gegenereerde code en voert validatietests uit. Succes wordt alleen geteld als de code compileert, draait en de validatie passeert.

C. Grafische Data-analyse (CelloAI-Multimodal-Bench)

• Doel: Evaluatie van vision-enabled LLMs bij het analyseren van histogrammen (synthetische data).
• Opdracht: Het detecteren van afwijkingen tussen een 'referentie' en een 'gecontroleerde' curve, en het identificeren van outliers.
• Evaluatie: De modellen moeten JSON uitvoeren met outlier-punten en discrepantie-intervallen. De output wordt vergeleken met de ground truth via Precision, Recall en F1-scores.

3. Belangrijkste Resultaten

• Documentatie:

  • Moderne LLMs (zoals GPT-oss-120b en Qwen3) bereiken een zeer hoge recall (≈1.0) en F1-score (≈0.91–0.97) voor het correct taggen van parameters.
  • De semantische kwaliteit (Expert Similarity) blijft echter beperkt (rond 0.60 voor de beste modellen), wat aangeeft dat de inhoudelijke nauwkeurigheid en consistentie nog ruimte voor verbetering hebben, zelfs met CelloAI's context.
  • Hogere temperaturen (stochastische decoding) leiden tot een lichte daling in semantische consistentie.

• Code Generatie (Porting):

  • Er is een groot verschil in moeilijkheidsgraad tussen kernels. Simpele kernels (Reset) worden vaak succesvol gepord (tot 10/10 successen met CelloAI).
  • De complexe Simulate-kernel blijft een enorme uitdaging: zelfs de beste modellen bereiken slechts 1-2 successen op 10 pogingen.
  • CelloAI-context verbetert de prestaties aanzienlijk ten opzichte van een standaard RAG-baseline, vooral bij de eenvoudigere kernels, maar lost de complexiteit van de simulatiekern nog niet volledig op.

• Grafische Analyse:

  • Vision-modellen presteren gemiddeld matig. InternVL 3.5 presteert het beste bij het detecteren van outliers (F1 ≈ 0.57), terwijl Qwen3-VL consistent moderate scores haalt.
  • Gemma-3n faalt volledig bij het detecteren van outliers.
  • De resultaten suggereren dat gespecialiseerde, domein-gefine-tuned multimodale modellen nodig zijn voor betrouwbare analyse van wetenschappelijke plots.

4. Bijdragen en Significantie

De belangrijkste bijdragen van dit paper zijn:

1. Een herhaalbaar benchmark-framework: Het biedt een gestandaardiseerde manier om LLM-prestaties te meten in de specifieke context van wetenschappelijk softwareontwikkeling, in plaats van te vertrouwen op anekdotisch bewijs.
2. Domeinspecifieke evaluatiemethoden: De focus ligt op integratie, compilatie en wetenschappelijke validatie, niet alleen op het passeren van unit-tests.
3. Inzicht in falingsmodi: De benchmarks blootleggen waar huidige AI-assistenten tekortschieten (bijv. complexe kernel-porting en semantische diepgang in documentatie), wat een richting aangeeft voor toekomstig onderzoek.
4. Fair Comparison: Het stelt onderzoekers in staat om modellen, decoding-instellingen (temperaturen) en context-strategieën (zoals CelloAI vs. standaard RAG) eerlijk met elkaar te vergelijken.

Conclusie:
De paper concludeert dat hoewel LLMs veelbelovend zijn voor documentatie en eenvoudige coderingstaken, er nog een grote kloof bestaat voor het genereren van correcte, complexe wetenschappelijke code en het interpreteren van data. De voorgestelde benchmarks vormen een fundament voor het ontwikkelen van betrouwbare, wetenschapsbewuste AI-assistenten die kunnen opereren binnen de strenge eisen van HEP/HPC-systemen.