Technische Samenvatting: MIND THE ALIGNMENT GAP

Probleemstelling

Wetenschappelijke programmeeragenten zijn moeilijk te benchmarken omdat wetenschappelijke taken vaak uitvoerbare code vereisen, maar outputs produceren die ambigu of moeilijk te verifiëren zijn. Terwijl bestaande benchmarks (bijv. HumanEval, SWE-bench) vertrouwen op duidelijke geautomatiseerde verificatie via unit tests of regressiesets, zijn echte wetenschappelijke workflows iteratief, open einde en missen ze vaak een precieze grondwaarheid (ground truth). Het construeren van benchmarks voor deze taken is bovendien zeer arbeidsintensief. De auteurs stellen dat huidige evaluatiekaders vaak de voorkeur geven aan "hill-climbing" (het verbeteren van scores op statische metrieken) boven een gebruikersgerichte workflow waarbij wetenschappers de traces van agenten inspecteren om de wetenschappelijke validiteit van de aanpak te beoordelen. Specifiek is er een kloof in het begrip van hoe het voorzien van agenten met gespecialiseerde wetenschappelijke context (pakketnamen, omgevingen) hun vermogen beïnvloedt om complexe domeinspecifieke problemen zoals ruimtelijke transcriptomics-alignement op te lossen.

Methodologie

De auteurs introduceren een interactief framework om wetenschappelijke-agent-benchmarks te construeren uit peer-reviewed artikelen en om het gedrag van agenten te diagnosticeren via trace-inspectie.

Benchmark Constructie:

• Bron: De studie hergebruikt SABench, een recente benchmark voor ruimtelijke transcriptomics-alignementmethoden, waarbij 40 van de 295 taken worden omgezet in uitvoerbare, verborgen evaluatietaken voor programmeeragenten.
• Taakdefinitie: Agenten krijgen twee-dimensionale weefselcoupes met geobserveerde ruimtelijke coördinaten en genexpressieprofielen. Het doel is om een coördinatentabel in te dienen die deze coupes uitlijnt.
• Evaluatie: Een verborgen scorer evalueert inzendingen op basis van een schema-check, expressie-overeenkomst, label/landmark consistentie, en (indien beschikbaar) alignementfout tegen verborgen gouden standaard coördinaten. Metrieken zijn gestandaardiseerd naar een schaal van 0–1 (hoger is beter).

Experimentele Condities:
De auteurs evalueerden een enkele modelconfiguratie (Codex CLI met gpt-5.3-codex en xhigh reasoning effort) over drie verschillende uitvoeringscondities om de impact van prompt-rijkdom en omgevingsondersteuning te testen:

1. Basic: De agent ontvangt alleen de taakprompt, zonder context van de methode uit het artikel en zonder vooraf gebootstrapte omgevingen.
2. Package-aware (PA): De prompt bevat namen van methoden uit het artikel en suggesties voor pakketten. De agent moet zelf pakketten installeren en onderzoeken.
3. Full + prior (FPP): De agent ontvangt vooraf gebootstrapte virtuele omgevingen met geïnstalleerde pakketten en hoogwaardige methodische priors (samenvattingen van geprefereerde methoden voor gerelateerde taakfamilies) in de prompt.

Analyse:
De studie omvatte 120 runs (3 onafhankelijke replicates per conditie per taak). Evaluatie omvatte:

• Geaggregeerde Scoring: Het vergelijken van gemiddelde composietscores over condities.
• Trace Inspectie: Het gebruik van een onafhankelijke LLM-call om faalfasen, foutmeldingen en pakketgebruik-signalen uit run-logs te extraheren.
• Geometrische Baselines: Het synthetiseren van eenvoudige geometrische heuristieken (centrum/schaal, PCA-gelijkenis, trimmed ICP) afgeleid van agent-inzendingen om te bepalen of agenten de basisgeometrie overtreffen.

Belangrijkste Resultaten

1. Toegenomen Context Verbeterde de Prestaties Niet
In tegen tegenstelling tot de hypothese dat rijkere context de prestaties zou verbeteren, behaalde de Basic conditie de hoogste gemiddelde composietscore (0,43), gevolgd door PA (0,42). De FPP conditie, ondanks de sterkste signalen voor pakketgebruik, behaalde de laagste score (0,36).

• Statistische Significantie: FPP presteerde lager dan Basic met −0,067 (95% CI [−0,11, −0,03]) en lager dan PA met −0,059.
• Pakketgebruik: FPP-agenten gebruikten gespecialiseerde pakketten (bijv. PASTE2, Spateo) in 43–72% van de runs, terwijl Basic-agenten deze zelden gebruikten (<20%). Ondanks deze gedragsverandering daalde de geaggregeerde nauwkeurigheid.

2. Analyse van Faalmodi
Trace-inspectie onthulde waarom toegenomen pakketgebruik leidde tot lagere scores:

• Competitieve Custom Strategieën: Onder de Basic-conditie schreven agenten vaak eigen Python-code met eenvoudige geometrische ideeën (bijv. Procrustes rotatie) die de pakket-ondersteunde oplossingen evenaarden of overtroffen.
• Variantie en Fragiliteit: Het aanroepen van gespecialiseerde pakketten vereiste parameterafstemming en dependency management. Slecht gekalibreerde keuzes leidden tot transformaties die slechter waren dan eenvoudige geometrische alternatieven.
• Infrastructuurfouten: FDP-runs leden onder langere pakket-loops, omgevingsfouten en "prior-gestuurde" inzendingen waarbij agenten suboptimale resultaten accepteerden na mislukte pakket-aanroepen in plaats van terug te vallen op eenvoudigere benaderingen.
• Degradatie van Goede Inputs: In verschillende gevallen (bijv. SA-004, SA-014) waren de inputcoördinaten al gedeeltelijk uitgelijnd. FPP-agenten degradeerden deze inputs actief door slecht gekalibreerde transformaties toe te passen, wat resulteerde in scores lager dan de "Identity" baseline (de input ongewijzigd indienen).

3. Geometrische Heuristieken versus Gespecialiseerde Tools
Gesynthetiseerde geometrische baselines (centrum/schaal, PCA-gelijkenis, trimmed ICP) behaalden scores die vergelijkbaar met of beter waren dan de FPP-conditie. De sterkste geometrische probe (trimmed ICP) behaalde gemiddeld 0,41, wat bijna overeenkwam met PA (0,41) en hoger was dan FPP (0,36). Dit suggereert dat agenten in de Basic-conditie effectief gebruik maakten van eenvoudige, robuuste heuristieken die gespecialiseerde pakketten niet betrouwbaar konden repliceren in deze context.

4. Taakspecifieke Variabiliteit
Geen enkele pakketfamilie was een universele winnaar. Rigid/affine custom geometrie presteerde het best op sommige seriële alignement-families, terwijl pakketten zoals Spateo of PASTE uitblonken in andere. De benchmark beloonde lokale methode-selectie boven het simpelweg vergroten van de pakketbeschikbaarheid.

Betekenis en Claims

Het artikel claimt dat wetenschappelijke programmeeragenten moeilijk te sturen zijn naar effectieve gespecialiseerde tooling enkel door prompting en het voorzien van omgevingen.

• De "Alignment Gap": Er is een discrepantie tussen het vermogen van een agent om gespecialiseerde tools te gebruiken en het vermogen om ze effectief te gebruiken. Het toevoegen van scaffolding (pakkethints, vooraf geïnstalleerde omgevingen) induceert vaak onnodige transformaties, fragiele workflows en infrastructuurfouten die de algehele prestaties verlagen.
• Evaluatiefilosofie: De auteurs stellen dat wetenschappelijke agent-benchmarks ook de agent-traces en workflows moeten evalueren naast de uiteindelijke outputs. De "black box" van de uiteindelijke scores verbergt het feit dat agenten mogelijk terugvallen op verrassend performante heuristieken of falen door breekbare pakket-integratie.
• Nut van de Benchmark: De studie toont aan dat benchmark-artikelen kunnen worden hergebruikt als bronnen voor uitvoerbare, scorebare taken voor AI-agenten, wat een concreet geval biedt voor het evalueren van de methodologische validiteit in computationele genomica.
• Bescheiden Omvang: De auteurs benadrukken expliciet dat zij niet beweren dat ruimtelijke alignement de volledige reikwijdte van wetenschappelijke agent-evaluatie beslaat. Ze beschouwen dit als een casestudy die illustreert hoe gespecialiseerde tooling het gedrag van agenten kan veranderen, wat toekomstig werk noodzakelijk maakt om de generaliseerbaarheid over andere domeinen en modelfamilies te beoordelen.

Concluderend pleiten de auteurs voor een verschuiving van "hill-climbing" op geaggregeerde metrieken naar een gebruikersgerichte workflow waarbij wetenschappers de traces van agenten inspecteren om te begrijpen hoe oplossingen worden afgeleid, om ervoor te zorgen dat de wetenschappelijke validiteit van de aanpak niet wordt aangetast door de complexiteit van de gebruikte tools.