EpiBench: Verifiable Evaluation of AI Agents on Epigenomics Analysis
EpiBench is een verifieerbare benchmark voor epigenomische analyse met een korte horizon die AI-agenten evalueert op 106 realistische workflow-taken over vier assay-typen, waarbij wordt onthuld dat zelfs topmodellen zoals GPT-5.5 er niet in slagen een meerderheid aan succes te behalen vanwege moeilijkheden bij het toepassen van diepgaand, assay-specifiek wetenschappelijk oordeel, ondanks het feit dat zij vaak de juiste bestanden en tussenresultaten identificeren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een team hebt van zeer slimme, hoogopgeleide robotassistenten. Je wilt zien of ze kunnen optreden als deskundige wetenschappers bij het analyseren van complexe biologische data. Specifiek wil je weten of ze naar een rommelige stapel genetische "bonnetjes" (data van experimenten) kunnen kijken en het juiste verhaal kunnen ontdekken dat de data vertelt, precies zoals een menselijke expert dat zou doen.
Dit artikel introduceert een nieuwe test genaamd EpiBench om te zien hoe goed deze AI-robots in die specifieke taak zijn.
De Test: Een "Pop Quiz" voor AI-wetenschappers
Beschouw EpiBench als een reeks van 106 pop quizzes. Elke quiz geeft de AI een momentopname van een echt wetenschappelijk experiment dat halverwege is. De AI moet:
- De verstrekte bestanden en data bekijken.
- Een specifieke beslissing nemen (zoals "Welke monsters moeten we vergelijken?" of "Wat is het juiste aantal hier?").
- Een definitief antwoord geven.
De antwoorden worden automatisch nagekeken: het is ofwel goed of fout. Er bestaat geen "bijna goed".
De Resultaten: De Robots Zijn Nog Aan het Leren
De onderzoekers hebben 16 verschillende combinaties van AI-modellen en programmeertools getest. De kern van de zaak is: geen van hen heeft de meerderheid van de quizzen gehaald.
- De Beste Presteerder: Het beste team (een model genaamd GPT-5.5 gekoppeld aan een specifieke programmeertool) had in slechts 45% van de gevallen het juiste antwoord. Dat betekent dat ze meer dan de helft van de tijd faalden.
- De Rest: De andere teams presteerden nog slechter, met slagingspercentages variërend van ongeveer 12% tot 39%.
Het is alsovend als het afleggen van een rijexamen waarbij de beste bestuurder slechts 45 van de 100 keren slaagt. Ze zijn nog niet klaar om alleen te rijden.
Waarom Faalden Ze?
Het artikel stelt vast dat de robots niet falen omdat ze de bestanden niet kunnen lezen of de software niet kunnen draaien. Sterker nog, ze krijgen het eerste deel van de taak vaak goed.
- Het "Slim maar Fout"-problek: De AI kan de juiste bestanden vinden en de berekeningen uitvoeren, maar raakt dan in de war over wat de wiskunde betekent.
- De Analogie: Stel je een robotkok voor die perfect groenten kan snijden en water kan koken (de technische vaardigheden). Maar wanneer het aankomt op het proeven van de soep en beslissen of er zout bij moet, gokt de robot op basis van hoe hij denkt dat soep zou moeten smaken, in plaats van de werkelijke pot voor hem te proeven.
- Specifieke Fouten: De robots maken vaak de volgende fouten:
- Ze gebruikten de verkeerde eenheid van meting (zoals meten in inches in plaats van centimeters).
- Ze pasten een regel uit een tekstboek toe die niet paste bij de specifieke data voor hen.
- Ze negeerden het eigenlijke bewijs in de bestanden omdat ze vertrouwden op een "bekend" verhaal dat ze kenden uit hun trainingsdata.
Het Oordeel
Het artikel concludeert dat hoewel AI-agenten beter worden in het uitvoeren van het werk (het draaien van de code, het vinden van de bestanden), ze nog steeds erg onbetrouwbaar zijn in het beoordelen van het werk. Ze hebben moeite met het maken van de specifieke, genuanceerde wetenschappelijke beslissingen die nodig zijn om epigenomische data correct te interpreteren.
Kortom: de robots hebben de handen om het werk te doen, maar ze hebben nog niet het "wetenschappelijke onderbuikgevoel" om te weten of het resultaat zinvol is. Ze hebben meer training nodig voordat ze erop kunnen worden vertrouwd om dit type data zelfstandig te analyseren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.