MetagenomicsBench: A Verifiable Benchmark for Agentic Metagenomics Analysis
Il documento introduce MetagenomicsBench, un benchmark verificabile composto da 100 valutazioni attraverso diversi domini metagenomici per valutare le capacità degli agenti di IA nell'analizzare dati microbiomici reali, rivelando che, sebbene le configurazioni più forti raggiungano un tasso di successo del 60%, gli agenti faticano frequentemente con l'interpretazione dei problemi, il ragionamento statistico e l'interpretazione biologica nonostante la competenza tecnica.