MetagenomicsBench: A Verifiable Benchmark for Agentic Metagenomics Analysis
Le papier présente MetagenomicsBench, un benchmark vérifiable comprenant 100 évaluations à travers divers domaines métagénomiques pour évaluer les capacités des agents d'IA dans l'analyse de données de microbiomes réelles, révélant que bien que les configurations les plus fortes atteignent un taux de réussite de 60 %, les agents éprouvent fréquemment des difficultés avec l'interprétation des problèmes, le raisonnement statistique et l'interprétation biologique malgré une compétence technique.