Forensic Reproducibility Audit of a Radiology Vision-Language Model Benchmark: From Intended Protocol to Released Artifact
Dit artikel presenteert een forensische reproduceerbaarheidsaudit van een benchmark voor visie-taalmodellen voor thoraxfoto's die kritieke discrepanties in de gegevensweergave, het traceren van het import- en oproepverloop om een gevolgtrekking over de promptbinding te ondersteunen, en statistische analyse blootlegde. Hoewel de fixed-cohort analyse 27/45 ongecorrigeerde en 20/45 Holm-gecorrigeerde vergelijkingen produceerde, werd de 28/45 resultaat wel degelijk gereproduceerd in een aparte pairwise available-case analyse waarbij elke vergelijking de eigen noemer gebruikte. Dit leidde tot de intrekking van de oorspronkelijke prestatie- en claims over automatische rapport-label discordantie en de voorstel van machine-verifieerbare controles om de integriteit van artefacten in de toekomst te waarborgen.