Forensic Reproducibility Audit of a Radiology Vision-Language Model Benchmark: From Intended Protocol to Released Artifact

Imagina un mundo donde los científicos construyen detectives digitales para leer radiografías y decirle a los médicos qué es lo que está mal. Estos detectives son un tipo especial de programa informático llamado "Modelo de Visión-Lenguaje". Piensa en ellos como robots súper inteligentes que pueden mirar la imagen de un tórax y luego escribir un informe, tal como lo haría un médico humano. Para ver si estos robots son buenos, los investigadores crean "benchmarks" (puntos de referencia). Un benchmark es como un examen estandarizado: le muestras al robot 30 radiografías, le haces preguntas específicas y luego revisas sus respuestas contra un "estándar de oro" para ver cuántas acertó. Todo el mundo asume que si el examen está escrito en un artículo, el ordenador hizo exactamente lo que dice el papel. Pero, ¿qué pasaría si el ordenador tomara un atajo? ¿Qué pasaría si las preguntas del examen se intercambiaran, o si las radiografías se voltearan boca abajo, y nadie se diera cuenta hasta años después? Este es el aterrador vacío entre lo que decimos que hicimos y lo que el ordenador realmente hizo.

Este artículo es una historia de detective forense sobre uno de esos exámenes digitales. El autor, Mateusz Kozłowski, decidió desempeñar el papel de un investigador de la escena del crimen digital. No volvió a realizar la prueba; en su lugar, examinó la "escena del crimen" (los archivos y el código informático) dejada por un estudio previo. Quería ver si la historia contada en el informe final coincidía con la realidad de los archivos en el disco duro. Descubrió que la historia y la realidad eran muy diferentes. El estudio afirmaba comparar dos formas distintas de hacer preguntas al robot, pero al rastrear la ruta de importación y de llamada preservada en el código, el autor pudo inferir que el sistema no estaba vinculando las preguntas correctamente. El código mostraba que, en realidad, se le había hecho la misma pregunta dos veces. Afirmaba utilizar 30 pacientes diferentes, pero los archivos mostraban que solo había 28. Afirmaba utilizar imágenes de rayos X perfectas, pero cuatro de ellas estaban volteadas de la forma incorrecta, como si fueran una imagen de espejo de un tórax. Debido a estos errores, las puntuaciones y clasificaciones finales en el informe original eran erróneas. El autor concluye que los resultados del test original no pueden confiarse para decirnos qué tan bien funcionan realmente los robots, y propone un nuevo conjunto de "reglas de máquina" para asegurar que los exámenes futuros no tengan estos fallos ocultos.

El Informe del Detective Digital

La Configuración: Un Test que no fue un Test
Imagina que eres un profesor dando un examen de matemáticas. Le dices a la clase: "Voy a darles dos versiones diferentes del examen, la Versión A y la Versión B, para ver cuál es más difícil". Repartes los papeles, los recoges y los calificas. Pero cuando revisas tu clave de respuestas más tarde, te das cuenta de que accidentalmente le diste a todos los estudiantes exactamente el mismo papel de la Versión C. Pensaste que estabas probando la diferencia entre A y B, pero solo estabas probando cómo les iba a los estudiantes con la C dos veces.

Eso es exactamente lo que ocurrió en este estudio. Los investigadores querían ver si hacerle a la IA médica dos preguntas diferentes (Prompt A y Prompt B) cambiaría las respuestas. Realizaron la prueba en 30 radiografías de tórax. Sin embargo, cuando el autor indagó en el código informático, rastreando cómo se importaban y llamaban las instrucciones, encontró un "fallo" en el sistema de entrega. El código debía alternar entre el Prompt A y el Prompt B, pero debido a un error de programación (específicamente, en la ruta de importación y ejecución), ambos grupos de preguntas fueron enviados en realidad como el Prompt C. Por lo tanto, las 60 veces que se le pidió al ordenador que respondiera, en realidad estaba respondiendo a la misma pregunta 60 veces. El estudio pretendía encontrar una diferencia entre A y B, pero como A y B nunca ocurrieron, esa diferencia era un fantasma.

El Confusión de la Radiografía
A continuación, imagina que estás mirando una foto en blanco y negro. Si la foto se imprime en "negativo" (donde lo negro es blanco y lo blanco es negro), podrías pensar que una mancha oscura es en realidad una mancha clara. En el mundo de las imágenes médicas, existen dos tipos de configuraciones de blanco y negro: una donde lo oscuro significa "hueso" y otra donde lo oscuro significa "aire". El estudio afirmaba utilizar radiografías estándar. Pero el autor descubrió que cuatro de las imágenes estaban en la configuración de "aire", y el código del ordenador olvidó voltearlas a la configuración de "hueso" antes de mostrárselas a la IA.

Es como servirle a un cliente una hamburguesa con el pan abajo y la carne arriba, y luego afirmar que serviste una "hamburguesa estándar". La IA vio una imagen invertida, no la real. Esto significó que la IA estaba tomando decisiones basadas en una realidad distorsionada, no en la radiografía real.

El Conteo de Pacientes y los Archivos Faltantes
El estudio decía que utilizó 30 pacientes diferentes. Pero cuando el autor contó los archivos, descubrió que dos pacientes habían aparecido dos veces, lo que significaba que solo había 28 personas únicas. Es como un pase de lista de clase donde dos estudiantes se anotaron dos veces, haciendo que parezca que hay 30 niños cuando en realidad hay 28. Esto es importante porque si la misma persona aparece dos veces en la prueba, sesga los resultados.

Además, el estudio tenía planeadas 300 respuestas (30 radiografías × 10 modelos de IA diferentes). Pero cuando el autor revisó los archivos, tres de ellos faltaban o estaban vacíos. Dos archivos estaban completamente en blanco (c cero bytes) y uno simplemente había desaparecido. El informe original pretendía que estos eran respuestas exitosas, pero en realidad eran fallos. Es como un profesor calificando un examen y dándole una nota a un estudiante aunque el estudiante haya dejado el papel en blanco.

La Matemática "Mágica"
Debido a estos errores, la matemática en el artículo original era errónea. Los autores habían calculado una puntuación llamada "estadístico de Cochran" para ver si los modelos eran diferentes. El artículo original decía que la puntuación era 154.73. Cuando el autor corrigió la matemática utilizando los datos correctos y completos (369 bloques de información en lugar de la versión desordenada e incompleta), la puntuación saltó a 182.29.

El artículo original también afirmaba que 26 de 45 comparaciones mostraron una diferencia "significativa". Sin embargo, tras realizar el análisis con la cohorte corregida, el autor encontró que 27 de 45 comparaciones eran significativas sin ajustar y 20 de 45 lo eran tras el ajuste de Holm. Es importante notar que el resultado de 28/45 mencionado originalmente sí se reprodujo en un análisis por pares de casos disponibles por separado, donde cada comparación utilizaba su propio denominador. Aunque estos números parecen similares, el significado es totalmente distinto porque los datos en los que se basaron eran defectuosos. La afirmación original de que "el Modelo A es mejor que el Modelo B" se basó en una prueba que nunca ocurrió de verdad.

El Lanzamiento "Obsoleto"
Aquí es donde reside la parte más frustrante. Cuando los investigadores se dieron cuenta de su error y corrigieron los números en su artículo escrito, olvidaron actualizar los archivos digitales que compartieron con el mundo. Subieron un artículo "revisado", pero el archivo zip que adjuntaron todavía tenía los números viejos y erróneos y los nombres antiguos de los modelos. Es como un chef que corrige una receta en un libro de cocina pero olvida cambiar la lista de ingredientes en el sitio web. Cualquiera que descargara el archivo obtuvo la versión vieja y rota.

La Solución: Un Nuevo Libro de Reglas
El autor no solo señala los errores; construye un nuevo libro de reglas para evitar que esto vuelva a suceder. Él llama a esto el "Contrato de Benchmark". Imagina un contrato que obliga a un ordenador a demostrar que hizo lo correcto antes de que se le permita publicar una puntuación.

Este contrato tiene ocho reglas:

1. Contrato de Cohorte: Demuestra que tienes el número correcto de pacientes únicos.
2. Contrato de Píxel: Demuestra que las imágenes de rayos X no fueron volteadas o están rotas.
3. Contrato de Prompt: Demuestra que la IA recibió la pregunta específica que le hiciste, no una diferente.
4. Contrato de Modelo: Demuestra que utilizaste la versión exacta de la IA que dijiste que usaste.
5. Contrato de Output: Demuestra que el archivo de respuesta no está vacío.
6. Contrato de Anotación: Demuestra que las etiquetas (como "enfermo" o "sano") fueron asignadas correctamente.
7. Contrato de Análisis: Demuestra que la matemática se realizó sobre los grupos de datos correctos.
8. Contrato de Lanzamiento: Demuestra que los archivos que compartes coinciden con el artículo que escribiste.

El autor construyó un conjunto de 36 pruebas automatizadas (como un inspector robótico) que comprueban estas reglas. Si una prueba falla, el sistema se detiene y dice: "No, no puedes publicar esto todavía".

La Conclusión Final
La gran conclusión es que las afirmaciones del estudio original sobre qué tan bien funcionan estos modelos de IA han sido retiradas. El autor es muy claro: los resultados originales son inválidos. No puedes confiar en las clasificaciones o en el modelo "mejor" porque la prueba estaba rota. Lo único que se puede salvar es la historia de cómo se rompió.

El autor sugiere que, en el futuro, necesitamos usar estos contratos verificables por máquinas. No podemos simplemente confiar en que el ordenador haga lo que le pedimos; necesitamos que el ordenador lo demuestre. Este artículo no nos da un modelo de IA nuevo y mejor; en su lugar, nos da una mejor manera de asegurar que las pruebas que usamos para juzgar a la IA sean realmente justas y reales. Es un recordador de que en la era digital, si no revisas el código, podrías estar calificando un examen que nunca sucedió.