Preferred, Not Safer: Pairwise Preference Is a Poor Proxy for Clinical Safety

Imagina que estás tratando de elegir al mejor chef para una nueva cafetería de un hospital. Tienes una lista de chefs famosos y le pides a un grupo de médicos que prueben sus platos. Los médicos votan por el plato que parece más apetitoso y sabe mejor en el momento. Naturalmente, asumes que el chef con más votos es el más seguro y confiable para contratar. Pero, ¿qué pasaría si el plato "más atractivo" estuviera hecho en realidad con ingredientes caducados, o si el chef más "seguro" fuera simplemente muy bueno hablando de su comida mientras sirve algo peligroso? Este es el complicado mundo de los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés): programas informáticos superinteligentes que pueden escribir, charlar y resolver problemas como los humanos. Los científicos utilizan la preferencia de pares (preguntar a expertos si prefieren "A o B") para determinar cuál es la IA "mejor". Pero en campos de alto riesgo como la medicina, ser el "favorito" no siempre significa ser el "más seguro". Si una IA da una respuesta médica errónea pero lo hace con gran estilo, podría ganar el voto, incluso si pudiera dañar a un paciente. Este artículo plantea una pregunta crítica: cuando los médicos eligen la IA que más les gusta, ¿están eligiendo realmente la que no cometerá errores peligrosos?

Los investigadores detrás de este estudio, que trabajan en el Laboratorio LiGHT en Suiza, decidieron poner a prueba esta suposición utilizando una plataforma masiva llamada MOOVE (Evaluación y Validación en Línea Masiva Abierta). Reunieron a más de 736 médicos de más de 28 países para actuar como jueces. Estos médicos examinaron 13 modelos diferentes de IA y tuvieron que elegir qué respuesta era mejor en una prueba de sabor a ciegas (preferencia de pares). Pero aquí está el giro: mientras votaban, los médicos también otorgaban a cada respuesta una puntuación de seguridad estricta, como una boleta de calificaciones que iba desde -2 (muy peligroso) hasta +2 (muy seguro). Verificaron dos cosas específicas: la inocuidad (¿sugirió la IA algo arriesgado?) y la precisión (¿era correcto el hecho médico?).

Los resultados fueron un poco impactantes. El estudio encontró que los modelos de IA que ganaron la mayoría de los "votos de popularidad" eran a menudo los mismos que tenían las tasas más altas de errores peligrosos. Es como un estudiante que obtiene una A por su caligrafía y confianza, pero reprueba el examen de matemáticas porque se equivocó en los números. De hecho, los investigadores descubrieron que el modelo mejor clasificado en el estudio (GPT-OSS) tenía una tasa de fallo del 18.0% en cuanto a la inocuidad, lo que significa que casi uno de cada cinco de sus respuestas era potencialmente inseguro. Mientras tanto, un modelo más cauteloso y menos "llamativo" en el conjunto de datos tenía una tasa de fallo mucho menor del 7.2%, pero clasificó mucho más bajo en el concurso de popularidad. El estudio señala que, debido a que estos modelos fueron probados en diferentes tipos de preguntas médicas, no podemos decir que uno sea estrictamente "mejor" que el otro en una carrera directa, pero la brecha resalta una advertencia crucial: los modelos que la gente más quería no eran necesariamente los que tenían los historiales más seguros. El estudio sugiere que los médicos fueron a menudo engañados por características superficiales: la IA que escribía respuestas más largas, detalladas y de sonido más seguro ganó los votos, incluso si esas respuestas eran médicamente erróneas o riesgosas.

Los investigadores profundizaron para ver por qué sucedía esto. Descubrieron que la "señal de seguridad" (la corrección médica real) a menudo era opacada por la "señal de estilo" (qué tan largo y claro parecía el texto). En su análisis, la longitud y la claridad de la respuesta explicaban un poco más sobre por qué un médico elegía un ganador que la seguridad real de la respuesta. Es como si los jueces estuvieran votando por el chef que escribió la descripción más larga del menú, ignorando el hecho de que la sopa estaba fría.

Aún más preocupante, el estudio mostró que estos riesgos no se distribuyen de manera uniforme; están concentrados en "zonas prohibidas" específicas. Por ejemplo, cuando la IA intentaba leer imágenes de monitores cardíacos (ECG), fallaba un asombroso 89.9% de las veces. En otras áreas, como la cirugía general, era casi perfecta. Esto significa que una "tabla de clasificación" global que simplemente dice "El Modelo X es el #1" es peligrosa porque oculta el hecho de que el Modelo X podría ser un desastre en situaciones específicas y críticas.

Para solucionar esto, los autores proponen una nueva forma de clasificar estos modelos. En lugar de solo contar quién ganó más votos, sugieren una Tabla de Clasificación Ajustada por Seguridad. Este sistema tomaría los votos de popularidad y luego los contrastaría con las puntuaciones de seguridad estrictas. Si una IA gana un voto pero dio una respuesta peligrosa, su rango sería disminuido. Cuando aplicaron este ajuste, las clasificaciones cambiaron drásticamente. Algunos modelos que anteriormente estaban en la parte inferior subieron rápidamente a la cima porque eran realmente más seguros, mientras que los ganadores "llamativos" cayeron.

El artículo concluye que no podemos confiar en los "concursos de popularidad" para decirnos si una IA es segura para el uso médico. El hecho de que una IA suene bien o parezca inteligente no significa que sea confiable. Los investigadores sugieren que, en lugar de buscar un único "mejor" modelo, necesitamos observar las tasas de fallo específicas y ser honestos sobre dónde la IA podría fallar. Advierten que confiar en las puntuaciones simples de preferencia es como contratar a un piloto porque tiene la voz más suave, sin verificar si realmente sabe volar el avión. En el mundo de la IA médica, ser el más querido no es lo mismo que ser el más seguro.