When Verification Passes the Wrong Calculator: A Human-Adjudicated Study of a Guarded Local LLM Pipeline

En el mundo de la medicina moderna, los médicos suelen confiar en herramientas especializadas para convertir los datos brutos de los pacientes en respuestas claras. Estas herramientas, conocidas como calculadoras clínicas, toman números específicos —como el peso, la edad o los resultados de un análisis de sangre de una persona— y aplican un conjunto fijo de reglas para producir una puntuación o una categoría que ayude a guiar el tratamiento. Durante años, estas herramientas han sido ejecutadas por computadoras que siguen instrucciones estrictas e inalterables, asegurando que las matemáticas sean siempre perfectas. Recientemente, ha surgido un nuevo tipo de programa informático: los modelos de lenguaje de gran tamaño. Estos son sistemas entrenados en vastas cantidades de texto que pueden leer la historia de un paciente, comprender el contexto e intentar elegir la calculadora adecuada y realizar el cálculo por usted. La esperanza es que estos sistemas puedan actuar como asistentes inteligentes, cerrando la brecha entre una narrativa médica desordenada y un resultado numérico preciso. Sin embargo, queda una pregunta crítica: si un programa informático dice haber realizado el cálculo correctamente, ¿significa eso que realmente eligió la herramienta adecuada para el trabajo en primer lugar?

Un equipo de investigadores de la Universidad del Sur de Florida se propuso probar precisamente esta cuestión utilizando un tipo específico de sistema informático diseñado para ser extra cuidadoso. Construyeron un flujo de trabajo que actúa como un guardián vigilante. Cuando se presenta un caso de un paciente, el sistema primero decide qué calculadora utilizar. Luego extrae los números necesarios del texto, realiza el cálculo utilizando un programa informático rígido y libre de errores, y finalmente verifica su propio trabajo intentando representar la respuesta de una manera diferente para ver si los números aún coinciden. Los investigadores querían saber si este control interno de consistencia era suficiente para garantizar la seguridad. Su estudio, que consistió en probar el sistema en más de mil registros y un conjunto separado de informes de casos médicos del mundo real, reveló una falla sorprendente y potencialmente peligosa. El sistema podía superar todas sus verificaciones internas y producir una respuesta matemáticamente consistente incluso cuando había seleccionado la calculadora completamente errónea para la condición del paciente.

Los investigadores evaluaron su sistema, al que llamaron CIBB-Guard, frente a una forma estándar de hacer preguntas directamente a la computadora. En una gran prueba que involucró más de mil registros, la mayoría de los cuales eran sintéticos o generados por computadora, el sistema guardado funcionó significamente mejor. Produjo la respuesta correcta para aproximadamente el sesenta por ciento de los casos, mientras que el enfoque directo solo tuvo éxito en aproximadamente el diez por ciento. Esta mejora provino de la capacidad del sistema para seleccionar una regla, extraer datos y verificar las matemáticas. Sin embargo, la verdadera prueba llegó cuando los investigadores analizaron casos en los que no se debería haber utilizado ninguna calculadora en absoluto. Tomaron setenta y siete informes de casos médicos desidentificados y pidieron a expertos humanos que los clasificaran como elegibles o no elegibles para las calculadoras que se estaban probando. En los casos donde las calculadoras no aplicaban, el sistema guardado se negó correctamente a dar una respuesta en veintiuna de las treinta y tres instancias. Pero en los doce casos restantes, el sistema proporcionó una respuesta con confianza, y esa respuesta pasó sus propias verificaciones internas.

Aquí es donde reside el descubrimiento central. En esos doce casos inapropiados, el sistema había elegido una calculadora que no encajaba con la historia del paciente, pero la matemática que realizó fue internamente consistente. El sistema verificó su trabajo representando los números en una forma alternativa, y las dos versiones coincidieron. Este acuerdo confirmó que la computadora había ejecutado la regla elegida correctamente, pero no confirmó que la regla fuera la adecuada para usar. De hecho, en casi todas estas respuestas incorrectas, la verificación interna pasó con éxito. El estudio encontró que la propia red de seguridad del sistema, diseñada para detectar errores de cálculo, era ciega al error de elegir la herramienta equivocada por completo. Cuando el sistema fue probado en casos donde una calculadora era realmente apropiada, solo logró producir cuatro respuestas correctas de cuarenta y cuatro, un resultado que no fue estadísticamente diferente del enfoque directo, resaltando que el sistema todavía lucha con la compleja tarea de emparejar la historia de un paciente con la regla correcta.

Los investigadores enfatizan que sus hallazgos no significan que el sistema sea inútil, sino que está incompleto. El estudio utilizó una versión única y congelada de un modelo computacional y una biblioteca específica de doce calculadoras. Los resultados muestran que, si bien el sistema puede mejorar la precisión de la ejecución matemática y reducir los errores aleatorios, aún no puede determinar si una calculadora es aplicable a un paciente específico sin la supervisión humana. El hecho de que el sistema pasara sus verificaciones internas en respuestas erróneas sugiere que confiar únicamente en la consistencia matemática no es suficiente para garantizar la seguridad clínica. Los autores concluyen que, antes de que tal sistema pudiera ser utilizado en un hospital, debe haber un control separado e independiente para verificar que la calculadora elegida es realmente apropiada para el caso, en lugar de simplemente verificar que las matemáticas cuadren. El trabajo sirve como una nota de advertencia de que una computadora puede ser perfectamente consistente mientras es completamente errónea respecto al contexto, y que en medicina, conseguir la herramienta correcta es tan importante como realizar el cálculo correctamente.