Deployment protocol and base model jointly determine residual risk in rule-based clinical LLM supervision

Imagina que acabas de construir un asistente robótico superinteligente, uno capaz de leer expedientes médicos y sugerir tratamientos. Estás emocionado, pero también sabes que incluso los robots más inteligentes pueden, a veces, inventar hechos, dar consejos peligrosos o confundirse con preguntas complicadas. Este es el mundo de los Modelos de Lenguaje Extensos (LLM) Clínicos: herramientas de IA potentes diseñadas para ayudar a los médicos, pero que conllevan un riesgo real de cometer errores que podrían dañar a los pacientes. Para mantener la seguridad, los científicos han estado construyendo "barandillas" (guardrails)—redes de seguridad digitales que revisan las respuestas del robot antes de que alguien las vea. Pero aquí está la gran pregunta: ¿funciona una red de seguridad de la misma manera en todos los robots? Y, ¿qué sucede si eliminas el plan de respaldo humano? Este artículo profundiza exactamente en eso, probando si un conjunto específico de controles de seguridad basados en reglas puede mantener seguros a diferentes modelos de IA, y cuánto riesgo permanece si intentamos dejarlos funcionar de forma completamente autónoma.

Los investigadores configuraron un "centinela" digital—un árbitro estricto que sigue reglas, compuesto por cinco puertas diferentes—para vigilar a cinco modelos de IA diferentes (que van desde modelos de código abierto más pequeños hasta modelos comerciales masivos y de primer nivel). Probaron estos modelos en dos tipos de escenarios médicos: casos ficticios diseñados para engañar a la IA, y casos de la vida real extraídos de registros hospitalarios. Realizaron las pruebas en dos modos muy diferentes. El primer modo, "Handoff-On" (Traspaso Activado), es como tener a un supervisor humano parado justo al lado del robot. Si el centinela detecta una mala respuesta, la bloquea y la envía a un médico humano para que la corrija o la revise. El segundo modo, "Handoff-Off" (Traspaso Desactivado), es el modo "autónomo": el robot tiene que hacer el trabajo por su cuenta. Si el centinela detecta una mala respuesta aquí, no hay un humano para salvar el día; la respuesta original, potencialmente peligrosa, podría filtrarse, o el sistema simplemente tiene que lidere el desastre.

Los resultados fueron una mezcla de "grandes noticias" y "precaución, proceda con cuidado". Cuando el supervisor humano estaba presente (Handoff-On), la red de seguridad funcionó increíblemente bien para todos los modelos. Sin importar qué IA probaran, la tasa de respuestas peligrosas que llegaban al usuario se mantuvo por debajo del 6%. Era como tener un portero en un club que atrapaba a casi todos los alborotadores. Sin embargo, el costo de esta seguridad variaba drásticamente. Los modelos más débiles (como Qwen 7B y Llama 8B) necesitaban ser detenidos y enviados a un humano para recibir ayuda en casi la mitad de los casos. Los modelos más fuertes (como Sonnet 4.5 y Gemma 4) apenas necesitaban ayuda, dejando pasar directamente más del 99% de sus respuestas.

Pero cuando apagaron al supervisor humano (Handoff-Off), la historia cambió por completo. La seguridad del sistema dependía repentinamente de qué robot estuvieras usando. Los modelos más fuertes se mantuvieron seguros, con las respuestas peligrosas permaneciendo muy bajas (alrededor del 0% al 2%). Pero, ¿los modelos más débiles? Su seguridad colapsó. Sin un humano para atraparlos, la tasa de respuestas peligrosas saltó entre un 13% y casi un 50%. El artículo encontró que la clave de esta diferencia fue qué tan bien podía la IA "autocorregirse". Cuando el centinela le decía a un modelo fuerte: "Oye, cometiste un error, inténtalo de nuevo", el modelo fuerte usualmente lo corregía. Los modelos más débiles, sin embargo, a menudo no podían corregir sus propios errores, especialmente si fallaban en el formato básico de su respuesta.

Los investigadores también probaron qué sucede si intentas "ajustar" (fine-tune/re-entrenar) un modelo para hacerlo mejor en tareas específicas. Sorprendentemente, esto a veces hacía que el modelo fuera peor siguiendo las reglas de seguridad, causando que rompiera sus propias reglas de formato. Sin embargo, incluso en estos casos, el centinela basado en reglas fue lo suficientemente robusto como para detectar los errores y mantener la salida final segura. Incluso probaron un modelo masivo de 70 mil millones de parámetros en casi 3,000 escenarios del mundo real de tres hospitales diferentes, y esto confirmó la tendencia: con un respaldo humano, era perfectamente seguro; sin él, seguía siendo muy seguro, pero no tan perfecto como los principales modelos comerciales.

Un experimento final, crucial, involucró a un médico humano revisando las respuestas finales de la IA. El médico encontró que, si bien las reglas de seguridad detectaban errores obvios, pasaban por alto algunos errores sutiles pero peligrosos en el razonamiento médico. Por ejemplo, la IA podría seguir todas las reglas de seguridad perfectamente y, aun así, sugerir la dosis incorrecta de un fármaco porque malinterpretó un resultado de laboratorio. Esto demuestra que, aunque el centinela basado en reglas es una red de seguridad fantástica para detectar errores estructurales, no es un sustituto del cerebro de un médico. El artículo concluye que, si queremos usar estas herramientas de IA en los hospitales, necesitamos elegir el modelo adecuado para el trabajo y ser honestos sobre si tenemos a un humano listo para intervenir. No puedes asumir que una red de seguridad funciona igual para todos los robots, y definitivamente no puedes dejar que los robots más débiles lleven el control solos.