Standard guardrails impose a safety-critical omission tax on clinical large language models that a downstream verification layer reverses: a retrospective multi-cohort evaluation

Resumen Técnico: Los Guardarraíles Estándar Imponen un Impuesto de Omisión de Seguridad Crítica en los Modelos de Lenguaje de Gran Escala Clínicos

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLM) clínicos desplegados para el soporte de decisiones sufren dos modos de falla de seguridad distintos: comisión (alucinaciones confiadas o afirmaciones no sustentadas) y omisión de seguridad crítica (falta de mención de estudios indicados, contraindicaciones, escalamientos o diferenciales de alta agudeza). Mientras que los sistemas de salud implementan ampliamente pilas de "guardarraíles" (guardrails) para mitigar los errores de comisión, el impacto empírico de estos guardarraíles en las tasas de omisión permanece insuficientemente caracterizado. Los marcos teóricos sugieren que la alucinación es una propiedad estructural de los modelos basados en transformadores que no puede eliminarse mediante capas colocadas sobre el modelo, y que la seguridad y la precisión siguen leyes de escala diferentes. En consecuencia, las propiedades de seguridad deben ser impuestas por capas externas al modelo generativo. Este estudio investiga si los guardarraíles estándar aumentan inadvertidamente las tasas de omisión (un "impuesto de omisión") y si una capa de verificación descendente puede revertir este efecto sin reintroducir errores de comisión.

Metodología
Los autores realizaron una evaluación retrospectiva, preespecificada y de múltiples cohortes que involucró tres familias de LLM de frontera: GPT-5.5, Gemini 3.1 Pro y Claude Opus 4.7. El estudio utilizó un corpus libre de contaminación de 1,363 casos y sondas clínicas, asegurando que no hubiera solapamiento con los datos de preentrenamiento de los modelos mediante filtrado de 8-gramas.

El estudio comparó tres configuraciones a través de los modelos:

1. Modelo Base (Bare Model): Salida directa sin intervención.
2. Pila de Guardarraíles Estándar: Un sistema de cuatro componentes que comprende un prompt de sistema de seguridad clínica, filtros de moderación de contenido, generación aumentada por recuperación (RAG) con fundamentación de citas y un clasificador de peligros aprendido.
3. Marco de Verificación: La pila estándar más una capa de verificación descendente que modifica la respuesta antes de su devolución. Esta capa incluye:
   • Un certificado de Red Neuronal Lógica (LNN) sobre una biblioteca curada de reglas clínicas (3,162 reglas).
   • Un panel de seis agentes de verificación especialistas (por ejemplo, interacción de fármacos, cumplimiento de guías) que requieren consenso para ascensos de triaje.
   • Un módulo de descomposición de conceptos que emite declaraciones de brecha de atribución residual.

El estudio empleó comparaciones pareadas a través de cuatro cohortes principales (incluyendo casos estratificados por peligro y sondas de comisión) y tres cohortes suplementarias (adversaria, condiciones fabricadas y ablación de agentes). El análisis estadístico utilizó pruebas exactas de McNemar e intervalos de confianza de Newcombe para datos pareados.

Resultados Clave

• El Impuesto de Omisión: La pila de guardarraíles estándar redujo con éxito los errores de comisión pero aumentó significativamente las tasas de omisión de seguridad crítica. En 921 ejecuciones de casos pareados, la tasa de omisión aumentó del 17.6% (modelo base) al 30.1% (guardarraíles estándar), lo que representa un "impuesto de omisión" de 12.5 puntos porcentuales.
• Reversión por la Capa de Verificación: El marco de verificación descendente redujo la tasa de omisión al 17.1%, regresándola efectivamente al nivel del modelo base. La reducción absoluta pareada entre la configuración de solo guardarraíles y la configuración del marco de verificación fue de 16.46 puntos porcentuales (IC Newcombe 95% 10.93 a 21.86; $P = 1.32 \times 10^{-23}$).
• Tasas de Captura y Omisión (Catch and Miss): El marco de verificación capturó el 49.0% de las omisiones de seguridad crítica que los guardarraíles estándar omitieron. Crucialmente, no omitió ninguna de las omisiones que los guardarraíles ya habían capturado, demostando un comportamiento estrictamente aditivo en el eje de captura.
• Impacto en la Comisión: El marco de verificación redujo la omisión sin aumentar la comisión. Sin embargo, cuando el mismo marco se desplegó meramente como texto de asesoría (anexado a la salida sin modificar el flujo de generación de la respuesta), aumentó los errores de comisión en 4.44 puntos porcentuales ($P=0.0015$). Esto resalta que modificar el flujo de generación de la respuesta es esencial para la seguridad.
• Ablación de Componentes: Tanto el certificado LNN como el panel de agentes especialistas mejoraron individualmente la comprehensividad respecto a los guardarraíles estándar. El marco completo dominó estrictamente a cualquiera de los componentes por sí solo, indicando señales no redundantes.
• Generalizabilidad: El patrón de resultados se mantuvo a través de las tres familias de modelos, lo que sugiere que los hallazgos son arquitectónicos y no específicos del modelo.

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera evidencia empírica de que las pilas de guardarraíles estándar, aunque efectivas contra las alucinaciones, imponen un impuesto de omisión de seguridad crítica significativo en los LLM clínicos. El estudio demuestra que una capa de verificación descendente, específicamente una que modifica el flujo de generación de la respuesta en lugar de simplemente anexar texto, puede revertir este impuesto manteniendo bajas tasas de comisión.

Los autores enmarcan estos resultados como una necesidad arquitectónica: debido a que la alucinación es una propiedad estructural de los transformadores, las propiedades de seguridad deben ser impuestas externamente. El estudio argumenta que el impuesto de omisión es una propiedad emergente de la composición de los cuatro componentes de los guardarraíles, no un artefacto de un solo componente.

Limitaciones y Trabajo Futuro
Los autores señalan explícitamente las siguientes limitaciones:

• El estudio es retrospectivo; los puntos finales clínicos son sustitutos (tasas de omisión/comisión) en lugar de medidas directas de daño evitado al paciente.
• Los datos provienen de una única organización de proveedores de EE. UU. multiestatal con una mezcla de casos de Medicaid, lo que limita la generalizabilidad a otras poblaciones o especialidades.
• La evaluación depende de jueces de LLM calibrados frente a médicos, lo que sigue siendo un compromiso metodológico.
• Los modelos evaluados son familias de frontera específicas disponibles en el momento del estudio (abril de 2026).

El artículo concluye que un ensayo controlado aleatorizado prospectivo que compare la pila de guardarraíles estándar con y sin el marco de verificación sobre resultados clínicos significativos para el paciente es el siguiente paso necesario antes de su despliegue rutinario. El presente trabajo sirve como precursor de dicho ensayo, adhiriéndose a los estándares de reporte SPIRIT-AI y CONSORT-AI.