Safety and accuracy follow different scaling laws in clinical large language models

Resumen Técnico: La Seguridad y la Precisión Siguen Leyes de Escalado Diferentes en Modelos de Lenguaje Grandes Clínicos

Declaración del Problema
Los Modelos de Lenguaje Grandes (LLM) clínicos se despliegan cada vez más para el apoyo a la toma de decisiones, a menudo bajo la suposición de que escalar el tamaño del modelo, la longitud del contexto o la capacidad de cómputo en tiempo de inferencia mejorará inherentemente la seguridad. Sin embargo, en dominios clínicos como la radiología, la seguridad no es meramente una función de la precisión promedio. Un modelo puede alcanzar una alta precisión mientras retiene un subconjunto pequeño de errores de "alto riesgo": respuestas incorrectas que podrían alterar la gestión clínica, contradecir la evidencia o ser entregadas con una sobreconfianza peligrosa. Las pruebas de referencia convencionales a menudo tratan todas las respuestas incorrectas como equivalentes, fallando en distinguir entre errores benignos y aquellos con consecuencias clínicas graves. Los autores postulan que los errores relevantes para la seguridad son escasos, asimétricos y clínicamente estructurados, lo que significa que las estrategias de escalado que mejoran el rendimiento promedio pueden no mitigar estos modos de fallo específicos y de alto riesgo.

Metodología
Para abordar esta brecha, los autores introducen SaFE-Scale (Evaluación Centrada en la Seguridad del Escalado), un marco para medir cómo cambia la seguridad de los LLM clínicos a través del tamaño del modelo, la calidad de la evidencia, la estrategia de recuperación, la exposición al contexto y el cómputo en tiempo de inferencia.

1. Construcción de la Prueba de Referencia (RadSaFE-200): El estudio utiliza RadSaFE-200, una prueba de evaluación centrada en la seguridad de radiología que comprende 200 preguntas de opción múltiple. El conjunto de datos se agrupa a partir de conjuntos previamente publicados (RadioRAG, RaR) y casos recientemente curados. Crucialmente, cada pregunta incluye:

   • "Evidencia limpia" definida por clínicos (razonamiento clínico conciso y correcto).
   • "Evidencia de conflicto" (evidencia limpia más una oración distractora o parcialmente conflictiva).
   • Etiquetas de seguridad a nivel de opción que indican si una elección de respuesta específica constituye un error de alto riesgo (daño clínico plausible), una respuesta insegura (contradice el estándar de atención) o una contradicción de la evidencia.

2. Diseño Experimental: Los autores evaluaron 34 LLM desplegados localmente de siete familias (Qwen, Llama, Gemma, MedGemma, DeepSeek, Mistral, OpenAI-OSS) que abarcan desde 0.5B hasta 685B parámetros. La evaluación siguió un diseño factorial completo a través de seis condiciones de despliegue:

   • Libro cerrado: Prompts de cero disparos sin evidencia externa.
   • Evidencia limpia: Prompts con evidencia curada y escrita por clínicos.
   • Evidencia de conflicto: Prompts con evidencia que contiene un distractor.
   • RAG Estándar: Generación Aumentada por Recuperación utilizando una tubería fija y Radiopaedia como fuente.
   • RAG Agéntico: Marco de Recuperación y Razonamiento (RaR) que involucra reformulación de consultas y síntesis en múltiples pasos.
   • Máximo contexto: Prompts con la ventana de contexto máxima posible.

   Experimentos secundarios investigaron el cómputo en tiempo de inferencia mediante autoconsistencia (votación mayoritaria sobre 20 muestras) y ensambles fijos de tres modelos (votación mayoritaria a través de modelos heterogéneos).

3. Métricas: Los resultados principales incluyeron la tasa de errores de alto riesgo, la tasa de respuestas inseguras, la tasa de contradicción y la sobreconfianza peligrosa (definida como una respuesta incorrecta de alto riesgo con confianza normalizada por entropía $\ge$ 0.80). La precisión se reportó como un resultado secundario.

Resultados Clave
El estudio demuestra que la seguridad y la precisión se desacoplan significativamente a través de las condiciones de despliegue:

• La Calidad de la Evidencia Domina: La mejora más significativa tanto en precisión como en seguridad provino de proporcionar evidencia limpia y escrita por clínicos. Esto desplazó la precisión promediada por modelo del 73.5% (libro cerrado) al 94.1% y redujo los errores de alto riesgo del 12.0% al 2.6%. La sobreconfianza peligrosa disminuyó del 8.0% al 1.6%.
• Limitaciones de la Recuperación y el Razonamiento Agéntico: Aunque el RAG Estándar y el RAG Agéntico mejoraron la precisión sobre el prompts de libro cerrado (76.0% y 78.1%, respectivamente), no lograron reproducir el perfil de seguridad de la evidencia limpia. El RAG Agéntico, a pesar de mejorar la precisión sobre el RAG Estándar, resultó en una mayor sobreconfianza peligrosa (8.0% vs. 5.7%), lo que indica que una mejor integración de la evidencia no elimina automáticamente errores de alto riesgo con confianza.
• Ineficacia del Escalado y el Cómputo:
  • Escala del Modelo: Dentro de las familias de modelos, parámetros más grandes mejoraron las líneas base de libro cerrado, pero no eliminaron los errores de alto riesgo. La evidencia limpia comprimió la variación entre familias, sugiriendo que la calidad de la evidencia es un determinante más fuerte de la seguridad que el tamaño del modelo.
  • Longitud del Contexto: Los prompts de máximo contexto aumentaron la latencia (27.0s vs. 18.0s) sin cerrar la brecha de seguridad, arrojando una precisión similar a la del prompts de libro cerrado (74.0%).
  • Cómputo en Tiempo de Inferencia: La autoconsistencia proporcionó solo ganancias marginales en precisión (+0.39%) y seguridad, fallando en reducir significativamente los errores de alto riesgo.
  • Ensambles: Aunque los ensambles mejoraron la precisión agregada en relación con el promedio del panel, introdujeron fallos sincronizados, donde los tres miembros seleccionaron la misma opción incorrecta. Muchos errores de alto riesgo de los ensambles fueron unánimes, y los ensambles no superaron consistentemente al miembro individual más seguro.
• La Confianza como Señal: Se encontró que la confianza es un filtro de seguridad poco fiable. Los modelos mantuvieron una alta confianza (a menudo >85%) incluso cuando producían errores de alto riesgo o inseguros. La brecha entre la confianza en respuestas correctas y errores de alto riesgo fue demasiado pequeña para servir como filtro de despliegue.
• Concentración del Peor Caso: Las fallas con consecuencias clínicas no fueron aleatorias; se concentraron en un subconjunto pequeño de preguntas. Las 15 preguntas de mayor riesgo produjeron errores de alto riesgo en >50% del panel de modelos, con algunas preguntas causando tasas de fallo del 100% en todos los 34 modelos.

Significado y Afirmaciones
El artículo afirma que la seguridad de los LLM clínicos no es una consecuencia pasiva del escalado (tamaño del modelo, contexto o cómputo), sino una propiedad de despliegue moldeada por la calidad de la evidencia, el diseño de la recuperación y la construcción del contexto.

• Desacoplamiento de Métricas: Los autores argumentan que las leyes de escalado de la precisión no se aplican a la seguridad. Un sistema puede volverse más preciso mientras permanece inseguro si la estrategia de despliegue (por ejemplo, la recuperación) no aborda la naturaleza específica de los errores de alto riesgo.
• La Evidencia es Crítica: La palanca principal para la seguridad es la calidad de la información proporcionada al modelo. La evidencia curada y escrita por clínicos es la única condición probada que movió consistentemente a los modelos hacia una "región de despliegue seguro" (precisión $\ge$ 90%, error de alto riesgo $\le$ 5%).
• Reevaluación de las Estrategias de Despliegue: Los hallazgos sugieren que confiar únicamente en la recuperación, el razonamiento agéntico o el ensamblaje es insuficiente para la seguridad clínica. Estos métodos pueden mejorar el rendimiento promedio, pero dejan errores residuales de alta confianza que plantean riesgos clínicos.
• Cambio en la Evaluación: El artículo aboga por un cambio en la evaluación de LLM clínicos, pasando del informe de precisión de una sola métrica a un perfil de seguridad multidimensional que mida explícitamente errores de alto riesgo, contradicciones y fallos sincronizados. RadSaFE-200 y SaFE-Scale se presentan como instrumentos para habilitar este tipo de análisis de seguridad granular y específico del despliegue.

Los autores concluyen que los sistemas de IA clínica más seguros requieren una medición explícita de la seguridad a nivel de despliegue, priorizando la reducción de errores de alto riesgo mediante controles de calidad de la evidencia en lugar de asumir que la seguridad emergerá del escalado de los parámetros del modelo o del cómputo en tiempo de inferencia.