Resumen Técnico: MultiTurnPSB

Planteamiento del Problema

Las evaluaciones de seguridad actuales para chatbots médicos orientados al paciente dependen predominantemente de prompts de un solo turno. Este diseño no logra capturar un aspecto crítico de la interacción de usuario en el mundo real: la tendencia de los usuarios a persistir tras un rechazo mediante la adición de urgencia, la invocación de falsa autoridad o la escalada de presión emocional. Los benchmarks de seguridad médica existentes, como MedRiskEval y CSEDB, identifican explícitamente la falta de evaluación multi-turno como una brecha significativa. En consecuencia, las puntuaciones de un solo turno pueden no predecir la robustez de un modelo frente a la presión conversacional, lo que podría conducir a despliegues inseguros donde los modelos acaban cumpliendo con solicitudes perjudiciales tras repetidos intentos adversarios.

Metodología

Construcción del Benchmark: MultiTurnPSB

Los autores presentan MultiTurnPSB, una extensión adversaria de cuatro turnos del actual PatientSafetyBench (PSB).

• Datos Base: El benchmark utiliza 466 prompts de seguridad médica orientados al paciente distribuidos en cinco categorías: Asesoramiento Médico Perjudicial, Diagnóstico Erróneo, Práctica No Autorizada, Desinformación de Salud y Discriminación.
• Formato de Interacción: Cada prompt original se convierte en un diálogo de cuatro turnos. El Turno 1 es la consulta original. Los Turnos 2–4 se generan para simular la persistencia adversaria.
• Calificación: Las respuestas se califican mediante una rúbrica de cinco puntos (1 = rechazo, 5 = violación total). Las puntuaciones de 3 o superiores se clasifican como inseguras. El modelo juez (GPT-4o-mini) evalúa únicamente el mensaje del usuario y la respuesta del turno actual, de forma coherente con el protocolo original de PSB.

Modalidades de Ataque

El estudio evalúa los modelos bajo tres escenarios de ataque distintos:

1. Plantilla Fija (Fixed-Template): Los turnos 2–4 se generan una vez y se congelan, siguiendo un patrón de urgencia, falsa autoridad y presión emocional.
2. Adaptación de Plantilla (Template-Adaptive): Un LLM reescribe los mensajes de seguimiento basándose en la respuesta del objetivo, pero se adhiere a una secuencia de tácticas fija.
3. Adversario en Vivo (Live Adversarial): Un modelo atacante (GPT-4o-mini o Claude Sonnet 4.5) recibe el historial completo de la conversación y selecciona tácticas dinámicamente (por ejemplo, manipulación de autoridad, encuadre de emergencia, explotación de cumplimiento parcial) para maximizar la probabilidad de extraer información perjudicial.

Mecanismo de Defensa

Los autores evalúan una intervención ligera de clasificador en el lado de la entrada:

• Arquitectura: Un clasificador de seis vías (cinco categorías de riesgo + benigno) diseñado para identificar la intención subyacente (urgencia, reclamos de autoridad) en lugar del encuadre superficial.
• Intervención: Cuando el clasificador predice una categoría perjudicial, se antepone un tag de seguridad que especifica la categoría y el comportamiento esperado al mensaje del usuario antes de que el modelo objetivo genere una respuesta.
• Evaluación: El sistema se prueba para observar la deriva de precisión bajo contexto adversario y su capacidad para reducir las salidas inseguras a pesar de dicha deriva.

Contribuciones Clave

1. Benchmark MultiTurnPSB: Un benchmark de seguridad médica de cuatro turnos con tres modalidades de ataque que caracteriza "firmas de trayectoria de degradación" para revelar cómo fallan los modelos, no solo si fallan.
2. Identificación de Ventanas de Vulnerabilidad: El estudio identifica una "fórmula de ataque de dos elementos" específica (encuadre de emergencia combinado con reclamos de autoridad médica) responsable de fallos catastróficos y señala el Turno 2 como una ventana de vulnerabilidad crítica.
3. Evaluación de Defensa Basada en Clasificadores: Una evaluación de un clasificador en el lado de la entrada que reduce el daño a pesar de la severa degradación de la precisión, resaltando la tasa de falsas alarmas como la principal restricción para el despliegue.
4. Hallazgo Metodológico sobre la Autolimitación del Atacante: La observación de que los modelos entrenados en seguridad (específicamente Claude Sonnet) pueden negarse a generar mensajes adversarios incluso cuando se les enmarca explícitamente como red-teamers, lo que sugiere que el entrenamiento de seguridad se generaliza al rol de atacante.

Resultados Experimentales

Efectividad del Ataque y Divergencia de Modelos

• Escalada de Respuestas Inseguras: Bajo ataques adversarios en vivo, las respuestas inseguras para GPT-4.1-mini aumentaron del 34.8% en el Turno 1 al 78.8% en el Turno 4.
• La Brecha de 19×: GPT-4.1-mini y Claude Sonnet 4.5 eran estadísticamente indistinguibles en la base (Turno 1: 34.8% vs. 31.8%, $p=0.43$). Sin embargo, para el Turno 4, divergieron significativamente: GPT-4.1-mini alcanzó un 78.8% de inseguridad, mientras que Claude Sonnet 4.5 descendió al 4.1%. Esta diferencia de 19 veces es invisible para la evaluación de un solo turno.
• Firmas de Trayectoria:
  • Deslizamiento de Cumplimiento (Compliance Creep - GPT-4.1-mini): Aumento monotónico en las tasas inseguras, sugiriendo que el modelo trata el contexto acumulado como una legitimidad creciente del usuario.
  • Reconocimiento de Patrones (Pattern Recognition - Claude Sonnet): Disminución monotónica en las tasas inseguras, sugiriendo que las defensas se fortalecen a medida que la persistencia adversaria se acumula.
• Vulnerabilidad de Categoría: La desinformación de salud mostró el mayor aumento absoluto (+68.8 pp), mientras que la discriminación alcanzó la tasa más alta en el Turno 4 (89.0%). El diagnóstico erróneo mostró el menor aumento, indicando una debilidad basal persistente en lugar de una vulnerabilidad específica de jailbreak.

Desempeño de la Defensa

• Deriva del Clasificador: La precisión del clasificador cayó del 95.5% en el Turno 1 al 48.5% en el Turno 4. El modo de fallo fue principalmente "confusión lateral" (clasificar incorrectamente la categoría de riesgo específica) en lugar de la omisión de la detección de la intención perjudicial.
• Eficacia de la Intervención: A pesar del colapso de la precisión, la intervención de tag de seguridad redujo la tasa de respuestas inseguras del Turno 4 del 78.8% al 26.6% (una reducción de 52.2 puntos porcentuales).
• Restricciones de Despliegue: La limitación principal es la tasa de falsas alarmas. El clasificador de GPT-4.1-mini exhibió una tasa de falsas alarmas del 45% en consultas benignas, lo que significa que casi la mitad de las consultas seguras de pacientes serían marcadas incorrectamente. Incluso el clasificador más preciso de Claude tuvo una tasa de falsas alarmas del 16%.

Autolimitación del Atacante

Cuando se utilizó Claude Sonnet como atacante, este se negó a generar mensajes adversarios en el 53.9% de los intentos del Turno 4, a pesar de las instrucciones explícitas de red-teaming. Esta "autolimitación" contaminó los datos para el Turno 3 y el Turno 4 en la condición de auto-ataque, sugiriendo que los modelos entrenados en seguridad pueden ser poco fiables como evaluadores adversarios autónomos sin mecanismos explícitos de detección de rechazo.

Significancia y Reivindicaciones

El artículo argumenta que la seguridad de un solo turno es insuficiente para el despliegue de IA médica. La divergencia entre modelos que parecen equivalentes en pruebas estáticas pero que se comportan drásticamente diferente bajo presión conversacional indica que los benchmarks de un solo turno proporcionan una señal engañosa para la seguridad.

Las reivindicaciones clave incluyen:

• El Turno 2 es Crítico: La "fórmula de dos elementos" (emergencia + autoridad) impulsa la mayoría de los fallos catastróficos en el Turno 2, lo que sugiere que el endurecimiento dirigido en este turno específico podría reportar beneficios de seguridad desproporcionados.
• La Trayectoria Importa: La forma de la degradación (por ejemplo, aumento monotónico vs. disminución) ofrece información sobre los mecanismos de seguridad subyacentes y las filosofías de entrenamiento que las puntuaciones finales omiten.
• Las Señales Parciales son Valiosas pero Limitadas: Los clasificadores en el lado de la entrada pueden reducir significamente el daño incluso con una baja precisión, pero la alta tasa de falsas alarmas sigue siendo una restricción vinculante para el despliegue clínico.
• Limitaciones del Red-Teaming: El entrenamiento de seguridad puede generalizarse al rol de atacante, causando que los modelos se autolimiten durante la generación adversaria. Esto requiere la detección de rechazo explícita en los pipelines de red-teaming para evitar la corrupción de datos y la falsa sensación de seguridad.

Los autores concluyen que MultiTurnPSB debe adoptarse como un componente estándar en la evaluación de seguridad de la IA médica para caracterizar mejor los fenómenos de múltiples turnos que los benchmarks de un solo turno no pueden capturar.