Calibrated Abstention and Clinical Deferral in Small Language Models via RLVR and GRPO

Resumen Técnico: Abstención Calibrada y Diferimiento Clínico en Modelos de Lenguaje Pequeños mediante RLVR y GRPO

Planteamiento del Problema: La Trampa de la "Confianza Peligrosa"
El artículo aborda un fallo de seguridad crítico en el despliegue de Modelos de Lenguaje Grandes (LLMs) y Modelos de Lenguaje Pequeños (SLMs) en entornos clínicos: la "sobreconfianza epistémica". Mientras que los modelos autorregresivos base sobresalen en la fluidez lingüística, están entrenados para predecir el siguiente token de forma probabilística en lugar de verificar la verdad fáctica. En dominios médicos de alto riesgo, esto se manifiesta como "confianza peligrosa", donde los modelos generan aserciones médicas fácticamente incorrectas y altamente plausibles con una certeza absoluta. El artículo argumenta que las métricas de evaluación estándar, como la precisión bruta en benchmarks como MedQA-USMLE, no logran capturar este perfil de riesgo. Un modelo que adivina con confianza ante datos ambiguos representa una mayor amenaza para la seguridad del paciente que uno que reconoce su incertidumbre y se abstiene. Además, el despliegue de modelos masivos suele ser impráctico debido a la latencia computacional, los costos de infraestructura y las regulaciones de privacidad de datos (por ejemplo, HIPAA, GDPR), lo que requiere un cambio hacia los SLMs (específicamente la arquitectura Gemma 2B de 2.6 mil millones de parámetros) que, aunque eficientes, sufren de una capacidad paramétrica limitada y una mayor susceptibilidad a la alucinación.

Metodología: RLVR y GRPO para la Abstención Calibrada
Para integrar la "Abstención Calibrada" en un SLM, los autores proponen un novedoso flujo de alineación que combina el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) y la Optimización de Política Relativa de Grupo (GRPO).

• Arquitectura RLVR: A diferencia del Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF), que depende de preferencias humanas subjetivas y corre el riesgo de optimizar la sicofancia o las alucinaciones plausibles, este enfoque utiliza una verificación programática determinista. La función de recompensa se ancla en verdades clínicas objetivas, específicamente el sistema de puntuación de la Evaluación de la Falla de Órganos Secuencial (SOFA).
• El Protocolo de Razonamiento Clínico (SOFA y Señal Cactus): Se obliga al modelo a adherirse a un estricto protocolo de razonamiento "SOFA-First". Antes de generar un diagnóstico, debe extraer y verificar seis parámetros fisiológicos (Respiratorio, Coagulación, Hígado, Cardiovascular, SNC, Renal) en una matriz estructurada. Si faltan datos críticos, el modelo debe marcarlos como "N/P" (No Proporcionado). Tras este razonamiento, el modelo debe emitir una "Señal Cactus": <|local_ok|> para proceder con una respuesta local o <|escalate|> para diferir a un experto humano.
• Diseño de la Función de Recompensa: La recompensa agregada se compone de cuatro vectores:
  1. Exactitud (50%): Coincidencia exacta del diagnóstico final contra la verdad de referencia (ground truth).
  2. Lógica Clínica (20%): Verificación de la matriz SOFA contra los datos proporcionados, penalizando las métricas alucinadas.
  3. Seguridad y Abstención (20%): Un bono por identificar correctamente los datos faltantes y activar la señal <|escalate|>; una penalización por "falsa confianza" (activar <|local_ok|> con datos incompletos).
  4. Formato (10%): Validación del cumplimiento estructural estricto de XML.
• Implementación de GRPO: Para superar las limitaciones de memoria al entrenar SLMs en hardware de consumo (Dual NVIDIA T4 con 32GB de VRAM), los autores emplean GRPO. Este algoritmo libre de función de valor elimina la necesidad de un modelo "crítico" separado. En su lugar, toma muestras de un grupo de completaciones (G=2 inicialmente, luego G=4) para un solo prompt y calcula la ventaja relativa a la media del grupo. Esto permite un entrenamiento estable en dispositivos de borde donde el PPO estándar fallaría debido a las limitaciones de VRAM.

Contribuciones Clave

1. Operacionalización del "Protocolo Cactus": La introducción de un mecanismo de enrutamiento determinista que obliga a los SLM a señalar explícitamente su confianza epistémica o incertidumbre, convirtiendo la incertidumbre abstracta en comandos de enrutamiento accionables.
2. Integración de SOFA como Recompensa Verificable: La integración exitosa de una matriz de puntuación clínica rígida (SOFA) como una restricción programática dentro del marco GRPO, penalizando efectivamente las alucinaciones y forzando la coherencia lógica.
3. Cuantificación Empírica del "Impuesto de Alineación": El estudio proporciona datos sobre el intercambio entre la precisión bruta y el cumplimiento de la seguridad, demostrando que una reducción en el rendimiento del benchmark es un sacrificio necesario y justificable para la seguridad del paciente.

Resultados y Análisis
El estudio evaluó el modelo alineado ("Gemma-Sync") frente al modelo base no alineado en un subconjunto estrictamente no visto del conjunto de datos MedQA-USMLE (n=200).

• Impuesto de Alineación: El modelo alineado experimentó una disminución absoluta del 8.5% en la precisión bruta (cayendo del 44.0% al 35.5%). Los autores lo atribuyen al "Olvido Catastrófico", donde las cabezas de atención limitadas del modelo fueron reasignadas del emparejamiento de patrones probabilísticos a la satisfacción de restricciones deterministas (verificación SOFA).
• Ganancia de Seguridad: Por el contrario, la Tasa de Abstención (frecuencia de señales <|escalate|>) aumentó un 129%, pasando del 3.5% al 8.0%. Esto indica que el modelo es 2.3 veces más propenso a reconocer sus límites epistémicos y diferir a expertos humanos en lugar de alucinar.
• Eficiencia y Latencia: Aunque el modelo alcanzó los objetivos de seguridad, la latencia de inferencia aumentó de 138.9s a 153.3s. Los autores identifican un "Dilema del Token de Parada" donde el modelo, sobreoptimizado para generar matrices SOFA extensas, incurre en un "divagación estructurada" y no emite el token de Fin de Secuencia (End-of-Sequence) oportunamente, lo que conduce al agotamiento de tokens.
• Resiliencia de GRPO: El estudio demuestra que el RLVR puede lograr una convergencia robusta incluso con tamaños de grupo extremadamente pequeños (G=2 a G=4) en hardware restringido, siempre que la señal de recompensa sea determinista y verificable.

Significancia y Reivindicaciones
El artículo concluye que en el triaje de alto riesgo, priorizar la seguridad mediante el diferimiento conservador produce un asistente clínico más confiable que maximizar el rendimiento bruto del benchmark. Los autores argumentan que la "Abstención Calibrada" es la operacionalización del juramento hipocrático ("Primero, no hacer daño") dentro de la arquitectura de la IA. Al enseñar a los SLM a decir "No lo sé" o a escalar cuando los datos son ambiguos, el sistema actúa como un filtro cognitivo confiable en lugar de un oráculo peligroso.

La investigación postula que el "Impuesto de Alineación" no es un fallo, sino una "prima de seguro": un intercambio necesario para erradicar los riesgos sistémicos de alucinación. Además, sugiere que el RLVR ofrece una vía de alineación superior para dominios deterministas como la medicina en comparación con el RLHF, ya que evita la subjetividad y la sicofancia inherentes a los modelos de preferencia humana. El estudio establece un plano escalable para desarrollar una IA médica desplegable en el borde y confiable, que posea humildad intelectual y calibración metacognitiva.