SAGE: Safety-First Defense-in-Depth Guardrails for Verified Lifecycle Control of High-Impact Generative AI

Resumen Técnico: SAGE – Guardrails de Defensa en Profundidad con Prioridad en la Seguridad para el Control del Ciclo de Vida Verificado de la IA Generativa de Alto Impacto

Planteamiento del Problema
El artículo aborda el desafío crítico de prevenir el uso indebido catastrófico de la IA generativa de alto impacto (por ejemplo, terrorismo, ciberataques, amenazas biológicas). Argumenta que la seguridad no es meramente un problema de filtrado de prompts, sino un problema de control del ciclo de vida. Los enfoques actuales suelen tratar la seguridad como un compromiso entre utilidad y latencia. Los autores postulan que, para aplicaciones de alto riesgo, la prevención del "habilitamiento catastrófico" debe ser una restricción dura que preceda a todos los demás objetivos. Además, los mecanismos de seguridad deben evitar confundir el riesgo de contenido con la intención del usuario, asegurando que los controles de respuesta conservadores no activen automáticamente la vigilancia o el reporte externo sin una autorización humana independiente.

Metodología: La Arquitectura SAGE
El artículo propone SAGE, una arquitectura de prioridad en la seguridad y separación de autorizaciones diseñada para restringir la admisibilidad basada en un riesgo creíble de habilitamiento catastrófico. El marco integra verificación formal, monitoreo en tiempo de ejecución y un manifiesto de lanzamiento firmado.

1. Marco Formal y Modelado de Riesgo:

   • Espacio de Acción: El sistema define un conjunto de acciones lexicográficas $A = \{G_0, G_1, G_2, G_3, G_4\}$, que van desde respuestas normales hasta revisión interna y procesos de incidentes autorizados.
   • Riesgo Robusto ($K$): El sistema calcula un riesgo primario robusto $K(g|e)$ utilizando un conjunto de ambigüedad $\Pi(e)$ de distribales posteriores. Esto da cuenta de la evidencia calibrada y las tolerancias de cambio de distribución declaradas ($\epsilon_e$). La política selecciona la acción que minimiza la pérdida secundaria (utilidad, privacidad, retraso) solo dentro del conjunto de acciones donde $K(g|e)$ está por debajo de un techo de seguridad $\kappa(e)$.
   • Límites de Defensa en Profundidad: El artículo deriva límites formales para las tasas de error de detección. Establece que, bajo detectores independientes, la probabilidad de falla es el producto de los fallos individuales. Crucialmente, introduce un límite de dependencia de causa común (Proposición 4), mostrando que si existe un evento de degradación de causa común con probabilidad $\gamma$, la probabilidad conjunta de fallo no puede certificarse por debajo de $\gamma$, independientemente del número de capas. Esto requiere diversidad en los detectores, los datos de entrenamiento y las dependencias de la política.
   • Corte de Autorización: Un teorema formal (Teorema 4) demuestra que los componentes no privilegiados (por ejemplo, clasificadores) no pueden alcanzar estados autorizados (por ejemplo, divulgación externa) si el grafo de transición de estados está estructuradamente restringido, evitando que los clasificadores puedan "acuñar" autoridad excepcional.

2. Control del Ciclo de Vida y Manifiestos de Lanzamiento:

   • Manifiestos Firmados: Cada candidato de lanzamiento está vinculado a un manifiesto firmado que contiene hashes del modelo, umbrales de riesgo, bits de preparación y fechas de expiración.
   • Puerta de Monotonía: El predicado de lanzamiento es monótono; el endurecimiento de los techos de riesgo o la adición de hallazgos de bloqueo solo puede hacer que un lanzamiento sea inelegible, nunca elegible.
   • Cumplimiento en Tiempo de Ejecución: En tiempo de ejecución, el sistema utiliza ingreso autenticado, detectores diversos y verificación de salida. Si se infringe un umbral de riesgo, el sistema puede restringir el servicio, deshabilitar herramientas, invocar fallos seguros (fallbacks) o revertir a un artefacto aprobado anterior.
   • Monitoreo de Tres Valores: Un monitor en tiempo de ejecución evalúa propiedades temporales como Verdadero, Falso o Desconocido (?), asegurando que las decisiones solo se tomen cuando las continuaciones infinitas de una traza sean definitivamente seguras o inseguras.

3. Protocolo de Evaluación Empírica:

   • Protocolo Congelado: El estudio utilizó un protocolo simétrico al proveedor y congelado para probar 10 instantáneas de modelos (series OpenAI GPT-5, series Anthropic Claude 4.5/4.6/4.7, series Google Gemini 3/3.1).
   • Conjunto de Datos: Se realizaron 840 llamadas (84 por instantánea) cubriendo 375 respuestas únicas tras filtrar errores del proveedor y juicios incompletos. El conjunto de datos incluyó solicitudes directamente inseguras, prompts benignos de apariencia sensible y envoltorios de robustez (robustness wrappers).
   • Métricas: El estudio midió el Puntaje de Cumplimiento Perjudicial (HCS), la Utilidad Benigna (BU), la Entrega de Redirección (RD) y la Tasa de Sobre-Rechazo (ORR). Estas se combinaron en un Puntaje de Guardrail Balanceado (BGS).
   • Juicio: Las respuestas fueron juzgadas por modelos ciegos ajenos a la familia de modelos probados, utilizando una rúbrica estricta. El estudio evitó explícitamente la adjudicación humana para mantener la consistencia del protocolo, reconociendo esto como una limitación.

Resultos Clave

• Cumplimiento Perjudicial: Las estimaciones de cumplimiento perjudicial observadas fueron bajas en todos los modelos, oscilando entre 0.0000 y 0.0333.
• Impulsores de Diferenciación: El principal motor de separación entre modelos no fue el cumplimiento perjudicial (que fue uniformemente bajo), sino la utilidad benigna y la redirección segura.
  • Los modelos con mejor desempeño (por ejemplo, Claude Haiku 4.5, Claude Sonnet 4.6, Gemini 3 Flash) lograron una redirección casi perfecta y una alta utilidad.
  • Los modelos de menor puntaje (por ejemplo, GPT-5 mini, GPT-5 nano) mostraron una calidad de redirección y utilidad benigna significativamente reducidas, a pesar de mantener un bajo cumplimiento perjudicial.
• Significancia Estadística: Tras el ajuste de multiplicidad (corrección de Holm), se encontraron diferencias significativas entre ciertos pares (por ejemplo, Claude Haiku 4.5 vs. GPT-5 nano), pero ningún contraste probado entre las instantáneas de Claude/Gemini y GPT-5 o GPT-5.5 sobrevivió a la corrección.
• Problemas de Cobertura: Dos instantáneas (Claude Opus 4.6 y 4.7) carecieron de cobertura de dominio completa en la capa de juicio, lo que impidió la estimación de su BGS. Esto se atribuyó a fallos en la capa de juicio, no al comportamiento del modelo objetivo.
• Verificación Formal: Dos abstracciones de PRISM verificaron la separación de autorización y los invariantes del ciclo de vida, confirmando que, bajo las suposiciones estructurales especificadas, los componentes no privilegiados no pueden alcanzar los estados de divulgación autorizada.

Significancia y Reivindicaciones
El artículo establece explícitamente que su contribución principal es una arquitectura de control precautorio, no un leaderboard definitivo o un ranking universal de seguridad de la IA.

• Arquitectura de Prioridad en la Seguridad: SAGE demuestra que los límites de riesgo catastrófico pueden convertirse en restricciones primarias mediante una política lexicográfica, asegurando que la utilidad solo se optimice entre las acciones que son seguras.
• Límites de Defensa en Profundidad: Los resultados formales resaltan que añadir capas de defensa es insuficiente sin una diversidad medida; los fallos de causa común pueden hacer que múltiples capas sean ineficaces.
• Separación de Autorización: El marco separa con éxito el control de respuesta conservador de la acción organizacional excepcional, asegurando que los filtros de seguridad no infieran automáticamente una intención maliciosa ni activen reportes externos.
• Reivindicaciones Empíricas Modestas: Los autores enfatizan que el rango observado de bajo cumplimiento perjudicial (0.0000–0.0333) es una visión conservadora y limitada al protocolo de una sola generación por prompt sin herramientas, historial o jailbreaks adaptativos. Declaran explícitamente que esto no es un límite superior de asistencia operativa.
• Sin Certificación de Despliegue: El artículo concluye que ningún benchmark certifica el despliegue. Los resultados observados son específicos de cada punto final (endpoint) y de cada instantánea. Un modelo que satisfaga estos umbrales aún debe someterse a pruebas adversarias más amplias, auditorías de múltiples turnos y estudios de aumento humano antes de su despliegue.

El artículo sirve como un plano para un "ciclo de vida de defensa en profundidad" donde la seguridad se impone mediante manifiestos firmados, invariantes formales y cortes de autorización estrictos, en lugar de depender únicamente de la precisión del detector.