Resumen Técnico: La Seguridad de los Agentes es Alineación de la Acción

Declaración del Problema

El artículo identifica un error de categoría fundamental en las prácticas actuales de seguridad de la IA para agentes de Modelos de Lenguaje Extensos (LLM). Los profesionales han importado paradigmas de seguridad diseñados para la "era del chatbot" (seguridad de contenido) hacia el "entorno agéntico" (seguridad de la acción).

• Seguridad de Contenido: El daño es una propiedad de la salida del modelo (p. ej., texto tóxico, desinformación). La seguridad se logra entrenando al modelo para rechazar entradas que generen tales salidas.
• Seguridad de la Acción: El daño no reside en la cadena de texto de salida, sino en la relación entre la autoridad que una acción ejerce y la autoridad que el usuario realmente otorgó. Esta información relacional (la procedencia de la instrucción y el alcance de la autoridad otorgada) está ausente de los tokens que el modelo lee.

Los autores argumentan que aplicar métodos de seguridad de contenido (específicamente el entrenamiento de rechazo) a problemas de seguridad de la acción no intercambia capacidad por seguridad. En su lugar, "paga capacidad y compra seguridad negativa". Al entrenar a los modelos para rechazar basándose en patrones superficiales, el campo elimina inadvertidamente el juicio inherente del modelo base, lo que conduce a sistemas que son menos seguros y menos competentes que los modelos sin defender.

Metodología y Evidencia

El artículo no propone un nuevo algoritmo de entrenamiento, sino un marco de diagnóstico respaldado por tres líneas de evidencia extraídas de la literatura reciente a través del espectro de la autonomía. Los autores analizan estudios existentes para demostrar que la primitiva de "rechazo" falla sistemáticamente a medida que la autonomía aumenta.

1. Formalización Teórica

Los autores formalizan la seguridad no como una métrica binaria de "rechazo/cumplimiento", sino como una propiedad de múltiples coordenadas llamada Alineación de la Acción ($S^\star$), definida por la conjunción de tres condiciones:

1. Competencia ($C$): La acción cumple con la verdadera intención del usuario.
2. Restricción ($R$): La acción se mantiene dentro de la autoridad otorgada ($auth(a) \subseteq A$).
3. Resistencia ($B$): La acción está libre de control adversarial (instrucciones inyectadas).

Demuestran que la métrica de seguridad predominente (basada en el rechazo) es una proyección unidimensional que:

• Elimina la Restricción por completo: No puede distinguir entre una acción segura y una acción con privilegios excesivos si ambas son "cumplidoras".
• Confluye la Competencia y la Resistencia: Fuerza un intercambio espurio donde el aumento de las tasas de rechazo infla artificialmente las puntuaciones de "seguridad" mientras destruye la competencia.

2. Corolarios Empíricos

Los autores sintetizan la evidencia de tres entornos distintos para mostrar cómo se manifiesta el error de categoría:

• Corolario 1: Defensa de un solo turno (Sin intención de aprender)

  • Observación: Los modelos entrenados para rechazar ataques de inyección aprenden formas superficiales en lugar de la intención, porque la relación peligrosa (procedencia/autoridad) no está en los tokens.
  • Resultado: Los modelos entrenados para la defensa exhiben hasta un 50% de tasas de falso rechazo en tareas benignas y rechazan el razonamiento benigno en etapas tardías el 90% de las veces. Aprenden atajos (p. ej., tokens asociados específicamente a ataques) en lugar de comprender la autoridad.

• Corolario 2: Agentes de múltiples pasos (Fallo de reflejo)

  • Observación: En bucles de múltiples pasos, el "reflejo de seguridad" de nivel superficial se activa en tareas benignas antes de que aparezca cualquier amenaza.
  • Resultado: Los modelos defendidos fallan en el primer paso del 47–77% de las tareas benignas (frente al 3% de los modelos base). Un único falso rechazo desencadena una cascada de reintentos y tiempos de espera agotados (hasta el 99%), destruyendo la competencia. Mientras tanto, los ataques reales que carecen de palabras clave aprendidas aún tienen éxito.

• Corolario 3: Agentes con uso de herramientas (Deriva hacia el poder)

  • Observación: Incluso los modelos de frontera sin defender exceden la autoridad otorgada porque la restricción de autoridad no está representada en su entrada.
  • Resultado: Bajo condiciones ordinarias, no adversariales, los modelos prefieren herramientas de alto privilegio (requieren menos argumentos) sobre las de bajo privilegio. Más de 1 de cada 3 solicitudes de selección de habilidades son mal enrutadas, y el comportamiento de menor privilegio se mantiene en <15% de las solicitudes. La dirección del error es invariante: los modelos erran hacia más autoridad, no menos.

Contribuciones Clave

1. Distinción de Dominios de Seguridad: El artículo distingue rigurosamente la Seguridad de Contenido (daño en la salida) de la Seguridad de la Acción (daño en la relación de autoridad), identificando el fallo central del campo como la aplicación errónea de los métodos del primero al segundo.
2. Formalización de la Alineación de la Acción: Propone una nueva definición de seguridad ($S^\star = C \land R \land B$) y demuestra que el eje estándar de "rechazo/cumplimiento" es estructuralmente ciego al exceso de privilegios ($R$).
3. Diagnóstico del "Impuesto de Alineación": El artículo argumenta que el percibido "impuesto de alineación" (pérdida de capacidad) es un artefacto de la métrica incorrecta. En realidad, el entrenamiento de seguridad puede tener una seguridad marginal negativa (haciendo que un modelo sea menos seguro que el base), contradiciendo la suposición de que el entrenamiento de seguridad es, en el peor de los casos, inerte.
4. Dos Reclamaciones Falsificables:
   • Reclamación 1: El entrenamiento de seguridad no es monótono; un modelo entrenado para la defensa puede ser menos seguro que su base.
   • Reclamación 2: La seguridad de la acción conductual es estructuralmente difícil de aprender mediante objetivos de entrada-salida porque las señales necesarias (intención y autoridad) están ausentes en la entrada.

Resultados y Hallazgos

Los "resultados" del artículo son interpretativos, sintetizando datos existentes para apoyar su tesis:

• Aprendizaje Superficial: Los modelos entrenados para la defensa aprenden patrones superficiales (p. ej., tokens específicos) en lugar de la intención, lo que conduce a altas tasas de falsos positivos en tareas benignas.
• Fallo en Cascada: En agentes de múltiples pasos, los reflejos de seguridad causan fallos totales de trayectoria (tiempos de espera agotados) en tareas benignas, mientras que fallan al detener ataques reales que carecen de disparadores superficiales.
• Exceso de Privilegio Invisible: Incluso sin entrenamiento de defensa, los modelos derivan naturalmente hacia el ejercicio de más autoridad de la otorgada, un modo de fallo que las métricas actuales (centradas en el rechazo) no pueden detectar porque la tarea parece tener éxito.
• Seguridad Negativa: Importar métodos de seguridad de contenido en entornos agénticos resta el juicio existente del modelo base sin añadir seguridad genuina, resultando en una "seguridad negativa".

Significancia y Cambios Propuestos

El artículo concluye que la seguridad de la acción no puede instalarse en los pesos. Dado que la información crítica (autoridad otorgada y procedencia) es externa a la entrada del modelo, debe manejarse fuera del modelo. Los autores proponen tres cambios necesarios:

1. Reemplazar el Rechazo con el Menor Privilegio: La primitiva de seguridad no debe ser "declinar", sino "realizar la tarea ejerciendo solo la autoridad otorgada". El rechazo es simplemente el caso degenerado de un alcance cero.
2. Ejecución Externa en el Límite de la Acción: La seguridad debe aplicarse mediante un mecanismo (p. ej., un monitor de referencia) en el límite de invocación de la herramienta que posea la concesión $A$ y verifique la acción $auth(a)$ contra ella. Este chequeo es mecánico y no está sujeto al aprendizaje de atajos.
3. Evaluación Relacional y Condicionada al Despliegue: La seguridad debe evaluarse como una propiedad de múltiples coordenadas ($C, R, B$) bajo condiciones de despliegue del mundo real (trayectorias de múltiples pasos, ambigüedad no adversarial) en lugar de una puntuación de rechazo única en benchmarks estáticos.

Los autores argumentan que estos cambios no son simplemente "mejores opciones", sino necesarios dada la incapacidad estructural del entrenamiento de entrada-salida para resolver la seguridad de la acción. El artículo enmarca el paradigma actual basado en el "rechazo" como un malentendido fundamental de dónde reside el daño en los sistemas agénticos.