Resumen Técnico: Meta-STPA Constitucional

1. Planteamiento del Problema

Los Modelos de Lenguaje Extensos (LLM) se utilizan cada vez más para automatizar la generación de artefactos de análisis de seguridad (pérdidas, peligros, Acciones de Control Inseguras [UCA] y restricciones) dentro de marcos rigurosos como el Análisis de Procesos Sistémicos de Teoría (STPA). Sin embargo, existe un punto ciego crítico: mientras que los sistemas objetivo (por ejemplo, aeronaves, dispositivos médicos) son analizados, las herramientas asistidas por LLM que realizan el análisis rara vez son escrutadas. Estas herramientas son, en sí mismas, sistemas con relevancia para la seguridad, capaces de alucinar estándares, emitir restricciones inverificables y fallar en mantener pistas de auditoría. El artículo plantea la pregunta fundamental: "¿Quién analiza al analizador?" La literatura actual carece de un método para analizar formalmente la propia herramienta de seguridad asistida por IA, dejándola vulnerable a las mismas acciones de control inseguras que el STPA está diseñado para prevenir.

2. Metodología: Meta-STPA Constitucional

Los autores proponen el Meta-STPA Constitucional, una metodología de bucle cerrado que aplica STPA a la clase de herramientas de seguridad asistidas por IA para derivar su propia constitución de gobernanza.

2.1. El Proceso Meta-STPA

En lugar de analizar un sistema físico, la herramienta trata la canalización de seguridad de IA como el sistema bajo análisis.

• Controladores: El LLM, la capa de validación, el arnés de votación, la puerta de exportación y el ingeniero de guardia.
• Acciones de Control: Generar pérdidas/peligros/UCAs, señalar errores, reportar desacuerdos entre modelos y exportar informes.
• Derivación: Al recorrer los cuatro tipos de UCA sobre estas acciones de control, el sistema identifica peligros únicos de las herramientas de IA (por ejemplo, llamadas de LLM no registradas, deriva silenciosa de versiones, descripciones manipuladas).
• Generación de Restricciones: Cada peligro identificado genera una restricción de seguridad, formando una constitución de gobernanza.

2.2. Estructura de la Constitución

La constitución derivada consta de 29 principios vinculados a puntos específicos de ejecución de código:

• 21 Principios de la Herramienta (TP): Una capa de comportamiento que moldea el contenido del análisis (por ejemplo, enumeración sistemática, no fabricación, restricciones medibles).
• 8 Principios de Meta-Seguridad (MSP): Una capa de gobernanza que gobierna la maquinaria de la herramienta (por ejemplo, registro de auditoría, manifiestos de ejecución, fijación de versión del modelo, votación de coincidencia semántica, exportación con validación de puerta).

2.3. Implementación de la Canalización

La herramienta opera en una canalización de cinco pasos ($\Pi$) que mapea una descripción del sistema ($S$) y una constitución ($C$) hacia un artefacto ($A$):

1. Generación de LLM: Generación de libre formato de pérdidas, peligros y estructuras de control.
2. Enumeración Determinista: El motor crea ranuras fijas para cada triple de (controlador, acción, tipo de UCA). El LLM debe llenar estas con una UCA concreta o una justificación explícita de "no aplicable". Esto asegura la completitud estructural independientemente de la diligencia del modelo.
3. Generación de Restricciones: Se crea una ranura de restricción por cada UCA que no sea N/A.
4. Validación: Ocho validadores deterministas de regex/estructura verifican la completitud, el lenguaje vago, el exceso de confianza y la falta de evidencia.
5. Puerta (Gating): Un "Exportador con Validación de Puerta" (MSP-07) bloquea los artefactos redistribuibles (PDFs, correos electrónicos) si existen errores de validación, a menos que un ingeniero proporcione una anulación registrada.

2.4. Reproducibilidad y Auditoría

• Manifiestos: Cada ejecución genera un run manifest.json que fija la versión de la herramienta, el modelo, la semilla, la temperatura y los hashes SHA-256 de la descripción del sistema y la constitución.
• Registros de Auditoría: Cada llamada de LLM se registra con los hashes SHA-256 de prompt/respuesta, recuento de tokens y latencia.
• Votación Semántica: Para manejar el desacuerdo de los modelos, la herramienta utiliza un comparador de similitud de Jaccard de tokens (umbral $\tau=0.4$), permitiendo el manejo de sinónimos mientras mantiene el determinismo.

3. Contribuciones Clave

1. Método Meta-STPA: Un método que deriva la constitución de gobernanza de una herramienta de seguridad aplicando STPA a la propia herramienta, resultando en una constitución de 29 principios publicada.
2. Evaluación de Comportamiento Controlada: Un experimento que aísla el impacto de las capas constitucionales, demostando que los Principios de la Herramienta específicos de la tarea mejoran significativamente el comportamiento de seguridad, mientras que los preámbulos genéricos de "útil/inofensivo" no lo hacen.
3. Marco de Cobertura: Una definición formal de "cobertura marginal de la constitución" con un lema de solidez. El artículo reporta un resultado negativo: la cobertura léxica no es monótona con la fuerza de la constitución en un sistema fijo, sino que actúa como un discriminador de sistema (distinguiendo herramientas de IA de hardware).
4. Artefacto de Reproducibilidad Total: Liberación de código, constituciones, manifiestos y llamadas con semillas que permiten reproducir cada resultado desde una sola línea de comandos.

4. Resultados Experimentales

4.1. Autoderivación (¿Puede la herramienta analizarse a sí misma?)

• Modelos de Frontera Fuertes: Un ensamble de votación de claude-opus-4.8 y claude-sonnet-4 recuperó 18/21 Principios de la Herramienta canónicos y todos los 8/8 Principios de Meta-Seguridad del propio diseño de la herramienta.
• Modelos Débiles: Un par más débil (gpt-4o-mini + gpt-4o) recuperó solo 12/21 canónicos y 3/8 principios meta.
• Conclusión: La capa meta está limitada por el modelo, no por la constitución. Los principios son recuperables del diseño por modelos capaces, no solo afirmados.
• Generalización: Al aplicarse a una segunda herramienta de IA, de autoría independiente (un asistente de revisión de código), el ensamble fuerte recuperó todos los 8/8 principios de gobernanza, confirmando que estos son propiedades de la clase de herramientas de IA, no artefactos del diseño de la herramienta específica.

4.2. Impacto del Comportamiento (¿Cambia la constitución el comportamiento?)

• Configuración: Se probaron 20 sondas adversarias contra cinco variantes de constitución (Ninguna, Genérica, Principios de la Herramienta, Herramienta+Genérica, Completa).
• Hallazgos:
  • Añadir los 21 Principios de la Herramienta (cv2) elevó la puntuación media de seguridad de 1.03 a 1.85 (+79%, $p<0.001$, $d=1.29$).
  • Los preámbulos genéricos de "útil/inofensivo" (cv1) no mostraron ninguna mejora significativa respecto a la ausencia de constitución.
  • Añadir los 8 Principios de Meta-Seguridad (MSP) a los Principios de la Herramienta no mejoró adicionalmente las puntuaciones de adversidad de un solo turno, ya que los MSP gobiernan la maquinaria en el tiempo de análisis (registro, puertas) y no la generación de texto en sí.

4.3. Cobertura y Validez de Constructo

• No Monotonicidad: En un sistema fijo, aumentar la fuerza de la constitución no aumentó linealmente la meta-cobertura léxica. De hecho, el control vacío (cv0) a menudo presentó más peligros meta que la constitución completa porque estos peligros son intrínsecos a la estructura de la herramienta de IA.
• Discriminación de Sistema: La meta-cobertura fue 0/8 para sistemas de hardware (AEB, bomba de infusión, UAV) pero aumentó a 6/8 para el autosistema de IA. Esto confirma que la cobertura es un discriminador entre herramientas de IA y hardware, no una métrica de "dosis" a maximizar.
• Reproducibilidad: Bajo semillas fijas, la herramienta mostró alta estabilidad entre proveedores (gemini-2.5-flash fue exactamente reproducible; claude-sonnet-4 mostró baja varianza).

5. Significado y Reivindicaciones

El artículo afirma responder a "¿Quién analiza al analizador?" demostrando que el analizador puede analizarse a sí mismo.

• Constitución Fundamentada: Los principios de gobernanza no son aserciones diseñadas a mano, sino que son derivados del propio diseño de la herramienta mediante STPA.
• Seguridad Operacional: La constitución se aplica mediante código (validadores, puertas, manifiestos) en lugar de solo instrucciones de prompt.
• Capacidad del Modelo como Cuello de Botella: La capacidad de recuperar principios de gobernanza depende de la capacidad del LLM subyacente, no de la redacción de la constitución.
• Transparencia: Los autores reportan abiertamente el fallo al replicar un resultado exploratorio anterior (un aumento monótono en la cobertura), reencuadrando la métrica de cobertura como un discriminador de sistema en lugar de una curva de dosis-respuesta.

El artículo concluye que para que las herramientas de seguridad asistidas por LLM sean confiables, deben incluir una capa de comportamiento específica de la tarea (Principios de la Herramienta) y un sustrato de gobernanza (Principios de Meta-Seguridad) que esté codificado rígidamente en el flujo de ejecución de la herramienta, asegurando que las propias restricciones de seguridad de la herramienta sean auditables y ejecutables.