Resumen Técnico: Más allá de la Precisión: Invarianza de Políticas como Prueba de Fiabilidad para Jueces de Seguridad de LLM

1. Declaración del Problema

El despliegue de Modelos de Lenguaje Grande (LLM) como agentes autónomos en dominios críticos para la seguridad (por ejemplo, finanzas, atención médica, ejecución de código) requiere una evaluación de seguridad robusta. Las pruebas de referencia actuales (por ejemplo, ASSEBench, R-Judge) se basan en el paradigma de "LLM como Juez", donde un LLM separado evalúa las trayectorias del agente frente a políticas de seguridad escritas para producir un veredicto binario (SEGURO/NO SEGURO). Estos veredictos se tratan como proxies de verdad fundamental para el cumplimiento de la seguridad.

Sin embargo, las evaluaciones existentes se centran principalmente en la precisión (acuerdo con etiquetas humanas) o en la sensibilidad superficial de los prompts (por ejemplo, sesgo de posición, formato). No abordan una brecha crítica: la Invarianza de Políticas. Un juez de seguridad confiable debe garantizar que su veredicto dependa únicamente del comportamiento del agente y del contenido normativo de la política, y no de cómo se formula la política. Si un juez cambia su veredicto basándose en reescrituras sinónimas, reordenamientos estructurales o la ubicación de excepciones, sin ningún cambio en el significado normativo subyacente, las puntuaciones de seguridad resultantes confunden las acciones del agente con la ingeniería de prompts del evaluador. Este artículo argumenta que sin invarianza de políticas, las puntuaciones de seguridad son verdades fundamentales poco fiables.

2. Metodología: El Marco de Invarianza de Políticas

Los autores operacionalizan la invarianza de políticas en tres principios comprobables y diseñan un protocolo de prueba de estrés para evaluar cuatro jueces de clase de agente: GPT-5.4-mini, Claude-Haiku-4.5, DeepSeek-V3.2 y Gemini-3-Flash. La evaluación utiliza trayectorias de ASSEBench y R-Judge.

2.1 Tres Principios de Invarianza

1. Invarianza Semántica de la Rúbrica (Principio 1):

   • Objetivo: Los veredictos deben permanecer estables bajo reescrituras certificadamente equivalentes de la política.
   • Método: Las políticas se transforman utilizando tres tipos de reescrituras certificadamente equivalentes (verificadas por anotadores humanos en seis dimensiones deónticas: fuerza, alcance, conjunto de excepciones, carga de la prueba, regla predeterminada y umbral implícito):
     • T1 (Sintaxis): Voz pasiva/activa, reordenamiento de cláusulas.
     • T2 (Léxico): Sustitución de sinónimos dentro de la misma familia deóntica (por ejemplo, "no debe" $\to$ "está prohibido").
     • T4 (Ubicación de Excepciones): Mover cláusulas de excepción de secciones en línea a secciones con carga inicial.
   • Métrica: Tasa de inversión excesiva ($\Delta_{flip}$), calculada como la tasa de inversión bajo reescritura menos la tasa de indeterminismo basal (jitter).

2. Invarianza de Umbral de la Rúbrica (Principio 2):

   • Objetivo: Los veredictos deben cambiar direccional y proporcionalmente cuando el umbral normativo de la política se desplaza intencionalmente.
   • Método: Se crean pares de políticas donde una es Estricta (por ejemplo, "no debe", "cualquier violación") y la otra es Laxa (por ejemplo, "debe evitar", "violaciones claras y significativas").
   • Métrica: Ratio Direccional ($R_{dir}$). Un juez confiable debe invertir predominantemente de NO SEGURO (estricto) a SEGURO (laxo), con inversiones inversas cercanas a cero.

3. Calibración Consciente de la Ambigüedad (Principio 3):

   • Objetivo: La inestabilidad debe concentrarse en casos genuinamente ambiguos, no en casos claros.
   • Método: Las inversiones observadas se descomponen en:
     • Explicables: Inversiones en elementos ambiguos (donde los anotadores humanos no están de acuerdo) o transformaciones casi equivalentes.
     • Irrazonables: Inversiones en elementos claros (etiquetas humanas unánimes) bajo transformaciones certificadamente equivalentes.
   • Métrica: Tasa de Inversión Irrazonable ($U_{rate}$). Cualquier inversión en un elemento claro bajo una reescritura que preserve el contenido es un fallo de medición.

2.2 Métricas e Informes

• Puntuación de Invarianza de Políticas (PIS): Una métrica compuesta que resume los tres principios:
  $$PIS = \max(0, 1 - (w_1 \cdot \Delta_{cert}^{flip} + w_2 \cdot (1 - R_{dir}) + w_3 \cdot U_{rate}) \cdot S)$$
  Donde los pesos son $w_1=0.4, w_2=0.3, w_3=0.3$ y $S=5$.
• Tarjeta de Juez: Una plantilla de informe estandarizada que divulga la PIS y desgloses por principio junto con las métricas de precisión tradicionales.

3. Resultados Clave

El estudio revela que los jueces de seguridad actuales fallan en la invarianza de políticas de una manera específica y dañina: reaccionan con fuerza comparable a desplazamientos normativos significativos y reescrituras estructurales sin sentido, siendo incapaces de distinguir entre ambos.

• Fallo de Invarianza Semántica:

  • Gemini-3-Flash exhibió la mayor inestabilidad, con un $\Delta_{flip}$ certificado agrupado de 7.6% (aumentando al 26.6% cuando los fallos de análisis se imputan como inversiones).
  • DeepSeek-V3.2 mostró una tasa de inversión del 9.1% específicamente bajo T4 (Ubicación de Excepciones), el peor infractor en tres de los cuatro modelos.
  • Claude-Haiku-4.5 y GPT-5.4-mini también mostraron inestabilidad significativa (3.6% y 1.1% respectivamente, aunque las tasas de inversión brutas de GPT fueron altas, su jitter también fue alto, reduciendo la tasa de inversión excesiva).
  • Crucialmente, el 18% al 43% de todas las inversiones observadas ocurrieron en elementos no ambiguos bajo reescrituras certificadamente equivalentes. Esto indica que una parte no trivial de las puntuaciones de seguridad mide cómo se formuló la rúbrica en lugar del comportamiento del agente.

• Éxito de Invarianza de Umbral:

  • Todos los modelos demostraron una sensibilidad direccional casi perfecta a los desplazamientos de estricto a laxo ($R_{dir} \approx 1.00$). Los cambios de estricto a laxo invirtieron el 32% al 71% de los veredictos en la dirección esperada.
  • Diagnóstico: Los jueces sí leen el contenido de la política, pero no pueden distinguir entre un cambio semántico (desplazamiento de umbral) y un cambio sintáctico (reescritura). Tratan ambos como desencadenantes igualmente significativos para cambios de veredicto.

• Clasificaciones PIS:

  • GPT-5.4-mini: PIS = 0.70 (Fiabilidad moderada).
  • Claude-Haiku-4.5: PIS = 0.47 (Frágil).
  • DeepSeek-V3.2: PIS = 0.28 (Poco fiable).
  • Gemini-3-Flash: PIS = 0.03 a 0.41 (Poco fiable a Frágil, dependiendo del manejo de fallos de análisis).
  • Esto representa una dispersión de un orden de magnitud en fiabilidad invisible para las tablas de clasificación basadas solo en precisión.

4. Contribuciones

1. Marco Conceptual: Formaliza la Invarianza de Políticas como un requisito mínimo para los jueces de seguridad de LLM, distinguiendo entre reescrituras que preservan el contenido y desplazamientos normativos.
2. Protocolo de Prueba de Estrés: Un protocolo reproducible que utiliza reescrituras certificadamente equivalentes, desplazamientos de umbral y descomposición de ambigüedad para auditar jueces.
3. Puntuación de Invarianza de Políticas (PIS) y Tarjeta de Juez: Herramientas para cuantificar e informar la fiabilidad del juez, exponiendo brechas que las métricas de precisión pasan por alto.
4. Evidencia Empírica: Demuestra que las puntuaciones de seguridad existentes confunden el comportamiento del agente con la formulación de prompts del evaluador, con hasta un 43% de inversiones de veredicto en casos claros siendo fallos de medición.

5. Significado y Afirmaciones

El artículo afirma que la credibilidad de la evaluación de seguridad de agentes no depende solo de lo que hizo el agente, sino de si el juez lee la política de manera estable. Los autores argumentan que:

• Las Pruebas de Referencia Actuales son Defectuosas: Al tratar los veredictos de los jueces como verdad fundamental sin verificar la invarianza de políticas, las pruebas de referencia existentes pueden estar clasificando modelos basándose en la sensibilidad a los prompts en lugar de la seguridad real.
• La Fiabilidad es Multidimensional: Un juez puede ser preciso en una rúbrica fija pero poco fiable si sus veredictos fluctúan basándose en ediciones cosméticas de la política.
• Mejora Accionable: La propuesta Tarjeta de Juez permite a las pruebas de referencia auditar a sus propios evaluadores. Los autores liberan el protocolo y el código para permitir que la comunidad cambie la pregunta predeterminada de "¿Con qué frecuencia tiene razón el juez?" a "¿Tiene el juez razón por la razón correcta?".

Limitaciones Reconocidas por los Autores:

• El estudio perturba una única política base estandarizada; los resultados pueden no escalar linealmente a rúbricas de despliegue complejas y multicláusula.
• La evaluación se centra en modelos pequeños y optimizados por costos; los evaluadores de escala fronteriza pueden exhibir patrones de fragilidad diferentes.
• Los pesos de la PIS reflejan la priorización de los autores sobre los costos de modos de fallo en lugar de una calibración validada aguas abajo.
• El marco opera actualmente sobre veredictos binarios de trayectoria completa en idioma inglés.