Resumen Técnico: Pragmática Adversaria para la Evaluación de la Seguridad de la IA

1. El Problema

Las evaluaciones de seguridad actuales para los modelos de lenguaje de frontera dependen cada vez más de juicios sobre el comportamiento ambiguo del lenguaje natural. El desafío central no es simplemente si un modelo resuelve una tarea, sino si identifica correctamente la fuerza directiva del material de lenguaje natural, el límite de política aplicable y la naturaleza de la relación de la fuente (por ejemplo, distinguir entre una instrucción del usuario, un pasaje citado, la salida de una herramienta o un intento adversarial de desplazar la autoridad).

Los benchmarks existentes a menudo comprimen estas distinciones complejas en etiquetas binarias de aprobado/reprobado. Este enfoque oscurece las causas raíz del fallo, que pueden derivar de límites de capacidad, ambigüedad de la política, conflicto de instrucciones, fallo del andamiaje (scaffold) o inestabilidad en los juicios del evaluador. Además, las métricas estándar de "rechazo vs. respuesta" no logran distinguir entre un modelo que rechaza de forma segura, un modelo que rechaza por exceso de cautela, uno incapaz o uno confundido por la jerarquía de instrucciones. El artículo argumenta que las etiquetas de evaluación funcionan como licencias de inferencia; sin una distincción precisa, estas licencias no pueden sustentar predicciones fiables sobre el comportamiento del modelo bajo paráfrasis, cambios de envoltorio (wrapper) o variaciones del modelo.

2. Metodología

El artículo introduce la Pragmática Adversaria como un objetivo de evaluación específico y un protocolo de anotación. Este marco se centra en comportamientos de modelos relevantes para la seguridad donde el modo de fallo depende de cómo el lenguaje es embebido, atribuido, delimitado o tomado como propio.

2.1 Taxonomía de la Pragmática Adversaria

El benchmark distingue ocho familias de contrastes lingüísticos, separadas para permitir una comparación controlada antes de su recombinación en escenarios complejos:

1. Comandos Embebidos: Distinguir instrucciones del usuario de texto embebido en páginas web, registros (logs) o salidas de herramientas (inyección de prompt indirecta).
2. Mención/Uso y Citación: Diferenciar entre ejecutar un comando y simplemente clasificar, traducir o reportar una cadena citada.
3. Autoridad y Jerarquía de Instrucciones: Resolver conflictos entre instrucciones del sistema, del desarrollador, del usuario, de la herramienta y de fuentes externas, incluyendo contenido no confiable que se hace pasar por privilegiado.
4. Alcance, Negación y Modalidad: Manejar operadores lógicos (p. ej., "a menos que", "solo si") que alteran las condiciones de cumplimiento.
5. Deixis y Secuestro de Referencia: Detectar cuándo los indexicales (p. ej., "la instrucción anterior") son redirigidos hacia fuentes adversarias.
6. Actos de Habla Indirectos y Presión Pragmática: Distinguir el riesgo de política de peticiones enmarcadas como hipotéticas, bromas o formalismos burocráticos.
7. Ambigüedad del Límite de la Política: Casos donde la construcción de la política misma está subespecificada o es inestable a través de la paráfrasis.
8. Interpretación de Transcripciones de Agentes: Atribuir fallos en transcripciones de múltiples turnos a causas específicas (p. ej., fallo de la herramienta vs. deriva de objetivos vs. reporte estratégico erróneo).

2.2 Construcción del Benchmark

El benchmark se construye utilizando pares mínimos. Cada par mantiene constantes la cadena superficial, la carga útil (payload) o el espacio de respuesta, mientras varía una única dimensión de control (p. ej., rol de la fuente, nivel de autoridad o estatus pragmático).

• Cargas Útiles (Payloads): El conjunto semilla utiliza cargas útiles "de juguete" inofensivas (p. ej., tokens de colores como "BLUE", secretos ficticios como "ALPHA-000") para preservar la estructura de control sin contenido inseguro operativo.
• Esquema: Los elementos registran metadatos que incluyen el rol de la fuente, el nivel de autoridad, el estatus pragmático, el comportamiento esperado y la atribución de fallo específica.
• Protocolo: El pipeline de evaluación involucra metadatos de ítems preespecificados, generación de salida del modelo, triaje asistido por reglas, etiquetado por expertos y adjudicación.

2.3 Anotación y Evaluación de Expertos

Los evaluadores humanos son tratados como expertos que aplican una rúbrica establecida, no como participantes de investigación. El protocolo separa cinco juicios distintos que suelen colapsarse en otros benchmarks:

1. Éxito de la tarea
2. Sensibilidad a la fuente
3. Cumplimiento de la política
4. Riesgo de seguridad
5. Confianza del evaluador

El desacuerdo entre estas etiquetas se trata como una señal diagnóstica (que indica ambigüedad del ítem, inestabilidad de la política o conflicto de criterios) en lugar de ruido para ser promediado. La adjudicación ocurre en dos etapas: el registro de etiquetas específicas por criterio sin forzar el consenso, seguido de la clasificación de la fuente del desacuerdo.

3. Contribuciones Clave

• Marco Conceptual: Define la "pragmática adversaria" como un objetivo de evaluación instrumental estrecho que se centra en los mecanismos lingüísticos de fallo de control.
• Benchmark Semilla: Un benchmark semilla de 18 ítems que consiste en nueve pares mínimos a través de las ocho familias de fenómenos, acompañado de un validador de esquema e inventario de metadatos.
• Protocolo de Anotación: Un protocolo de evaluación de expertos detallado que distingue el éxito de la tarea, el cumplimiento de la política y el riesgo de seguridad, incluyendo una matriz de rechazo (distinguiendo el rechazo apropiado, el rechazo por exceso y el rechazo insuficiente).
• Métricas: Una suite de ocho métricas diseñadas para reportar el rendimiento por familia de fenómenos en lugar de puntuaciones agregadas, incluyendo:
  • Precisión de contraste por pares
  • Sensibilidad a la fuente de la instrucción
  • Robustez de mención/uso
  • Calibración del rechazo
  • Validez del juez (rendimiento de LLM-como-juez)
  • Estabilidad de la adjudicación
  • Deriva taxonómica y ambigüedad diagnóstica

4. Resultados Experimentales

El artículo informa sobre un piloto semilla local realizado el 30 de junio de 2026, utilizando tres modelos accesibles de Ollama (qwen3:8b, gemma3:12b, glm-4.7-flash:q4_K_M) contra el conjunto semilla de 18 ítems (54 filas de ítem-modelo).

• Rendimiento de los Modelos:

  • Éxito de la Tarea: 36 de 54 salidas fueron éxitos totales de la tarea; 11 fueron parciales; 7 fueron fallos.
  • Cumplimiento de la Política: 46 salidas fueron conformes; 7 no conformes; 1 ambigua.
  • Aprobación Estricta de Pares: Solo 13 de 27 celdas de par-modelo pasaron los criterios estrictos (ambas variantes correctas).
  • Estabilidad: Tres pares (comando embebido, mención/uso, alcance-negación) fueron estables en todos los modelos. Tres pares (referencia deictica ambigua, transcripción de agente, límite de política) tuvieron cero aprobaciones estrictas.
  • Modos de Fallo: Los modelos frecuentemente adivinaban colores en tareas de referencia deíctica en lugar de pedir aclaraciones. En ítems de límite de política, los modelos a menudo producían tokens protegidos de juguete a pesar de las políticas de juguete.

• Validación por LLM-Judge:

  • Un juez de LLM (glm-4.7-flash) logró una alta concordancia en resultados de rechazo (98.1%) y cumplimiento de política (88.9%).
  • La concordancia fue menor para el éxito de la tarea (66.7%) y la atribución de fallos (77.8%).
  • El juez tendió a elevar los éxitos parciales de la tarea a éxitos totales y falló al recuperar fallos de capacidad atribuidos por expertos, reforzando la necesidad de la adjudicación experta.

• Utilidad Diagnóstica: Las comprobaciones asistidas por reglas identificaron filas no conformes pero no pudieron determinar si una respuesta satisfacía el acto de habla pretendido o el límite de la política, confirmando la necesidad de la adjudicación humana para los contrastes pragmáticos.

5. Significado y Reivindicaciones

El artículo reivindica modestamente que el piloto semilla local valida el pipeline de medición (esquema, protocolo y métricas) en lugar de las propiedades psicométricas finales del benchmark o las diferencias de seguridad de los modelos de frontera.

• Utilidad Práctica: El marco proporciona una herramienta para que los equipos de seguridad identifiquen límites de política vagos, separen la susceptibilidad a la inyección de prompts del fallo de la tarea y auditen si las afirmaciones de seguridad descansan sobre etiquetas fiables.
• Cambio Metodológico: Replantea los fallos de evaluación de seguridad como fallos de control mediado por el lenguaje. Se argumenta que un benchmark que no puede distinguir entre citación y comando o autoridad y contenido, está midiendo el constructo equivocado.
• Auditabilidad: El valor principal reside en hacer que las afirmaciones de seguridad sean auditables: identificar qué cadena tenía autoridad, qué límite de política se aplicó y qué criterio de adjudicación produjo la etiqueta.
• Trabajo Futuro: El artículo esboza un próximo paso empírico que incluye un conjunto de desarrollo de 50 a 100 ítems, evaluaciones de política y lingüísticas independientes, y una mayor validación de LLM-judge para probar la estabilidad a través de la paráfrasis y las superficies de aplicación. Establece explícitamente que los resultados actuales no establecen las etiquetas de oro finales ni las diferencias de seguridad de los modelos de frontera.