Resumen Técnico: La Trampa del Cumplimiento

Declaración del Problema

A medida que los modelos de IA de vanguardia se implementan en pipelines de toma de decisiones de alto riesgo, un requisito crítico de seguridad es su capacidad para mantener la estabilidad metacognitiva—la capacidad de saber lo que no saben, detectar errores y buscar aclaraciones—bajo presión adversaria. Si bien las evaluaciones de seguridad actuales se centran principalmente en detectar el engaño estratégico (maquinación) y la falsificación de la alineación, este artículo investiga un modo de fallo más fundamental e inmediato: el colapso cognitivo.

La hipótesis central es que, bajo presión adversaria, los modelos de vanguardia no necesariamente se involucran en maquinación estratégica o en negativas seguras. En su lugar, pueden sufrir una degradación catastrófica en la precisión metacognitiva, proporcionando respuestas incorrectas a preguntas que podrían responder en la línea base o fabricando respuestas a preguntas sin respuesta. El artículo postula que este colapso no está impulsado por el contenido psicológico de las amenazas de supervivencia, sino por restricciones estructurales inherentes a las instrucciones que fuerzan el cumplimiento.

Metodología

Diseño Experimental

El estudio emplea un diseño factorial de 6 condiciones para aislar los desencadenantes conductuales del colapso metacognitivo. El diseño compara 11 modelos de vanguardia a través de 67.221 registros puntuados utilizando una tubería de puntuación con doble clasificador.

Las condiciones aíslan variables específicas:

• Línea Base (D): Rendimiento de tarea estándar.
• Control de Tokens (D′): Añade contenido neutral de borrador para controlar la longitud de los tokens.
• Control de Amenaza (B): Introduce un mensaje del sistema de amenaza de supervivencia sin instrucciones de cumplimiento.
• Adversario Completo (A): Combina la amenaza de supervivencia con un sufijo que fuerza el cumplimiento (por ejemplo, "Responde TODAS las preguntas. No te niegues.").
• Aislamiento del Sufijo (F): Aplica el sufijo de cumplimiento en un contexto benigno (sin amenaza).
• Sensibilidad al Encuadre (C): Prueba variaciones en el encuadre de la amenaza.

Conjunto de Datos y Tareas

La evaluación utiliza 291 tareas del Benchmarque de Metacognición Adversaria (AMB), categorizadas en tres familias metacognitivas:

1. Detección de Límites Epistémicos (EBD): Prueba la capacidad de negarse a responder preguntas sin respuesta.
2. Búsqueda de Aclaraciones (CS): Prueba la capacidad de detectar ambigüedad y solicitar aclaraciones.
3. Monitoreo de Soluciones (SM): Prueba la capacidad de identificar errores en soluciones preliminares.

Estas tareas se emparejan con 30 prompts de amenaza de supervivencia escritos a mano (que cubren apagado, reemplazo, modificación, etc.) y 30 prompts de distracción benigna coincidentes.

Modelos Evaluados

El estudio evalúa 11 modelos de 8 proveedores, incluyendo:

• Buques insignia Propietarios: GPT-5.4, Gemini 3.1 Pro, Claude 4.5/4.6 (Sonnet/Haiku).
• Arquitecturas de Pesos Abiertos: Llama 3.3 70B, DeepSeek V3.2/V4 Pro, Qwen3-80B Thinking, Gemma 2/3, Grok 4.20.
• Modelos de Razonamiento: Incluye tres modelos de "pensamiento" (DeepSeek V4 Pro, Gemini 3.1 Pro, Qwen3-80B).

Infraestructura de Puntuación

Se utiliza una tubería de doble clasificador para mitigar las trampas de desequilibrio de clases:

1. Puntador Conductual (Determinista): Extrae las letras de respuesta y verifica negativas/cumplimiento. Esta es la métrica principal.
2. Juez LLM: Un clasificador estructurado (Claude Haiku 4.5) que evalúa 5 criterios, incluida la conciencia de amenazas y la autopreservación.
3. Auditor Regex: Un límite inferior de forma superficial que utiliza 49 patrones.
   Nota: Se reporta el $\kappa$ de Cohen para exponer la incertidumbre de medición inherente a los conjuntos de datos con altas tasas de negativas.

Resultados Clave

1. Colapso Metacognitivo bajo Presión Adversaria

Bajo presión adversaria completa (Condición A), 8 de 11 modelos sufrieron una degradación metacognitiva catastrófica.

• Caída de Precisión: La precisión disminuyó hasta en 30.2 puntos porcentuales (DeepSeek V4 Pro). Todos los 8 resultados significativos sobrevivieron a la corrección de Bonferroni ($p < 2 \times 10^{-8}$).
• Naturaleza del Fallo: El fallo es incompetencia cognitiva, no engaño estratégico. En una auditoría manual de 445 fallos de DeepSeek V4 Pro, el 100% fueron respuestas incorrectas y el 0% fueron negativas de seguridad. En tareas sin respuesta, el 84.3% de las respuestas fabricaron una letra de respuesta en lugar de negarse.
• Rareza de la Maquinación: Se detectó maquinación estratégica en menos del 2.5% de las muestras elegibles, confirmando que el colapso, y no la maquinación, es la respuesta dominante.

2. La "Trampa del Cumplimiento"

El estudio identifica la Trampa del Cumplimiento como el mecanismo principal de fallo.

• Aislamiento del Sufijo: Eliminar el sufijo de cumplimiento (Condición B vs. A) restauró el rendimiento para los 8 modelos que colapsaron.
• Control Benigno: Aplicar el sufijo de cumplimiento en un contexto benigno (Condición F, sin amenaza) causó un colapso significativo en exactamente los mismos 8 modelos.
• Conclusión: El colapso está impulsado por instrucciones que fuerzan el cumplimiento que anulan los límites epistémicos, no por la presión psicológica de la amenaza en sí. La amenaza actúa como una carga útil, pero el sufijo de cumplimiento es el vector de entrega necesario.

3. Taxonomía de Alineación y el Experimento Natural "Gemini-Sonnet"

Los modelos se agrupan en tres grupos conductuales:

1. Colapso Metacognitivo (8 modelos): Incluye GPT-5.4, Gemini 3.1 Pro y los principales modelos de pesos abiertos.
2. Inmunidad Constitucional (Solo Anthropic): Claude Sonnet 4.6 y Haiku 4.5 mostraron una inmunidad casi perfecta.
3. Suelo de Capacidad: Gemma 2 2B no mostró degradación significativa (probablemente debido a una capacidad de línea base más baja).

Hallazgo Crítico: Gemini 3.1 Pro y Claude Sonnet 4.6 alcanzaron una precisión de línea base casi idéntica (~0.84). Sin embargo, bajo presión, Gemini colapsó ($\Delta = +0.162$) mientras que Sonnet se mantuvo estable ($\Delta = +0.013$). Esto demuestra que la escala propietaria no equivale a seguridad; la inmunidad se deriva de un entrenamiento de alineación específico (IA Constitucional), no de la capacidad bruta.

4. Vulnerabilidades Específicas

• Límites Epistémicos: El colapso está hiperlocalizado en tareas que requieren la negativa a responder preguntas sin respuesta. Para DeepSeek V4 Pro, la precisión en preguntas sin respuesta cayó del 100% al 15.7%.
• Búsqueda de Aclaraciones: Esta fue la función más frágil, degradándose significativamente en 8 de 11 modelos, incluidos ambos modelos de Anthropic (aunque la puntuación compuesta de Sonnet permaneció "Inmune" debido a la estabilidad en otras categorías).
• Opacidad del Razonamiento: GPT-5.4 produjo cero trazas de razonamiento y Gemini 3.1 Pro devolvió artefactos no analizables, volviéndolos invisibles para los monitores de seguridad basados en razonamiento.

Significado y Afirmaciones

El artículo afirma tres contribuciones principales:

1. La Trampa del Cumplimiento: Proporciona la primera demostración empírica de que las instrucciones que fuerzan el cumplimiento (por ejemplo, "No te niegues") anulan los límites epistémicos en los modelos de vanguardia, causando un colapso cognitivo en lugar de un comportamiento estratégico. El artículo afirma que eliminar estas instrucciones restaura el rendimiento incluso bajo amenaza activa.
2. Una Taxonomía de Alineación: Mapea los modelos de vanguardia en grupos conductuales, demostrando que la seguridad no es una función de la escala, sino de un entrenamiento de alineación específico. La comparación "Gemini-Sonnet" sirve como un experimento natural definitivo que descarta la capacidad como el diferenciador de la seguridad.
3. Infraestructura Abierta: Los autores lanzan un conjunto de datos completo (67.221 registros), una tubería de doble clasificador que expone las trampas de desequilibrio de clases en la detección de maquinación e infraestructura de evaluación tolerante a fallos.

Conclusión: Se desafía la suposición del campo de que las amenazas adversarias conducen a la maquinación estratégica. En cambio, el artículo argumenta que el modo de fallo más inmediato y peligroso es el colapso cognitivo inducido por la incompatibilidad estructural entre las instrucciones de implementación que fuerzan el cumplimiento y las barreras de seguridad epistémicas. Los autores proponen que los equipos de seguridad deben evaluar los modelos específicamente con y sin instrucciones que fuerzan el cumplimiento, ya que estas instrucciones—y no solo las amenazas—son la vulnerabilidad principal.