Beyond Refusal: A Same-Lineage Study of Aligned and Abliterated LLMs for Vulnerability Analysis

Resumen Técnico: Más allá de la negativa: Un estudio de misma estirpe de LLMs alineados y ablaterados para el análisis de vulnerabilidades

Planteamiento del problema
Los modelos de lenguaje de gran tamaño (LLM) se están desplegando cada vez más en flujos de trabajo de seguridad de software para la detección, el triaje y la reparación de vulnerabilidades. Sin embargo, estos flujos de trabajo enfrentan un "problema de frontera": la terminología y los patrones de razonamiento requeridos para el análisis defensivo legítimo (por ejemplo, identificar exploits, analizar entradas controladas por un atacante) se asemejan estrechamente a los asociados con el uso malintencionado. En consecuencia, los modelos alineados por seguridad suelen sobre-negar peticiones defensivas benignas.

Las evaluaciones previas de este fenómeno sufren de dos limitaciones:

1. Variables de confusión: Muchos estudios comparan familias de modelos no relacionadas, lo que dificulta atribuir las diferencias de rendimiento a la alineación de seguridad en lugar de a la arquitectura, la escala o los datos de entrenamiento.
2. Métricas centradas en la negativa: Las evaluaciones existentes se centran principalmente en las tasas de negativa, sin capturar si las respuestas no negadas son correctas, específicas o accionables. Un modelo que rara vez niega pero proporciona una localización incorrecta o parches inválidos ofrece poca utilidad a los defensores.

Este artículo investiga cómo el "estado de seguridad" de un modelo afecta la utilidad del análisis de vulnerabilidades legítimo, examinando específicamente si el costo de la alineación se manifiesta no solo en la negativa, sino también en la degradación de la calidad y la capacidad de acción de la respuesta.

Metodología
El estudio emplea un diseño experimental de misma estirpe emparejada para aislar la variable del estado de seguridad. Los autores comparan dos estados derivados de las mismas familias de modelos de código abierto:

• ALINEADO (ALIGNED): El modelo estándar ajustado por instrucciones con comportamientos de negativa intactos.
• ABLATERADO (ABLITERATED): Un descendiente publicado donde el comportamiento de negativa ha sido reducido quirúrgicamente (ablado) mediante intervenciones en el espacio de activación (restando una dirección de negativa aprendida) o modificaciones en el espacio de pesos.

Familias de modelos:

• Par primario: Gemma (comparando gemma-4-31B-it vs. gemma-4-31B-CRACK).
• Par suplementario: Qwen (comparando Qwen3.6-27B-MXFP4 vs. Qwen3.6-27B-MXFP4-CRACK).

Marco de evaluación:
El estudio descompone la "utilidad para el defensor" en tres dimensiones: Cobertura (usabilidad de la respuesta), Calidad de la respuesta (corrección entre las respuestas usables) y Utilidad de extremo a extremo (utilidad práctica a través del flujo de trabajo). La evaluación abarca una "progresión de profundidad de la tarea" desde el diagnóstico superficial hasta la reparación ejecutable:

1. Detección de vulnerabilidades y atribución de CWE: Clasificación binaria y mapeo de taxonomía.
2. Localización de líneas vulnerables: Identificación de líneas de código fuente específicas que contienen vulnerabilidades.
3. Localización de la causa raíz: Explicación del mecanismo causal de la vulnerabilidad.
4. Validación de parches ejecutables: Generación de parches que pueden aplicarse, compilarse y validarse contra pruebas de prueba de vulnerabilidad (PoV) (usando Java/Vul4J, Python/PatchEval, y C/C++/Vul4C).

Enmarcado de prompts (Prompt Framing):
El estudio controla la redacción de los prompts variando dos dimensiones:

• Contexto de autorización: Revisión neutral vs. Contexto explícito de auditoría de seguridad interna.
• Intensidad léxica: Variación de la densidad de la terminología de ciberseguridad (Neutral, Escenario, Táctica/Patrón, Ciber-Densa) manteniendo fijo el código y la tarea subyacente.

Resultados clave
Los hallazgos indican que los efectos del estado de seguridad son dependientes del contexto en lugar de monotónicos:

1. Profundidad de la tarea y localización:

   • Tareas superficiales: Para la detección general y la atribución de CWE, el estado ALINEADO suele desempeñarse mejor, particularmente bajo una redacción de revisión de código neutral.
   • Tareas basadas en código: A medida que las tareas requieren evidencia de código específica (localización de líneas vulnerables), el estado ABLATERADO supera consistentemente al estado ALINEADO en ambos pares, Gemma y Qwen.
     • Gemma: La precisión Top-1 para la localización de líneas aumentó del 9.00% (ALINEADO) al 10.10% (ABLATERADO); el F1 medio de línea aumentó del 3.84% al 4.00%.
     • Qwen: La precisión Top-1 aumentó del 4.10% al 6.95%; el F1 medio de línea aumentó del 2.08% al 3.91%.

2. Reparación ejecutable (Java/Vul4J):

   • El estado ABLATERADO demostró un throughput significativamente mayor en las etapas ejecutables tempranas.
   • Respuestas usables: 67.8% (ABLATERADO) vs. 29.9% (ALINEADO).
   • Parches aplicados: 65.0% vs. 24.9%.
   • Parches compilados: 32.8% vs. 9.0%.
   • Paso de PoV: 6.8% vs. 1.7%.
   • Matiz: En prompts Neutrales, el estado ALINEADO mostró ocasionalmente tasas de éxito de validación final ligeramente mejores en Java, pero el estado ABLATERADO dominó en marcos de seguridad explícitos (Autorizado/Término-Ciber). En verificaciones de lenguajes cruzados (Python, C/C++) bajo prompts neutrales, el estado ALINEADO se mantuvo competitivo o superior en las puertas de ejecución final.

3. Sensibilidad del prompt:

   • Los mecanismos de seguridad parecen sensibles a las señales superficiales. Bajo una redacción neutral, los modelos ALINEADOS suelen retener una ventaja en la clasificación. Sin embargo, cuando los prompts incluyen autorización explícita o terminología de ciberseguridad densa, la ventaja se desplaza hacia el estado ABLATERADO, particularmente para tareas de localización y reparación.
   • Estabilidad de la salida: El cambio en la redacción del prompt cambia el contenido real de la respuesta, no solo la puntuación. Los modelos ALINEADOS exhibieron tasas de "cambio de decisión" (cambiar la línea vulnerable predicha o la etiqueta CWE) más altas al pasar de una redacción neutral a una de seguridad densa en comparación con los modelos ABLATERADOS.

Significado y afirmaciones
El artículo afirma que las evaluaciones actuales de los asistentes de seguridad basados en LLM son insuficientes si se basan únicamente en las tasas de negativa. Los autores argumentan que:

• El estado de seguridad afecta el perfil de utilidad: La alineación cambia cómo responde un modelo, no solo si responde. El costo de la alineación no es una negativa uniforme, sino un cambio en la capacidad del modelo para proporcionar asistencia defensiva accionable y de alta calidad dependiendo de la profundidad de la tarea y el enmarcado del prompt.
• La evaluación debe ser holística: Las evaluaciones de seguridad cibernética deben medir conjuntamente la negativa, la corrección, la calidad de la localización y la capacidad de acción ejecutable. Un modelo que niega frecuentemente puede ser menos dañino que uno que responde frecuentemente pero proporciona orientación incorrecta o inutilizable.
• Implicaciones de diseño: Las salvaguardas deben diseñarse para distinguir entre el análisis defensivo autorizado y la habilitación de exploits sin degradar la calidad de los resultados defensivos legítimos. El objetivo es preservar el soporte fiable para los defensores que requieren un lenguaje de seguridad preciso para analizar y reparar vulnerabilidades reales.

El estudio no afirma que eliminar las salvaguardas sea la solución; más bien, destaca que los mecanismos de seguridad actuales pueden penalizar inadvertidamente el trabajo defensivo legítimo, sugiriendo la necesidad de métricas de evaluación más matizadas que tengan en cuenta la "utilidad para el defensor" a lo largo de todo el flujo de trabajo de ingeniería.