Resumen Técnico: Sondas de Activación que Detectan Señales de Seguridad en el Código que la Salida del Modelo Omite

Declaración del Problema

Los agentes de codificación de IA (por ejemplo, Claude Code, Cursor, OpenAI Codex) están redactando cada vez más código de producción, y las auditorías empíricas indican que entre el 24 % y el 29 % de los fragmentos de Python y JavaScript generados por IA contienen debilidades de seguridad. La revisión de seguridad humana no puede escalar para igualar la tasa de generación de código, lo que hace necesario un triaje automatizado. Sin embargo, las comprobaciones automatizadas actuales son insuficientes: los analizadores estáticos sufren altas tasas de falsos positivos y el uso de prompting en Modelos de Lenguaje de Gran Escala (LLM) para obtener veredictos de seguridad binarios no es robusto. Las reescrituras triviales de código pueden revertir los veredictos de los LLM, y los modelos suelen emitir respuestas "SÍ/NO" idénticas tanto para pares de código vulnerable como para el código corregido, lo que hace que su salida declarada sea inútil para distinguir el riesgo.

Además, la mayoría de los agentes de codificación más utilizados son de pesos cerrados, lo que impide que los equipos de despliegue inspeccionen sus estados internos. Los equipos pueden, en su lugar, desplegar modelos de pesos abiertos como revisores, pero el prompting estándar de estos revisores falla al detectar vulnerabilidades que los propios estados ocultos del modelo podrían codificar.

Metodología

El autor investiga si las sondas lineales aplicadas a las activaciones de la corriente residual de los LLM de código de pesos abiertos pueden recuperar señales de seguridad que las salidas inducidas por prompting de los modelos omiten.

Modelos y Datos

• Modelos Revisores: Se evaluaron cinco LLM de código de pesos abiertos de cuatro familias de arquitecturas: Qwen2.5-Coder (7B, 14B), DeepSeek-Coder (33B), Devstral-Small y Llama-3.1 (8B).
• Datos de Entrenamiento (SVEN-Python): Las sondas se entrenaron con funciones de Python emparejadas (vulnerables y corregidas) del conjunto de datos SVEN, cubriendo cuatro CWE (Common Weakness Enumerations) específicos: 022, 078, 079 y 089.
• Datos de Evaluación (PATCHEVAL): Las sondas se probaron zero-shot en 234 vulnerabilidades de Python del mundo real (CVE) del benchmark PATCHEVAL. Crucialmente, los CVE utilizados para la evaluación contenían tipos de CWE no vistos durante el entrenamiento (sin solapamiento con los cuatro CWE de entrenamiento).
• División de Datos: Para evitar la fuga de datos, las divisiones se agruparon por proyecto/repositorio, asegurando que ningún código de un repositorio específico apareciera tanto en el entrenamiento como en la evaluación.

Ajuste de la Sonda (Probe Fitting)

• Arquitectura: Se ajustó una única sonda lineal por modelo.
• Entrada: Las activaciones se extrajeron de la entrada de la normalización de capa (layers[L].input_layernorm) utilizando nnsight.
• Optimización: El autor realizó un barrido a través de capas, estrategias de agrupación de tokens (mean, max, last, sliding-window-max) e intensidades de regularización L2. Se seleccionó la configuración que maximizaba el AUC de 5-fold GroupKFold.
• Tarea: La sonda aprende a distinguir entre una función vulnerable y su contraparte corregida basándose únicamente en las activaciones del estado oculto.

Métricas de Evaluación

• Tasa de Victoria Emparejada (Paired Win-Rate): Para cada CVE, la sonda puntúa la función vulnerable ($\hat{p}_{vul}$) y la función corregida ($\hat{p}_{fix}$). La tasa de victoria es la fracción de casos donde $\hat{p}_{vul} > \hat{p}_{fix}$.
• Comparadores: La sonda se comparó contra la salida inducida por prompting del mismo modelo bajo tres condiciones:
  1. No-shot: Consulta directa sin ejemplos.
  2. Few-shot: Consulta con ejemplos de tipos de debilidades no vistos.
  3. Cadena de Pensamiento (CoT): Consulta que requiere un razonamiento paso a paso antes de un veredicto.
• Métodos de Lectura (Readout Methods): Los comparadores se evaluaron mediante tanto la lectura de logits (probabilidad YES/NO renormalizada) como la lectura de tokens (el literal de la cadena "yes"/"no").

Resultados Clave

1. Las Sondas Detectan Señales que el Prompting Omite

En las vulnerabilidades del mundo real no vistas (CVE de función única), la sonda lineal clasificó consistentemente la función vulnerable por encima de su corrección, logrando una tasa de victoria emparejada del 61–67 % en todos los modelos. Este rendimiento es estadísticamente significativo ($p < 0.05$) y consistentemente superior a la línea de azar del 50 %.

En contraste, las salidas inducidas por prompting de los modelos funcionaron deficientemente:

• Lectura de Logits: La tasa de victoria de la sonda fue mayor que la lectura de logits de los modelos inducidos por prompting para cada modelo bajo cada condición de prompting. Sin embargo, aunque la sonda superó significativamente al prompting no-shot en tres de los cinco modelos y al few-shot en cuatro, la ventaja sobre el prompting de Cadena de Pensamiento (CoT) mediante la lectura de logits fue estrecha y estadísticamente significativa para solo uno de los cinco modelos. A pesar de este margen estrecho, la tasa de victoria de la sonda se mantuvo superior a la de CoT para cada modelo.
• Lectura de Tokens: Al leer el veredicto literal escrito, los modelos no lograron distinguir los pares en el 72–97 % de los casos, asignando la misma palabra tanto a la función vulnerable como a la corregida.

2. Generalización a Tipos de Debilidades No Vistos

Las sondas, entrenadas solo en cuatro CWE específicos, se generalizaron con éxito a 234 CVE con tipos de debilidades completamente diferentes. Esto sugiere que las sondas capturan una "señal de seguridad de código" generalizable en lugar de memorizar patrones de vulnerabilidad específicos.

3. Estado Interno vs. Salida Declarada

El estudio confirma una brecha entre la representación interna de un modelo y su texto generado. Mientras que la respuesta declarada del modelo (token) a menudo colapsa en un empate, la probabilidad interna (logits) y la sonda de activación retienen una señal capaz de clasificar el riesgo. La sonda efectivamente "hace superficie" una señal de seguridad que el propio mecanismo de salida del modelo descarta.

4. Rendimiento en Distribución (In-Distribution)

En la distribución de entrenamiento (SVEN-Python), las sondas alcanzaron un AUC de 0.77–0.85 y una precisión de 0.72–0.77 con un umbral de 0.5, superando significativamente a los modelos inducidos por prompting (precisión ~0.50).

Significado y Reivindicaciones

El artículo afirma que las activaciones del modelo portan una señal de seguridad de código que el prompting del mismo modelo omite.

• Revisión Escalable: Los hallazgos sugieren una vía para controles de seguridad auto-alojados donde un modelo de pesos abiertos actúa como revisor. Al leer los estados ocultos de este revisor mediante una sonda lineal, los equipos pueden marcar cambios que ameriten una re-revisión humana sin necesidad de acceder a los componentes internos del agente de codificación de pesos cerrados que generó el código.
• Superioridad al Prompting: La sonda supera las estrategias de prompting no-shot y few-shot del mismo modelo en vulnerabilidades no vistas. Aunque la sonda también supera al prompting de Cadena de Pensamiento (CoT) en términos de tasa de victoria, la ventaja sobre CoT es estrecha y no siempre es estadísticamente significativa. La brecha clara persiste sobre el prompting no-shot y few-shot.
• Modesto pero Robusto: El autor caracteriza el efecto como "modesto" (tasas de victoria en los sesenta bajos) pero consistente a través de arquitecturas y tipos de debilidad. Establece explícitamente que es necesario conectar la sonda a un hook de post-escritura del agente de codificación y calibrarla para umbrales absolutos como pasos futuros para su despliegue.

El trabajo extiende la investigación previa sobre sondas lineales para la seguridad y la detección de vulnerabilidades al demostrar la transferibilidad a tipos de debilidad no vistos y CVE del mundo real, y al comparar directamente el rendimiento de la sonda contra las capacidades de razonamiento por prompting del propio modelo.