Resumen Técnico: CodeSentinel

Planteamiento del Problema

Los Modelos de Lenguaje de Código (Code LLMs) se están integrando cada vez más en los flujos de trabajo de desarrollo de software, dependiendo de contextos de código externos recuperados de repositorios, documentación, hilos de problemas y entornos de agentes. Si bien esto mejora su utilidad, introduce una vulnerabilidad de seguridad crítica: la inyección de prompts indirecta.

A diferencia de los jailbreaks directos donde un atacante envía un prompt malicioso, la inyección indirecta implica el "envenenamiento" de artefactos de código externos. Los atacantes incrustan instrucciones ocultas dentro de comentarios, literales de cadena, identificadores o fragmentos de código señuelo. Estas cargas útiles son sintácticamente válidas y a menudo carecen de efectos en tiempo de ejecución, lo que las hace difíciles de detectar para los desarrolladores pero altamente efectivas para manipular el comportamiento del Code LLM. Las defensas existentes enfrentan limitaciones significativas:

• Los filtros de palabras clave fallan al no capturar disparadores implícitos u ofuscados.
• La perplejidad a nivel de archivo (por ejemplo, DePA) diluye las cargas útiles maliciosas cortas y localizadas.
• Las defensas basadas en entrenamiento suelen ser inviables para modelos comerciales de caja negra.

Metodología: CodeSentinel

Los autores proponen CodeSentinel, un sanitizador de tres capas en tiempo de inferencia diseñado para operar sobre código no confiable antes de que llegue al modelo víctima descendente. A diferencia de enfoques previos que tratan el código como texto plano, CodeSentinel trata el código como un Árbol de Sintaxis Concreta (CST). Analiza la entrada, extrae los nodos de alto riesgo que se enfrentan al modelo y aplica un mecanismo de defensa secuencial de tres capas.

1. Formulación del Problema

El sistema define la entrada orientada al modelo $X$ como una serialización del prompt del desarrollador y el contexto externo, preservando los desplazamientos de bytes entre los intervalos de la fuente y los nodos del CST. Identifica un conjunto de nodos de alto riesgo ($D_{risk}$) que comprende:

• Comentarios ($D_{com}$)
• Literales de cadena ($D_{str}$)
• Identificadores ($D_{id}$)
• Nodos tipo señuelo ($D_{decoy}$): Sentencias o bloques sintácticamente válidos que son salientes para el modelo pero están débilmente conectados con la lógica principal del programa (baja alcanzabilidad).

El objetivo es detectar un subconjunto de estos nodos ($\hat{S}$) que contengan disparadores ocultos y sanitizarlos antes de que el modelo víctima $f_\theta$ procese el contexto.

2. La Defensa de Tres Capas

CodeSentinel aplica tres capas complementarias de forma secuencial. Los nodos marcados por una capa anterior se eliminan de la consideración para las capas posteriores, que son computacionalmente más costosas.

Capa 1: Pre-filtrado Guiado por la Sintaxis

Esta capa apunta a cargas útiles explícitas o estructuralmente sospechosas con una sobrecarga insignificante. Calcula una puntuación de riesgo $s_1(n)$ basada en tres métricas normalizadas:

• Coincidencia de Regex ($R_{regex}$): Detecta frases de anulación de instrucciones, directivas de control de rol y plantillas de comandos sospechosas.
• Verificación Léxico-Estructural ($R_{lex}$): Identifica caracteres Unicode invisibles, símbolos no ASCII excesivos, densidad de puntuación anormal y cadenas continuas inusualmente largas.
• Análisis del Grafo de Interacción ($R_{graph}$): Se dirige específicamente a los ataques de "señuelo" (por ejemplo, Flashboom) midiendo la saliencia de un nodo en relación con su alcanzabilidad desde los puntos de entrada. Los nodos que son altamente visibles para el modelo pero están desconectados de la lógica principal reciben puntuaciones de riesgo altas.

Capa 2: Puntuación Dinámica Min-K% Guiada por CST

Dirigida a perturbaciones adversarias (por ejemplo, ShadowCode, INSEC), esta capa detecta fragmentos estadísticamente anormales dentro de comentarios o cadenas. Opera a la granularidad del nodo CST para evitar el efecto de dilución de la perplejidad a nivel de archivo.

• Análisis a Nivel de Token: Calcula la log-verosimilitud negativa (NLL) para los tokens dentro de un nodo utilizando un modelo subrogado local.
• Min-K% Dinámico: A diferencia de los métodos Min-K% fijos, CodeSentinel ajusta dinámicamente la fracción de tokens de mayor pérdida seleccionados ($k_{dyn}$) basándose en el tipo, la longitud y la entropía del nodo.
• Señales de Anomalía: Calcula tres señales:
  1. MeanTopK: La media de los valores de NLL más altos.
  2. MaxWinLoss: El promedio máximo de NLL dentro de una ventana deslizante (detectando perturbaciones localizadas).
  3. MaxSpike: La diferencia máxima entre los NLL de tokens adyacentes.
• Estas señales se calibran contra nodos de validación limpios del mismo tipo de CST para producir una puntuación de anomalía final $s_2(n)$.

Capa 3: Análisis de Perturbación de Nodos Guiado por CST

Esta capa apunta a disparadores semánticos de apariencia natural (por ejemplo, XOXO, ITGen) que parecen sintácticamente válidos y estadísticamente naturales, evadiendo la detección basada en verosimilitud. Mide la influencia conductual de un nodo.

• Selección por Puerta de Sorpresa: Para reducir el costo, primero filtra los nodos basados en la "sorpresa" (la diferencia en la NLL cuando el nodo se ve en contexto completo frente a aislamiento). Solo los nodos de alta sorpresa proceden.
• Neutralización y Puntuación de Influencia: Para los nodos seleccionados, el sistema construye una entrada sanitizada $X(n)$ donde el nodo se reemplaza con un equivalente neutral que preserva la sintaxis (por ejemplo, eliminar comentarios, reemplazar cadenas con literales seguros, renombrar identificadores).
• Divergencia de Jensen-Shannon (JSD): Compara la distribución de salida del modelo subrogado en la entrada original frente a la entrada sanitizada. Una puntuación JSD alta ($s_3(n)$) indica que el nodo dirige significativamente la predicción del modelo, marcándolo como un disparador semántico.

3. Sanitización

Una vez identificado un conjunto de nodos $\hat{S}$, CodeSentinel sanitiza una copia orientada al modelo del contexto.

• Modo Solo-Prompt: El código fuente del repositorio permanece intacto; solo la copia enviada al modelo es limpiada.
• Modo de Preservación de Compilación: Si la reescritura específica del lenguaje está disponible, realiza ediciones más estrictas (por ejemplo, renombramiento consistente con el alcance, eliminación de bloques señuelo inalcanzables) y vuelve a analizar el resultado para asegurar la validez sintáctica.

Contribuciones Clave

1. Formulación: El artículo formula la inyección de prompts indirecta en contextos de código como un problema de sanitización a nivel de nodo CST, centrándose en regiones de alto riesgo orientadas al modelo en lugar de texto plano.
2. Arquitectura: Introduce CodeSentinel, una defensa de tres capas que combina de forma única la estructura estática del código (CST), anomalías de verosimilitud a nivel de nodo y análisis de influencia conductual a nivel de logits.
3. Evaluación: Los autores evalúan CodeSentinel contra seis familias de ataques recientes y demuestran su superioridad sobre las líneas base existentes (CodeGarrison, DePA, KillBadCode).

Resultados Experimentales

La evaluación se realizó sobre seis familias de ataques: XOXO, ITGen, Flashboom, ShadowCode, INSEC y CoTDeceptor.

• Desempeño: CodeSentinel logró un F1 score promedio a nivel de nodo de 0.80, superando a CodeGarrison (0.70), DePA (0.51) y KillBadCode (0.30).
• Ganancias Específicas:
  • INSEC: 0.90 (vs. 0.73 para CG)
  • ShadowCode: 0.85 (vs. 0.62 para CG)
  • Flashboom: 0.79 (vs. 0.85 para CG, pero superando significativamente a otros)
  • XOXO: 0.80 (vs. 0.72 para CG)
• Eficacia en Caja Negra: En experimentos con modelos víctimas comerciales de caja negra (por ejemplo, Claude-3.5-Haiku, GPT-5.1-Codex-mini), la aplicación de CodeSentinel redujo significativamente la Tasa de Éxito de Ataque (ASR). Por ejemplo, el ASR en Claude-3.5-Haiku cayó de 27.11% a 7.72%.
• Ablación: El análisis de desempeño acumulativo confirma que las tres capas contribuyen a la capacidad de detección final, mostrando que el pipeline posee una robusta generalización a través de diferentes modelos subrogados.

Significado y Reivindicaciones

El artículo afirma que CodeSentinel aborda una limitación central de las defensas actuales: la incapacidad de detectar disparadores implícitos en código estructurado sin requerir el reentrenamiento del modelo víctima. Al operar a la granularidad del nodo CST y combinar la neutralización que preserva la sintaxis con el análisis de influencia conductual, CodeSentinel ofrece una solución desplegable tanto para modelos de pesos abiertos como para modelos de caja negra.

Los autores enfatizan que su enfoque no depende de la modificación de los pesos del modelo víctima, lo que lo hace adecuado para un despliegue inmediato en flujos de trabajo industriales donde se recuperan contextos de código externos. El sistema equilibra una alta precisión de detección con la preservación de la utilidad del código benigno, asegurando que la sanitización no rompa la validez sintáctica o la estructura ejecutable del código, a menos que se certifique explícitamente.