Resumo Técnico: CodeSentinel

Declaração do Problema

Os Grandes Modelos de Linguagem de Código (Code LLMs) estão cada vez mais integrados aos fluxos de trabalho de desenvolvimento de software, dependendo de contextos de código externos recuperados de repositórios, documentações, tópicos de problemas e ambientes de agentes. Embora isso aumente a utilidade, introduz uma vulnerabilidade de segurança crítica: a injeção de prompt indireta.

Ao contrário dos jailbreaks diretos, onde um atacante envia um prompt malicioso, a injeção indireta envolve o "envenenamento" de artefatos de código externos. Atacantes embutem instruções ocultas em comentários, literais de string, identificadores ou trechos de código de isca (decoy). Essas cargas úteis (payloads) são sintaticamente válidas e frequentemente carecem de efeitos em tempo de execução, tornando-as difíceis de detectar para os desenvolvedores, mas altamente eficazes em manipular o comportamento do Code LLM. As defesas existentes enfrentam limitações significativas:

• Filtros de palavras-chave falham em capturar gatilhos implícitos ou ofuscados.
• Perplexidade ao nível de arquivo (ex: DePA) dilui payloads maliciosos curtos e localizados.
• Defesas baseadas em treinamento são frequentemente inviáveis para modelos comerciais de caixa-preta (black-box).

Metodologia: CodeSentinel

Os autores propõem o CodeSentinel, um sanitizador de três camadas, em tempo de inferência, projetado para operar em código não confiável antes que ele chegue ao modelo vítima de jusante (downstream). Diferente de abordagens anteriores que tratam o código como texto plano, o CodeSentinel trata o código como uma Árvore de Sintaxe Concreta (CST). Ele analisa o input, extrai nós de alto risco voltados ao modelo e aplica um mecanismo de defesa sequencial de três camadas.

1. Formulação do Problema

O sistema define o input voltado ao modelo $X$ como uma serialização do prompt do desenvolvedor e do contexto externo, preservando os deslocamentos de bytes entre os intervalos da fonte (source spans) e os nós da CST. Ele identifica um conjunto de nós de alto risco ($D_{risk}$) composto por:

• Comentários ($D_{com}$)
• Literais de string ($D_{str}$)
• Identificadores ($D_{id}$)
• Nós do tipo isca ($D_{decoy}$): Declarações ou blocos sintaticamente válidos que são salientes para o modelo, mas fracamente conectados à lógica principal do programa (baixa alcançabilidade).

O objetivo é detectar um subconjunto desses nós ($\hat{S}$) contendo gatilhos ocultos e sanitizá-los antes que o modelo vítima $f_\theta$ processe o contexto.

2. A Defesa de Três Camadas

O CodeSentinel aplica três camadas complementares sequencialmente. Os nós sinalizados por uma camada anterior são removidos da consideração para as camadas subsequentes, que são computacionalmente mais caras.

Camada 1: Pré-filtragem Guiada por Sintaxe

Esta camada visa payloads explícitos ou estruturalmente suspeitos com sobrecarga negligenciável. Ela calcula uma pontuação de risco $s_1(n)$ baseada em três métricas normalizadas:

• Correspondência de Regex ($R_{regex}$): Detecta frases de sobreposição de instruções, diretivas de controle de papel e modelos de comando suspeitos.
• Verificação Léxico-Estrutural ($R_{lex}$): Identifica caracteres Unicode invisíveis, símbolos não-ASCII excessivos, densidade anormal de pontuação e strings contínuas incomumente longas.
• Análise de Grafo de Interação ($R_{graph}$): Visa especificamente ataques de isca (ex: Flashboom) medindo a saliência de um nó em relação à sua alcançabilidade a partir de pontos de entrada. Nós que são altamente visíveis para o modelo, mas desconectados da lógica principal, recebem pontuações de risco elevadas.

Camada 2: Pontuação Dinâmica Min-K% Guiada por CST

Visando perturbações adversariais (ex: ShadowCode, INSEC), esta camada detecta fragmentos estatisticamente anômalos dentro de comentários ou strings. Ela opera na granularidade do nó da CST para evitar o efeito de diluição da perplexidade ao nível de arquivo.

• Análise ao Nível de Token: Calcula a log-verossimilhança negativa (NLL) para tokens dentro de um nó usando um modelo substituto (surrogate) local.
• Min-K% Dinâmico: Diferente dos métodos Min-K% fixos, o CodeSentinel ajusta dinamicamente a fração de tokens de maior perda selecionados ($k_{dyn}$) com base no tipo, comprimento e entropia do nó.
• Sinais de Anomalia: Computa três sinais:
  1. MeanTopK: A média dos valores de NLL mais altos.
  2. MaxWinLoss: A média máxima de NLL dentro de uma janela deslizante (detectando perturbações localizadas).
  3. MaxSpike: A diferença máxima entre NLLs de tokens adjacentes.
• Esses sinais são calibrados contra nós de validação limpos do mesmo tipo de CST para produzir uma pontuação de anomalia final $s_2(n)$.

Camada 3: Análise de Perturbação de Nó Guiada por CST

Esta camada visa gatilhos semânticos de aparência natural (ex: XOXO, ITGen) que parecem sintaticamente válidos e estatisticamente naturais, evitando a detecção baseada em verossimilhança. Ela mede a influência comportamental de um nó.

• Seleção com Filtro de Surpresa (Surprise-Gated Selection): Para reduzir o custo, filtra primeiro os nós com base na "surpresa" (a diferença na NLL quando o nó é visto no contexto total versus isolado). Apenas nós de alta surpresa prosseguem.
• Neutralização e Pontuação de Influência: Para os nós selecionados, o sistema constrói um input sanitizado $X(n)$ onde o nó é substituído por um equivalente neutro que preserva a sintaxe (ex: remover comentários, substituir strings por literais seguros, renomear identificadores).
• Divergência de Jensen-Shannon (JSD): Compara a distribuição de saída do modelo substituto no input original versus o input sanitizado. Uma pontuação JSD alta ($s_3(n)$) indica que o nó desvia significativamente a previsão do modelo, marcando-o como um gatilho semântico.

3. Sanitização

Uma vez identificado um conjunto de nós $\hat{S}$, o CodeSentinel sanitiza uma cópia voltada ao modelo do contexto.

• Modo Somente Prompt (Prompt-Only Mode): A fonte do repositório permanece intocada; apenas a cópia enviada ao modelo é limpa.
• Modo de Preservação de Compilação (Compile-Preserving Mode): Se a reescrita específica de linguagem estiver disponível, realiza edições mais rigorosas (ex: renomeação consistente de escopo, remoção de blocos de isca inalcançáveis) e reanalisa o resultado para garantir a validade sintática.

Principais Contribuições

1. Formulação: O artigo formula a injeção de prompt indireta em contextos de código como um problema de sanitização de nível de nó de CST, focando em regiões de alto risco voltadas ao modelo, em vez de texto plano.
2. Arquitetura: Introduz o CodeSentinel, uma defesa de três camadas que combina de forma única a estrutura estática do código (CST), anomalias de verossimilhança ao nível de nó e análise de influência comportamental ao nível de logits.
3. Avaliação: Os autores avaliam o CodeSentinel contra seis famílias de ataques recentes e demonstram sua superioridade sobre as linhas de base existentes (CodeGarrison, DePA, KillBadCode).

Resultados Experimentais

A avaliação foi realizada em seis famílias de ataques: XOXO, ITGen, Flashboom, ShadowCode, INSEC e CoTDeceptor.

• Desempenho: O CodeSentinel alcançou um F1 score médio de nível de nó de 0,80, superando o CodeGarrison (0,70), DePA (0,51) e KillBadCode (0,30).
• Ganhos Específicos:
  • INSEC: 0,90 (vs. 0,73 para CG)
  • ShadowCode: 0,85 (vs. 0,62 para CG)
  • Flashboom: 0,79 (vs. 0,85 para CG, mas superando significativamente os outros)
  • XOXO: 0,80 (vs. 0,72 para CG)
• Eficácia Black-Box: Em experimentos com modelos vítimas comerciais de caixa-preta (ex: Claude-3.5-Haiku, GPT-5.1-Codex-mini), a aplicação do CodeSentinel reduziu significativamente a Taxa de Sucesso de Ataque (ASR). Por exemplo, o ASR no Claude-3.5-Haiku caiu de 27,11% para 7,72%.
• Ablação: A análise cumulativa de desempenho confirma que todas as três camadas contribuem para a capacidade de detecção final, com o pipeline mostrando uma generalização robusta através de diferentes modelos substitutos.

Significância e Alegações

O artigo afirma que o CodeSentinel aborda uma limitação central das defesas atuais: a incapacidade de detectar gatilhos implícitos em códigos estruturados sem exigir o retreinamento do modelo vítima. Ao operar na granularidade do nó da CST e combinar a neutralização que preserva a sintaxe com a análise de influência comportamental, o CodeSentinel oferece uma solução implantável tanto para modelos de pesos abertos quanto para modelos de caixa-preta.

Os autores enfatizam que sua abordagem não depende da modificação dos pesos do modelo vítima, tornando-a adequada para implantação imediata em fluxos de trabalho industriais onde contextos de código externos são recuperados. O sistema equilibra alta precisão de detecção com a preservação da utilidade do código benigno, garantindo que a sanitização não quebre a validade sintática ou a estrutura executável do código, a menos que explicitamente certificado.