Resumo Técnico: Avaliação de Desempenho de Modelos de Linguagem de Grande Escala para Recuperação de Indicadores de Comprometimento sob Ofuscação e Criptografia Adversariais

Declaração do Problema

A ofuscação e a criptografia de software são desafios persistentes para analistas de cibersegurança, particularmente quando adversários ocultam Indicadores de Comprometimento (IoCs) — como endereços IP, domínios ou chaves de API — dentro do código-fonte. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado progresso significativo no raciocínio sobre código e na deofuscação, sua resiliência contra técnicas de ocultação adversariais, especificamente a criptografia, permanece amplamente inexplorada. As avaliações de desempenho existentes frequentemente focam na recuperação estrutural ou em melhorias de legibilidade, em vez da detecção sistemática de artefatos relevantes para a segurança sob ofuscação progressiva. Além disso, trabalhos anteriores que avaliam a deofuscação de JavaScript com LLMs tipicamente excluem técnicas de criptografia e não se concentram na extração automática de IoCs. Essa lacuna deixa questões críticas sem resposta sobre se os LLMs podem identificar com confiabilidade artefatos ocultos em código criptografado e como diferentes camadas de ofuscação impactam essa capacidade.

Metodologia

Os autores propõem uma avaliação de desempenho sistemática e automatizada projetada para avaliar a capacidade dos LLMs de recuperar IoCs embutidos em programas JavaScript ofuscados e criptografados. A metodologia consiste em dois componentes principais:

1. Construção do Conjunto de Dados

O estudo utiliza um conjunto de dados derivado de 336 arquivos JavaScript originais e benignos do "The Algorithms Project". Esses arquivos foram sistematicamente transformados em 12 níveis progressivos de ocultação para emular cenários de ameaça realistas. O pipeline de transformação inclui:

• Ofuscação Sintática e Estrutural: Renomeação de variáveis, injeção de código morto, achatamento de fluxo de controle e codificação de strings.
• Ocultação Criptográfica: Criptografia XOR e criptografia AES-256.
• Complexidade Progressiva: Os Níveis 1–4 envolvem transformações leves; os Níveis 5–6 introduzem criptografia (XOR e AES-256) com as chaves e rotinas de descriptografia embutidas diretamente no código-fonte; os Níveis 7–12 combinam criptografia com as ofuscações sintáticas e estruturais anteriores.

Crucialmente, a inclusão de chaves de descriptografia dentro do código garante que a verdade fundamental seja recuperável via análise estática, permitindo que o estudo avalie a capacidade do LLM de raciocinar sobre construções criptográficas, em vez de sua capacidade de realizar criptanálise por força bruta.

2. Deofuscação Assistida por IA e Avaliação

Foi desenvolvido um framework automatizado para consultar múltiplos LLMs comerciais (ChatGPT, Gemini, Anthropic, Grok e Cohere) por meio de suas APIs. O processo envolve:

• Prompt Padronizado: Um modelo de prompt controlado solicita ao modelo que determine se um IoC está presente (SIM/NÃO/NÃO SEI) e, se SIM, que extraia o valor.
• Normalização de Respostas: As saídas brutas são normalizadas em um esquema unificado para facilitar a avaliação automatizada.
• Métricas: O sistema mede a taxa de detecção, precisão de extração, falsos positivos/negativos, taxas de incerteza e taxas de alucinação.

Contribuições Principais

O artigo faz três contribuições primárias para o campo da inteligência de ameaças automatizada e análise de código:

1. Metodologia Automatizada: Um framework reproduzível para avaliar múltiplos LLMs em sua capacidade de detectar IoCs ocultos em vários níveis de ofuscação e criptografia.
2. Conjunto de Dados em Grande Escala: A construção e liberação de um conjunto de dados compreendendo 4.368 instâncias modificadas de JavaScript (336 originais × 12 níveis de transformação), especificamente projetado para avaliação de desempenho na recuperação de IoCs sob condições adversariais.
3. Avaliação Empírica Abrangente: Uma comparação detalhada dos LLMs mais avançados, identificando forças específicas no manuseio de transformações leves e limitações consistentes ao confrontar código criptografado ou semanticamente distorcido. O estudo também analisa padrões de alucinação, revelando vieses sistemáticos nas saídas dos modelos.

Resultados Principais

A avaliação revela uma dicotomia aguda no desempenho dos LLMs com base no tipo de ofuscação:

• Ofuscação Leve (Fases 0–4): Os LLMs exibem altas taxas de sucesso. Modelos como ChatGPT, Claude, Gemini e Grok alcançaram detecção quase perfeita (100%) para texto simples e ofuscações sintáticas (Base64, renomeação de identificadores, código morto, achatamento estrutural). O Cohere mostrou degradação progressiva, mas permaneceu funcional.
• Ofuscação Criptográfica (Fases 5–12): O desempenho colapsa dramaticamente. Com a introdução da criptografia (XOR ou AES-256), as taxas de detecção para todos os modelos caíram para quase zero, independentemente de a chave de descriptografia estar presente no código.
  • A transição da Fase 4 (ofuscação estrutural) para a Fase 5 (criptografia XOR) representa um "penhasco de desempenho", onde os modelos passam de sucesso sistemático para falha quase completa.
  • Adicionar camadas sintáticas ou estruturais adicionais ao código criptografado (Fases 7–12) não piorou significativamente o desempenho além da falha de criptografia de base, sugerindo que a própria criptografia é a barreira dominante.
• Alucinações: Embora as taxas agregadas de alucinação fossem baixas para a maioria dos modelos (abaixo de 0,25% para Anthropic e ChatGPT), o Gemini exibiu uma taxa mais alta (4,8%). Os IoCs alucinados não eram aleatórios; mostraram um forte viés para faixas de IPs privados (por exemplo, 192.168.17.101), sugerindo que, quando os modelos não conseguem decodificar o material, eles recorrem a heurísticas aprendidas para contextos de segurança "plausíveis".

Significado e Alegações

O artigo afirma que suas descobertas estabelecem a criptografia como uma fronteira crítica para a análise de código impulsionada por LLMs. Os resultados indicam que, embora os LLMs sejam ferramentas eficazes para análise estática e triagem inicial de código não criptografado ou levemente ofuscado, eles atualmente carecem da capacidade de realizar raciocínio simbólico ou simular a execução de código necessária para recuperar IoCs de payloads criptografados.

Os autores concluem que as arquiteturas atuais de LLM dependem principalmente do reconhecimento de tokens de superfície e da correspondência de padrões semânticos, em vez de semântica de programa profunda ou raciocínio de fluxo de controle. Consequentemente, a presença de criptografia interrompe fundamentalmente os mecanismos que os LLMs utilizam para reconhecimento de IoCs. O artigo defende uma integração cautelosa de LLMs em pipelines de cibersegurança, sugerindo que sejam usados como parte de frameworks híbridos onde a análise estática ou dinâmica tradicional complementa suas capacidades, em vez de depender deles como soluções autônomas para inteligência de ameaças criptografada.