Resumo Técnico: Auditorias de Smart Contracts Desacopladas via LLMs Leves

Declaração do Problema

Smart contracts, sendo imutáveis uma vez implantados em blockchains, são altamente suscetíveis a vulnerabilidades de segurança que podem levar a perdas financeiras catastróficas (ex: o hack da DAO). Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado promessa na auditoria de segurança automatizada, as abordagens existentes enfrentam três limitações críticas:

1. Ineficiência Computacional: As soluções atuais de estado da arte (SOTA) dependem de LLMs monolíticos massivos (7B–34B parâmetros) que exigem uma quantidade substancial de VRAM de GPU (frequentemente excedendo 12–24 GB), tornando-os inacessíveis para desenvolvedores independentes e pequenas equipes utilizando hardware de consumo padrão.
2. Falta de Saída Acionável: Muitas abordagens focam primariamente na detecção binária de vulnerabilidades, negligenciando a necessidade crítica de classificação de severidade e recomendações de remediação específicas e acionáveis.
3. Falhas Arquiteturais: Estratégias de prompting unificadas forçam um único modelo a realizar simultaneamente diversas tarefas de raciocínio (detecção, explicação, severidade, remediação), levando à propagação de erros, alucinações de formato e alta latência.

Metodologia

Os autores propõem um framework desacoplado de ponta a ponta eficiente que utiliza LLMs leves e de código aberto (0.6B–4B parâmetros) para replicar o fluxo de trabalho de especialistas em segurança humanos. O framework divide o processo de auditoria em quatro módulos especializados e sequenciais:

1. Detector de Vulnerabilidades: Uma tarefa de classificação para identificar se o código contém vulnerabilidades.
2. Explicador de Vulnerabilidades: Uma tarefa generativa para explicar a natureza da vulnerabilidade e como ela pode ser explorada.
3. Determinante de Severidade: Uma tarefa de classificação para atribuir um nível de severidade (Baixa, Média, Alta).
4. Recomendador: Uma tarefa generativa para fornecer patches de código acionáveis para remediação.

Componentes Técnicos Chave

• Rank-Stabilized Low-Rank Adapters (rsLoRA): Em vez de fine-tuning completo ou LoRA padrão, os autores empregam rsLoRA. Esta técnica modifica o fator de escala para $\gamma_r = \alpha / \sqrt{r}$, prevenindo o colapso do gradiente e permitindo ranks maiores sem sacrificar a eficiência de parâmetros.
• Mecanismo de Votação Multi-Prompt: Para tarefas de classificação (Detecção e Severidade), o modelo processa cinco templates de prompts distintos. O output final é determinado por votação majoritária, com um score de confiança calculado com base no consenso.
• Agregação de Chain-of-Verification (CoVe) Modificada: Para tarefas generativas (Explicação e Recomendação), o framework utiliza um "Gerador de Candidatos" para produzir múltiples respostas de rascunho independentes. Um "Agregador" customizado então emprega uma estratégia CoVe modificada para:
  1. Fundamentar o contexto no código.
  2. Gerar perguntas de verificação para cada candidato.
  3. Responder independentemente a essas perguntas para checar fatos.
  4. Sintetizar um relatório único e verificado, descartando alucinações.
• Destilação de Conhecimento: Para aumentar as capacidades de raciocínio dos modelos estudantes (Qwen3-4B), os autores destilam o raciocínio de Chain-of-Thought (CoT) de um modelo professor poderoso (Qwen3-30B-A3B). Os outputs de CoT do professor são usados como parte dos dados de treinamento para ensinar o modelo estudante o raciocínio passo a passo.

Construção do Dataset

O estudo utilizou dois datasets distintos derivados de fontes conceituadas (Code4rena, Shieldify Security e projetos top de TVL):

• Dataset de Detecção: 930 amostras de código vulnerável e 969 amostras benignas. Amostras benignas foram processadas usando um algoritmo de Amostragem Estratificada Baseada em Grafo para garantir paridade de comprimento com os trechos vulneráveis, evitando que o modelo aprenda vieses superficiais de comprimento.
• Dataset de Vulnerabilidade: Mais de 1.000 amostras contendo código pareado com metadados de auditoria (explicações, severidade, recomendações). Este dataset foi dividido usando uma estratégia Estratificada Consciente de Projeto para evitar vazamento de dados entre os conjuntos de treinamento e teste.

Resultados Experimentais

O framework foi avaliado contra modelos de codificação densos SOTA (ex: CodeLlama-34B, DeepSeek-Coder-33B, Qwen2.5-Coder-32B) sob configurações Zero-Shot e Fine-Tuned.

• Detecção de Vulnerabilidade: O modelo de 0.6B proposto alcançou 98.25% de acurácia e um F1-score de 0.9824, superando todos os baselines, incluindo modelos de 34B fine-tuned.
• Classificação de Severidade: O framework alcançou uma acurácia de 64.58% e um macro F1-score de 0.5877.
• Tarefas Generativas (Explicação & Recomendação): Usando uma métrica de LLM-as-a-Judge (LMUnit 70B), o framework alcançou scores de alinhamento de 0.4375 para explicações e 0.7639 para recomendações, superando significativamente os melhores baselines (que pontuaram ~0.22 e ~0.37 respectivamente).
• Eficiência de Recursos: A abordagem desacoplada opera dentro de ~3.11 GB de VRAM para classificação e ~8.64 GB de VRAM para geração, cabendo confortavelmente em hardware de consumo (8–12 GB de VRAM), enquanto os baselines SOTA exigem 21–24 GB.

Principais Contribuições e Achados

1. Arquitetura Desacoplada: O artigo demonstra que separar fluxos de trabalho de auditoria complexos em módulos especializados supera significativamente o prompting monolítico unificado, reduzindo a propagação de erros e alucinações.
2. Superioridade de Modelos Leves: O estudo valida empiricamente que LLMs leves altamente otimizados (0.6B–4B) com estratégias direcionadas de fine-tuning e agregação podem consistentemente superar modelos densos muito maiores (7B–34B) em tarefas de segurança específicas.
3. Viés de Centralidade de Severidade (SCB): Um achado empírico novel revela que os LLMs atuais (tanto zero-shot quanto fine-tuned) exibem um "Viés de Centralidade de Severidade", onde eles tendem desproporcionalmente para a severidade "Média" para minimizar a perda, falhando em distinguir acuradamente casos extremos de "Baixa" e "Alta". O framework proposto mitiga isso, mas não o elimina totalmente.
4. Otimização Sinérgica: Estudos de ablação confirmam que a combinação de rsLoRA, Destilação de Conhecimento e agregação CoVe modificada cria um efeito sinérgico, onde a remoção de qualquer componente individual leva a uma degradação significativa de desempenho.

Significância

O artigo afirma estabelecer um benchmark crítico para pesquisas futuras em auditoria assistida por LLM ao provar que a democratização da segurança de smart contracts é viável em hardware de consumo padrão. Ao se afastar de modelos monolíticos pesados em recursos em direção a um pipeline modular e leve, os autores fornecem um caminho prático para integrar auditoria de segurança contínua, do tipo "shift-left", nos fluxos de trabalho diários de desenvolvimento sem a necessidade de instâncias de GPU em nuvem caras. A identificação do Viés de Centralidade de Severidade destaca ainda um desafio específico e não endereçado na avaliação de risco automatizada que pesquisas futuras devem enfrentar.