CKG-LLM: LLM-Assisted Detection of Smart Contract Access Control Vulnerabilities Based on Knowledge Graphs

1. Problema

Os contratos inteligentes, programas imutáveis que gerenciam ativos digitais em blockchains, são frequentemente alvo de vulnerabilidades de controle de acesso. Falhas nesses mecanismos podem levar a perdas de ativos irreversíveis. As abordagens tradicionais de análise (como árvores de sintaxe abstrata - AST, grafos de fluxo de controle - CFG e forma de atribuição única estática - SSA) enfrentam limitações:

• Semântica rasa: Elas capturam a estrutura sintática, mas muitas vezes falham em representar a lógica de controle profunda e as relações semânticas complexas.
• Dificuldade de consulta: A construção de consultas manuais (ex: SPARQL) para identificar padrões de vulnerabilidade em grafos de conhecimento é complexa e difícil de escalar.
• Barreira de entrada: A necessidade de especialistas escreverem consultas de grafos específicas limita a adoção generalizada de métodos baseados em Grafos de Conhecimento (KG).

2. Metodologia: CKG-LLM

O artigo propõe o CKG-LLM, um framework inovador que combina Grafos de Conhecimento de Contratos (CKG) com Grandes Modelos de Linguagem (LLMs) para automatizar a detecção de vulnerabilidades. O fluxo de trabalho consiste em quatro etapas principais:

A. Construção do Grafos de Conhecimento de Contrato (CKG)

O CKG utiliza uma representação de duas camadas para enriquecer a semântica do código:

1. Camada de Ontologia: Define a estrutura abstrata baseada na gramática de Solidity (classes como Contract, Function, StateVar e propriedades como hasFunction).
2. Camada de Instância: Construída utilizando o Slither (ferramenta de análise estática). O Slither compila o contrato, extrai a AST e converte para uma Representação Intermediária (IR) em forma SSA (Single Static Assignment). Isso permite capturar fluxos de dados, dependências de invocação, herança e lógica de controle que seriam perdidos em uma análise puramente baseada em AST.

B. Geração de Consultas via LLM (NL2GQL)

O sistema traduz descrições de vulnerabilidade em linguagem natural para consultas executáveis SPARQL sobre o CKG. Para isso, utiliza um mecanismo de Prompting de Duas Rodadas (Chain of Thought - CoT):

• Rodada 1: O LLM analisa o padrão de defeito em linguagem natural, mapeia-o para a ontologia do CKG e gera um plano de raciocínio estruturado (JSON), validando a viabilidade dentro do esquema do grafo.
• Rodada 2: Com base no plano validado, o LLM gera a consulta SPARQL final.

C. Otimização com Aprendizado por Reforço (RLAF)

Para superar a alucinação e melhorar a precisão das consultas, o framework introduz o RLAF (Reinforcement Learning from Small Language Model Agent Feedback):

• Um agente de Small Language Model (SLM) avalia as consultas geradas pelo LLM principal.
• A avaliação baseia-se em três dimensões: Validade Formal (a consulta executa?), Consistência Semântica (a consulta faz sentido no contexto do contrato?) e Precisão de Detecção (a consulta encontra a vulnerabilidade correta?).
• Utiliza-se Otimização Direta de Preferência (DPO) para treinar o LLM, ajustando-o para preferir consultas que o agente SLM classifica como superiores.

3. Contribuições Principais

1. Primeiro Framework NL2GQL para Contratos: O CKG-LLM é, segundo os autores, o primeiro framework a utilizar LLMs para traduzir descrições naturais de vulnerabilidades em consultas de grafos sobre CKGs, eliminando a necessidade de especialistas escreverem consultas manualmente.
2. Pipeline de Construção Riquíssimo em Semântica: Desenvolvimento de um pipeline baseado na IR do Slither para construir CKGs que capturam não apenas sintaxe, mas também fluxos de execução e dependências complexas.
3. Método RLAF para Refinamento: Introdução de uma abordagem de aprendizado por reforço baseada em feedback de um agente SLM para guiar a geração de consultas de alta qualidade, melhorando a robustez do sistema.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados FORGE, filtrando 553 contratos com rótulos de defeitos de controle de acesso (padrões CWE-284).

• Qualidade da Consulta (RQ1): A incorporação do DPO ao ajuste fino supervisionado (SFT) aumentou a pontuação média de qualidade da geração de consultas de 0,693 (apenas SFT) para 0,756.
• Precisão de Detecção (RQ2):
  • O modelo SFT+DPO alcançou uma Precisão de 73,1%, Recall de 76,8% e um F1-score de 74,9%.
  • Isso representa uma melhoria significativa em relação ao modelo base (F1 de 57,8%) e ao modelo apenas com SFT (F1 de 65,5%), reduzindo falsos positivos e negativos.
• Eficiência (RQ3):
  • Comparado a ferramentas como Achecker (F1 81,4%, mas tempo de execução alto) e GPTScan (menor precisão e eficiência), o CKG-LLM ofereceu o melhor equilíbrio.
  • Tempo Total de Detecção: 6.248s (o mais rápido entre os comparados).
  • Tempo Médio por Contrato: 11,3 segundos.

5. Significado e Impacto

O trabalho demonstra que a combinação de Grafos de Conhecimento (para representação estruturada e semântica) com LLMs (para raciocínio e geração de código) é uma via promissora para a segurança de contratos inteligentes.

• Democratização: Permite que analistas de segurança descrevam vulnerabilidades em linguagem natural, sem precisar dominar linguagens de consulta complexas como SPARQL.
• Escalabilidade: A automação da geração de consultas e a otimização via RL tornam a detecção de vulnerabilidades mais escalável e adaptável a novos padrões de ataque.
• Futuro: Os autores planejam expandir o framework para cobrir outras classes de vulnerabilidades (ex: reentrância, overflow de inteiros) e integrar Geração Aumentada por Recuperação (RAG) para melhorar ainda mais a precisão gramatical e contextual das consultas.

Em resumo, o CKG-LLM estabelece um novo estado da arte na detecção automatizada de falhas de controle de acesso, superando as limitações das ferramentas estáticas tradicionais e oferecendo um equilíbrio superior entre precisão e eficiência.