CKG-LLM: LLM-Assisted Detection of Smart Contract Access Control Vulnerabilities Based on Knowledge Graphs

1. Planteamiento del Problema

La seguridad de los contratos inteligentes es crítica debido a su naturaleza inmutable y a la gestión autónoma de activos digitales. Las vulnerabilidades de control de acceso han escalado al primer lugar en las clasificaciones de riesgos (OWASP), ya que permiten a atacantes obtener control no autorizado y causar pérdidas irreversibles.

Los enfoques tradicionales de análisis (basados en árboles de sintaxis abstracta - AST, grafos de flujo de control o formas de asignación estática única - SSA) presentan limitaciones:

• A menudo capturan estructuras semánticas y lógica de control de manera superficial.
• La extracción de conocimiento basada únicamente en AST puede perder información sintáctica y estructural profunda.
• La creación de consultas para detectar vulnerabilidades (usando lenguajes como SPARQL) es difícil para los humanos, lo que limita la adopción de métodos basados en Grafos de Conocimiento (KG).

2. Metodología: El Marco CKG-LLM

El artículo propone CKG-LLM, un marco de trabajo asistido por Modelos de Lenguaje Grande (LLM) que traduce patrones de vulnerabilidad descritos en lenguaje natural en consultas ejecutables sobre un Grafo de Conocimiento de Contratos (CKG).

El flujo de trabajo consta de cuatro etapas principales:

A. Construcción del Grafo de Conocimiento de Contratos (CKG)

Se utiliza un diseño de dos capas:

1. Capa de Ontología: Formaliza la sintaxis abstracta de Solidity (clases como Contract, Function, StateVar, propiedades y relaciones).
2. Capa de Instancias: Se construye utilizando Slither (una herramienta de análisis estático). En lugar de usar solo el AST, CKG-LLM utiliza la Representación Intermedia (IR) de Slither, que se convierte a una forma SSA. Esto permite extraer relaciones complejas como herencia, invocación de modificadores, flujos de ejecución y dependencias de llamadas, que son difíciles de obtener directamente del AST.

B. Diseño de Prompts (Cadena de Pensamiento)

Se implementa un esquema de dos rondas (Two-Round Chain of Thought - CoT):

• Ronda 1: El LLM recibe el patrón de defecto en lenguaje natural y un resumen del KG (podado para incluir solo nodos relevantes al control de acceso). El modelo genera un razonamiento estructurado en JSON (slots) que justifica la intención, verifica la viabilidad en el KG y planifica la consulta.
• Ronda 2: Basándose en el JSON de la primera ronda, el LLM genera la consulta SPARQL ejecutable final.

C. Entrenamiento y Optimización (SFT + RLAF)

Para mejorar la precisión de la generación de consultas:

1. Ajuste Fino Supervisado (SFT): Se utiliza un modelo base (Llama-3.1-8B) fine-tuneado con el dataset LC-QuAD 2.0 para familiarizarlo con el paradigma de consultas gráficas.
2. Aprendizaje por Refuerzo con Retroalimentación de Agentes (RLAF): Se introduce un agente de un modelo de lenguaje pequeño (SLM, Qwen2.5-3B) que evalúa las consultas generadas por el LLM. La evaluación se basa en tres dimensiones:
   • Validez Formal: ¿La consulta se ejecuta correctamente?
   • Consistencia Semántica: ¿Alinea con la intención y el esquema?
   • Precisión de Detección: ¿Localiza correctamente la vulnerabilidad?
   • Se utiliza Optimización Directa de Preferencia (DPO) para entrenar al LLM basándose en estas preferencias, mejorando la robustez de las consultas generadas.

3. Contribuciones Clave

1. Primera Integración LLM-KG: Presentan, hasta donde se sabe, el primer marco que utiliza LLMs para traducir descripciones de lenguaje natural en consultas gráficas sobre CKGs para la detección de vulnerabilidades de control de acceso.
2. Pipeline de Construcción de KG Enriquecido: Desarrollan un pipeline basado en la IR de Slither que captura semántica profunda y relaciones de control de flujo, superando las limitaciones de los ASTs tradicionales.
3. Método RLAF (DPO): Introducen un enfoque de aprendizaje por refuerzo donde un agente SLM guía al LLM para generar consultas de alta calidad, eliminando la necesidad de parsing basado en reglas manuales.

4. Resultados Experimentales

Los experimentos se realizaron en un conjunto de datos de FORGE, filtrando 553 contratos con etiquetas de defectos relacionados con CWE-284 (Control de acceso).

• Calidad de la Consulta (RQ1): El modelo combinado (SFT + DPO) obtuvo una puntuación promedio de 0.756 en la tarea de traducción de lenguaje natural a consultas gráficas (NL2GQL), superando al modelo solo con SFT (0.693).
• Precisión de Detección (RQ2):
  • El modelo SFT+DPO logró una precisión del 73.1%, un recall del 76.8% y un F1-score de 74.9%.
  • Esto representa una mejora significativa frente al modelo base y al modelo solo SFT, reduciendo tanto los falsos positivos como los falsos negativos.
• Eficiencia (RQ3):
  • CKG-LLM demostró ser la herramienta más eficiente en tiempo total de detección (6248 segundos para el conjunto de pruebas) y tiempo promedio por contrato (11.3 segundos).
  • Superó a herramientas comparativas como Achecker (que tiene un F1 más alto del 81.4% pero un tiempo de ejecución mucho mayor: 13.5s/contrato) y GPTScan (menor precisión y mayor tiempo).

5. Significado y Conclusiones

El trabajo demuestra que combinar Grafos de Conocimiento (para una representación semántica rica y estructurada) con Modelos de Lenguaje Grande (para la automatización de la generación de consultas y el razonamiento) es una estrategia superior para la auditoría de seguridad de contratos inteligentes.

• Ventaja Principal: Elimina la barrera técnica de escribir consultas complejas (SPARQL) manualmente, permitiendo que los auditores describan vulnerabilidades en lenguaje natural.
• Impacto: Ofrece un equilibrio óptimo entre alta precisión de detección y eficiencia computacional, superando a las herramientas de análisis estático tradicionales y a otros enfoques basados en LLM que carecen de la estructura semántica del KG.
• Futuro: Los autores planean integrar la Generación Aumentada por Recuperación (RAG) para manejar más tipos de vulnerabilidades (como reentrancia o desbordamiento de enteros) y mejorar la escalabilidad del sistema.