AgentGuard: A Multi-Agent Framework for Robust Package Confusion Detection via Hybrid Search and Metadata-Content Fusion

Resumen Técnico: AgentGuard

1. El Problema: Confusión de Paquetes en la Cadena de Suministro

El crecimiento masivo del software de código abierto (OSS) ha expuesto las cadenas de suministro a ataques de confusión de paquetes (también conocidos como typosquatting o suplantación de identidad). En estos ataques, los adversarios publican paquetes maliciosos con nombres deliberadamente similares a los de bibliotecas legítimas populares, engañando a los desarrolladores para que los instalen y ejecuten código malicioso.

Los métodos de detección existentes presentan limitaciones críticas:

• Estrategias de recuperación de un solo señal: Se basan únicamente en similitud léxica (ortográfica) o semántica, fallando al capturar la diversidad de los ataques (por ejemplo, un buscador semántico pierde los errores tipográficos obvios).
• Altas Tasas de Falsos Positivos (FPR): Los enfoques agnósticos al contenido no pueden distinguir entre paquetes benignos que comparten nombres similares por coincidencia y suplantaciones maliciosas.
• Vulnerabilidad a la Evasión Adversarial: Los defensores que dependen de metadatos estáticos (descripciones, URLs, licencias) son fácilmente engañados, ya que los atacantes pueden falsificar estos datos.

2. Metodología: El Marco Multi-Agente AgentGuard

AgentGuard es un marco innovador basado en múltiples agentes que integra razonamiento de modelos de lenguaje (LLM) y aprendizaje automático (ML) para la detección proactiva. Su arquitectura se divide en tres agentes principales:

A. Agente Orquestador (Orchestrator Agent)

• Actúa como coordinador central.
• Gestiona la adquisición de datos resiliente: consulta una base de datos local masiva (10M+ paquetes de 34 ecosistemas) y, si falla, hace fallback automático a APIs externas (Libraries.io).
• Distribuye tareas y agrega los informes finales para el análisis humano.

B. Agente Analista de Amenazas (Threat Analyst Agent)

• Objetivo: Descubrimiento autónomo de objetivos legítimos (G1).
• Estrategia de Búsqueda Híbrida: Combina dos canales de recuperación para superar las limitaciones de los métodos de un solo señal:
  1. Enfoque Semántico: Utiliza modelos de incrustación de palabras (Word Embeddings) afinados para encontrar relaciones conceptuales (sinónimos).
  2. Enfoque Sintáctico: Utiliza similitud de trigramas para detectar errores tipográficos y variaciones léxicas.
• Fusión y Clasificación: Fusiona ambos resultados, aplica restricciones léxicas y filtra candidatos basándose en popularidad (descargas, estrellas) para identificar el objetivo legítimo más probable ($t_{best}$).

C. Agente Verificador de Confusión (Confusion Checker Agent)

• Objetivo: Clasificación precisa y reducción de falsos positivos mediante análisis de contenido (G2, G3).
• Extracción de Características (18 dimensiones): Construye un vector de características fusionado que incluye:
  • Similitud Sintáctica (SS): Distancia Levenshtein, Jaro-Winkler, Homógrafos.
  • Calidad de Metadatos (MQ): Validación de URL, licencias, mantenedores.
  • Señales Temporales (TS): Edad del paquete, tiempo desde el último lanzamiento (difíciles de falsificar).
  • Análisis de Contenido del Paquete (PC): Una contribución clave que compara el tamaño del paquete, similitud de listas de archivos, grafos de dependencias y similitud de vectores de código (usando CodeBERT).
• Clasificación: Utiliza un modelo de Random Forest entrenado con estos 18 características para calcular la probabilidad de confusión.

3. Contribuciones Clave

1. Estrategia de Búsqueda Híbrida: Un enfoque novedoso que integra señales semánticas y sintácticas para descubrir objetivos legítimos con alta precisión y recuperación, superando a los métodos de un solo indicador.
2. Nueva Característica de Contenido del Paquete (PC): Introducción de un conjunto de 4 características a nivel de código (tamaño, archivos, dependencias, embeddings de código) que cuantifican la plausibilidad del código. Esto permite distinguir suplantaciones maliciosas de paquetes benignos con nombres similares, reduciendo drásticamente los falsos positivos.
3. Modelo de Detección Robusto y Multidimensional: Un modelo que fusiona metadatos, señales temporales y análisis de contenido. Esto rompe el compromiso tradicional entre rendimiento y robustez, permitiendo resistir la manipulación de metadatos sin sacrificar la precisión.
4. Arquitectura Multi-Agente: El primer marco basado en agentes para esta tarea, que ofrece adaptabilidad al ecosistema y degradación elegante (si el modelo de código falla, el sistema recurre a metadatos).

4. Resultados Experimentales

El sistema fue evaluado en dos conjuntos de datos desafiantes: ConfuDB (casos reales triados por analistas) y NeupaneDB (ataques documentados). Se comparó contra los estados del arte: Typomind y ConfuGuard.

• Rendimiento General: AgentGuard superó significativamente a las líneas base.
  • Precisión: Mejora del 12% al 49%.
  • Tasa de Falsos Positivos (FPR): Reducción del 11% al 35%.
  • F1-Score: Mejora de hasta un 43% en comparación con los baselines.
• Descubrimiento de Objetivos: La estrategia híbrida logró una tasa de descubrimiento de objetivos (TDR@1) del 66%-84%, superando ampliamente a las búsquedas puramente semánticas (9%-21%) o sintácticas (21%-45%).
• Robustez Adversarial:
  • Los modelos basados solo en metadatos sufrieron colapsos catastróficos (caída de recall de 0.91 a 0.11) cuando los metadatos fueron falsificados.
  • AgentGuard, gracias a las características de contenido (PC), mantuvo un alto recall (0.85) incluso bajo ataque adversarial, demostrando que el análisis de código actúa como una capa de verificación no falsificable.
• Análisis SHAP: Confirmó que las características de contenido y temporales actúan como indicadores de confianza que pueden anular señales de metadatos falsificados.

5. Significado e Impacto

AgentGuard representa un avance fundamental en la seguridad de la cadena de suministro de software:

• Cambio de Paradigma: Pasa de la detección reactiva basada en pares de paquetes a un paradigma de detección activa de un solo entrada, capaz de identificar automáticamente la víctima legítima.
• Resolución de la Dilema Rendimiento-Robustez: Demuestra que es posible lograr tanto un alto rendimiento en la detección como una alta resistencia a la evasión, superando la limitación de los métodos anteriores que debían elegir entre uno u otro.
• Defensa Proactiva: Al integrar el análisis profundo del contenido del código, AgentGuard puede detectar suplantaciones sofisticadas que los filtros de metadatos tradicionales pasarían por alto, proporcionando una defensa crucial contra amenazas cada vez más sofisticadas en el ecosistema OSS.