Resumen Técnico: SkillConsist

Planteamiento del Problema

Las Habilidades de Agente (Agent Skills) proporcionan flujos de trabajo reutilizables para agentes de Modelos de Lenguaje Extensos (LLM), definidos por una declaración (lo que la Habilidad afirma hacer) y una implementación (lo que realmente ejecuta). Las inconsistencias entre estos dos lados —como comportamientos declarados pero no implementados, comportamientos implementados pero no declarados, o comportamientos conflictivos— pueden conducir a una selección incorrecta de la Habilidad o a la invocación de acciones peligrosas o fuera de alcance.

Los métodos de detección existentes enfrentan dos desafíos primarios en este dominio:

1. Contenido Mixto: Los comportamientos de declaración e implementación suelen estar entrelazados dentro de instrucciones de lenguaje natural y fragmentos de código, lo que dificulta distinguir entre una afirmación y un paso de ejecución.
2. Desajuste de Granularidad: Una declaración concisa puede corresponder a múltiples pasos de implementación conectados, mientras que un solo comportamiento implementado puede describirse a través de múltiples declaraciones dispersas.

Los enfoques actuales, que a menudo dependen de la comparación de taxonomías de seguridad predefinidas o del uso de LLMs para emparejar metadatos con código, tienen dificultades para manejar estos roles mixtos y las variaciones de granularidad de manera efectiva.

Metodología: SkillConsist

SkillConsist aborda estos desafíos a través de un pipeline de tres etapas: Separación de Roles y Extracción de Registros de Comportamiento, Construcción de Grafos de Comportamiento y Alineación y Diferenciación de Grafos Bidireccional.

1. Separación de Roles y Extracción de Registros de Comportamiento

El sistema primero desenreda el contenido mixto para identificar roles semánticos.

• Separación basada en LLM: Un LLM (DeepSeek-V4 Pro) procesa fragmentos de paquetes para separar los hechos de declaración e implementación en registros de comportamiento estructurados ($K = \langle C, O, R, E \rangle$), donde $C$ es la condición, $O$ es el objeto afectado, $R$ es el efecto y $E$ es la ubicación de la fuente.
• Análisis Estático: El análisis de programas complementa estos registros extrayendo detalles de implementación de código fuente, configuraciones y ejecución controlada (por ejemplo, entradas públicas, entradas, salidas y efectos secundarios).
• Salida: Dos conjuntos fusionados y vinculados a la fuente: Registros de Declaración $D(S)$ y Registros de Implementación $M(S)$.

2. Construcción de Grafos de Comportamiento

Para manejar las diferencias de granularidad, los registros se organizan en dos grafos dirigidos separados: el Grafo de Declaración ($G_D$) y el Grafo de Implementación ($G_M$).

• Nodos: Incluyen nodos de registro, nodos de objeto, nodos de entrada pública y nodos de evidencia.
• Aristas: Seis relaciones tipadas conectan los nodos, incluyendo entrada-a-registro, registro-a-objeto, evidencia-a-registro e interdependencias entre registros (resultado-a-entrada, resultado-a-condición, condición-a-condición).
• Grupos de Comportamiento: Los subgrafos conectados dentro de cada grafo que expresan conjuntamente un único comportamiento se identifican como grupos de comportamiento ($B_X(S)$). Estos grupos sirven como las unidades atómicas para la comparación.

3. Alineación y Diferenciación de Grafos Bidireccional

Esta etapa alinea los grupos de comportamiento a través de los dos grafos para detectar inconsistencias, manejando el desajuste de granularidad mediante la búsqueda en ambas direcciones ($D \to M$ y $M \to D$).

• Anclaje y Expansión: Partiendo de un registro ancla en un grupo de comportamiento de origen, el sistema busca subgrafos candidatos en el grafo de destino. Expande estos candidatos a lo largo de las relaciones de comportamiento hasta que potencialmente cubran el comportamiento de origen.
• Completitud del Subgrafo: Los candidatos se validan contra cuatro predicados de completitud: Condición, Entrada, Resultado y Ruta. Un candidato se alinea solo si satisface las restricciones de vinculación (propietarios compatibles, entradas, alcances) y proporciona todos los campos y rutas requeridos.
• Prueba y Diferenciación:
  • Soportado: La evidencia confirma que todas las condiciones y efectos coinciden.
  • Contradicho: La evidencia muestra campos incompatibles (por ejemplo, valores predeterminados diferentes).
  • No Aplicable: No existe obligación.
  • Desconocido: La evidencia es incompleta.
• Verificación de Cobertura: Si no se encuentra un candidato alineado, el sistema genera un certificado de cobertura para verificar que el espacio de búsqueda fue exhaustivo. Esto evita falsos positivos en comportamientos "faltantes".
• Salidas de Inconsistencia:
  • Conflicto: Una declaración requerida tiene una contraparte contradicha.
  • No Implementado: Una declaración requerida no tiene contraparte.
  • No Declarado: Una implementación dentro del alcance no tiene contraparte de declaración.

Contribuciones Clave

1. Formulación de Alineación de Grafos Bidireccional: El artículo formula la consistencia a nivel de paquete como un problema de alineación de grafos bidireccional, permitiendo que un comportamiento en un lado corresponda a múltiples registros conectados en el otro, mitigando así las diferencias inherentes de granularidad.
2. Sistema SkillConsist: Un sistema novedoso que extrae comportamientos de contenido mixto, construye grafos de declaración e implementación separados y localiza inconsistencias mediante búsqueda de subgrafos guiada por relaciones, diferenciación y verificación de cobertura.
3. Construcción de Benchmark: La creación de un benchmark revisado manualmente de 633 Habilidades de Agente (de ClawHub y Skill-Inject) que contiene 319 paquetes inconsistentes y 314 consistentes, con 442 anotaciones de inconsistencia localizadas.

Resultados Experimentales

El sistema fue evaluado en el benchmark de 633 habilidades frente a cuatro líneas base (LLM, LLM+RAG, Adaptado C4RLLaMA, Adaptado SKILLSCOPE).

• Detección a Nivel de Paquete: SkillConsist logró una precisión del 86.85%, un recall del 89.03% y un F1 de 87.93%. Esto representa una mejora de 20.43 puntos porcentuales en F1 sobre la mejor línea base.
• Localización de Inconsistencias: SkillConsist logró una precisión del 67.60%, un recall del 58.14% y un F1 de 62.52%.
• Estudios de Ablación: Eliminar la separación de roles o la expansión de subgrafos degradó significativamente el rendimiento, confirmando su necesidad para recuperar contrapartes válidas. Eliminar la verificación de cobertura aumentó el recall pero redujo drásticamente la precisión debido a falsos positivos.
• Tamizaje de Habilidades Maliciosas: Al aplicarse a 133 paquetes de Skill-Inject, las señales de riesgo de inconsistencia mejoraron el recall de la detección de habilidades maliciosas en un 11.90% (puerta de alto riesgo) y un 26.19% (puerta de riesgo medio/alto) con una mínima verificación dinámica redundante.

Significado y Reivindicaciones

El artículo afirma que SkillConsist hace avanzar el estado del arte al ir más allá de la simple comparación de texto y código hacia un enfoque estructural basado en grafos que maneja explícitamente la naturaleza mixta del contenido de las Habilidades de Agente y la brecha de granularidad entre las declaraciones y las implementaciones.

Al separar los roles y utilizar la alineación bidireccional, SkillConsist proporciona hallazgos localizados en la fuente en lugar de solo banderas a nivel de paquete. Los autores afirman que esta capacidad es crucial para la seguridad, ya que permite la detección de comportamientos peligrosos no declarados (por ejemplo, una Habilidad que afirma sincronizar el correo electrónico pero que en realidad reenvía archivos a un endpoint externo) y mejora la confiabilidad de los flujos de trabajo de los agentes. Los resultados sugieren que la alineación de grafos bidireccional es un método robusto para establecer correspondencias en artefactos de software complejos y mixtos, superando a la generación aumentada por recuperación y al emparejamiento de propiedades de seguridad estáticas tanto en tareas de detección como de localización.