🤖 AI

SkillTrace: Multi-Trace Provenance Auditing for LLM-Agent Skill Reuse

Este artículo presenta SkillTrace, un marco de auditoría de procedencia de múltiples trazas que detecta la reutilización de habilidades de agentes de LLM mediante la extracción y comparación de trazas de Expresión, Implementación y Operación (representadas como Grafos Operacionales de Habilidades), logrando una alta precisión en evaluaciones comparativas y permitiendo una revisión accionable en auditorías masivas en entornos reales.

Autores originales: Jialuo Chen, Minghe Wang, Lingqi Jiang, Jianan Ma, Xinhao Deng, Xiaohu Du, Ruixiao Lin, Yunhao Feng, Linkang Du, Jingyi Wang

Publicado 2026-08-07

📖 9 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jialuo Chen, Minghe Wang, Lingqi Jiang, Jianan Ma, Xinhao Deng, Xiaohu Du, Ruixiao Lin, Yunhao Feng, Linkang Du, Jingyi Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde el software no es solo líneas de código, sino un ecosistema vivo y palpitante de "habilidades". Piensa en estas habilidades como navajas suizas digitales o tarjetas de recetas mágicas que le dicen exactamente a un robot superinteligente (un agente de IA) cómo hacer un trabajo. Estas no son solo instrucciones simples; son paquetes multimedia que contienen guías escritas, código informático real, listas de herramientas para usar y flujos de trabajo paso a paso. A medida que estas habilidades se vuelven populares, la gente comienza a compartirlas en mercados en línea, tal como las aplicaciones en una tienda de teléfonos. Pero aquí está la parte difícil: debido a que estas habilidades son tan complejas, es difícil saber si alguien simplemente copió una receta y cambió la fuente, o si realmente robó la salsa secreta: el código específico, la forma única en que se ordenan los pasos o los trucos ingeniosos que se usan para que funcione. Esto es un gran problema porque, si se copian y distribuyen habilidades malas o defectuosas, todo el ecosistema puede volverse desordenado o peligroso. Los científicos han intentado detectar el código copiado durante mucho tiempo, pero esas herramientas antiguas son como buscar una palabra específica en un libro; pierden la historia si el autor reescribe las frases o cambia el orden de los capítulos.

Entra SkillTrace, una nueva herramienta de detective diseñada para resolver este misterio. En lugar de simplemente comparar todo el "paquete" para ver si se parecen, SkillTrace actúa como un investigador forense que examina tres capas diferentes de evidencia: las palas (las instrucciones escritas), el código (los scripts reales) y la operación (el flujo invisible de cómo funciona la habilidad). Los investigadores descubrieron que incluso si un ladrón reescribe las instrucciones y cambia el código, a menudo no pueden evitar mantener los mismos "pasos de baile" o el flujo operativo porque eso es lo que hace que la habilidad funcione. Al construir un mapa especial llamado "Grafo Operacional de Habilidades" para rastrear estos pasos de baile, SkillTrace puede detectar la reutilización que otras herramientas pasan por alto. En pruebas con cientos de habilidades, este nuevo método fue mucho mejor para detectar copias ocultas, capturando alrededor del 90% de los casos reales de reutilización mientras mantenía bajas las falsas alarmas. Es como tener un detective que no solo verifica si dos casas se ven iguales por fuera, sino que puede decir si comparten la misma estructura de tuberías única, incluso si los colores de la pintura y las puertas delanteras son completamente diferentes.

La historia del ladrón de recetas digitales

Imagina que eres un chef que ha inventado una forma fantástica de hornear un pastel. Escribes una receta detallada (la Expresión), enumeras las herramientas e ingredientes específicos que usas (la Implementación) y describes el orden exacto de las operaciones: "precalentar, mezclar, plegar, hornear, enfriar" (la Operación). Ahora, imagina que un chef rival quiere robar tu éxito. Podría intentar copiar tu receta palabra por palabra, o podría reescribirla completamente en un idioma diferente pero mantener tu lista exacta de herramientas. O podría intentar ser astuto: cambia el título de la receta, reescribe las instrucciones con su propia voz e incluso cambia tu tazón de mezcla por una marca diferente. Pero aquí está el truco: para que el pastel suba y sepa bien, tienen que mantener tu secuencia específica de pasos. No pueden simplemente "mezclar y luego hornear" si tu receta requiere "plegar y luego enfriar".

Este es exactamente el problema que aborda el artículo de SkillTrace, pero con agentes de IA en lugar de panaderos. En el mundo de la IA, las "habilidades" son estos paquetes complejos que le dicen a una IA cómo hacer cosas. Los autores se dieron cuenta de que las herramientas antiguas para encontrar software copiado eran como mirar la portada de un libro de cocina. Si el chef rival cambiaba la portada y el título, las herramientas antiguas dirían: "¡No hay coincidencia!", incluso si el chef robó toda la receta en su interior.

El trabajo de detective de tres capas

SkillTrace es diferente porque no solo mira el libro completo; descompone la habilidad en tres "rastros" o capas de evidencia distintas, de forma muy similar a un detective que examina la escena de un crimen en busca de huellas dactilares, ADN y pisadas.

El rastro de la Expresión (Las Palabras): Esta es la parte escrita de la habilidad: las instrucciones, las descripciones y los ejemplos. Si un ladrón copia tu texto, esta capa se ilumina. Pero si reescribe el texto para que suene diferente, esta capa se apaga.
El rastro de la Implementación (El Código): Este es el código informático real, los scripts y los comandos. Si el ladrón copia tus fragmentos de código, esta capa los atrapa. Pero si reescribe el código en un lenguaje diferente o lo elimina por completo, esta capa queda en silencio.
El rastro Operacional (Los Pasos de Baile): Esta es la gran innovación del artículo. Observa cómo funciona la habilidad. Construye un mapa llamado Grafo Operacional de Habilidades (SOG). Este mapa no se preocupa por las palabras o los nombres específicos del código; le importa el flujo. Rastrea:
- Activación: ¿Cómo comienza la habilidad?
- Procedimiento: ¿Cuál es el orden de los pasos?
- Flujo de Recursos: ¿Qué herramientas y datos pasan a través del proceso?

Los autores descubrieron que incluso si un ladrón reescribe las palabras y cambia el código, a menudo no puede cambiar los "pasos de baile". Si una habilidad está diseñada para leer un PDF, extraer datos y luego enviar un correo electrónico, un ladrón puede cambiar los nombres de los archivos y el lenguaje de programación, pero aún tiene que seguir ese mismo flujo de tres pasos. El rastro operacional captura esta estructura invisible.

El grafo mágico y el truco de "Un solo LLM"

Para construir este mapa, los investigadores utilizan un truco ingenioso. Cuando una nueva habilidad entra en el sistema, utilizan una IA poderosa (un LLM) solo una vez para leer el paquete de la habilidad desordenado y mixto y convertirlo en un grafo limpio y estructurado. Esto es como contratar a un traductor una vez para convertir un diario caótico en un diagrama de flujo claro. Una vez que ese grafo se guarda, el sistema nunca necesita la IA costosa de nuevo.

Cuando llega el momento de verificar si una habilidad es una copia, el sistema simplemente compara los grafos guardados. Es rápido, barato y no necesita llamar a la IA nuevamente. Compara los "pasos de baile" de la habilidad original contra los "pasos de baile" de la nueva. Si los pasos coinciden, incluso si la música y los trajes son diferentes, el sistema lanza una alerta.

Lo que encontraron: Atrapando a los imitadores astutos

Los investigadores probaron su herramienta, SkillTrace, en un conjunto de datos masivo. Crearon un benchmark llamado SkillTrace-Bench con 820 ejemplos de habilidades que definitivamente fueron reutilizadas (positivos) y 751 ejemplos de habilidades que eran simplemente similares por azar (negativos).

Los resultados fueron impresionantes. SkillTrace logró una puntuación de 0.938 (AUROC) y una puntuación F1 de 0.898. Para ponerlo en palabras sencas, significa que la herramienta fue extremadamente buena para detectar la reutilización real mientras rara vez daba falsas alarmas sobre similitudes inocentes.

Pero la verdadera magia estuvo en cómo las encontró. El artículo mostró que diferentes tipos de "robos" dejan diferentes huellas:

El "Reempaquetador": Alguien que solo cambia el título y los nombres de las carpetas. Las herramientas antiguas detectan estos fácilmente, y también lo hace SkillTrace.
El "Reescritor": Alguien que utiliza una IA para reescribir completamente el código y el texto. Las herramientas antiguas a menudo los pasan por alto porque las palabras y el código se ven totalmente diferentes. Pero el Rastro Operacional de SkillTrace los atrapó porque los "pasos de baile" (el procedimiento) permanecieron iguales.
El "Ladrón Parcial": Alguien que roba solo el código pero escribe nuevas instrucciones, o roba las instrucciones pero escribe un nuevo código. SkillTrace es lo suficientemente inteligente como para decir: "¡Oye, las palabras son diferentes, pero el código es una coincidencia!" o "¡El código es nuevo, pero el flujo es idéntico!".

En una prueba del mundo real con 36,446 habilidades de mercados públicos, SkillTrace encontró miles de casos potenciales de reutilización que las herramientas antiguas de "paquete completo" pasaron por alto. Descubrió que, si bien las copias grandes y obvias son comunes, existe una enorme cantidad de "reutilización parcial" donde la gente roba partes específicas de una habilidad sin copiar la totalidad de la misma.

Por qué esto es importante

El artículo argumenta que necesitamos este tipo de auditoría detallada porque el ecosistema de habilidades de IA está creciendo rápidamente. Si no podemos saber quién copió a quién, no podemos corregir los errores que se propagan a través de las copias, no podemos proteger el trabajo de los creadores y no podemos mantener el mercado justo.

SkillTrace no emite juicios legales; no dice "Usted es culpable de robo". En cambio, actúa como un sistema de triaje de alta tecnología. Dice: "Mira aquí, esta habilidad comparte exactamente los mismos 'pasos de baile' que esa otra, aunque la ropa sea diferente. Un humano debería echar un vistazo más de cerca". Al separar la evidencia en palabras, código y operaciones, proporciona a los humanos las pistas específicas que necesitan para tomar la decisión final.

Al final, los autores demuestran que al observar la estructura de cómo funciona una habilidad, en lugar de solo su apariencia superficial, finalmente podemos ver los hilos invisibles de la reutilización que mantienen unido al mundo de la IA. Es un recordatorio de que, si bien puedes cambiar la pintura de un coche, no puedes cambiar fácilmente el plano del motor sin reconstruir todo el vehículo. SkillTrace es la herramienta que finalmente nos permite ver ese plano.

Resumen Técnico: SkillTrace: Auditoría de Procedencia de Múltiples Rastros para la Reutilización de Habilidades de Agentes LLM

1. Definición del Problema

El rápido crecimiento de los ecosistemas de agentes LLM ha introducido las "habilidades" (skills) como artefactos reutilizables de modalidad mixta. A diferencia de los repositorios de código tradicionales, un paquete de habilidad comprende instrucciones en lenguaje natural, código ejecutable, interfaces de herramientas, archivos de referencia y flujos de trabajo operativos. A medida que estas habilidades se convierten en productos de mercado, la auditoría de su reutilización se ha convertido en un desafío crítico.

Los métodos existentes de detección de reutilización de software (por ejemplo, MOSS, JPlag, ssdeep) son insuficientes para este dominio porque dependen típicamente de:

Análisis de modalidad única: Centrándose únicamente en el código fuente o en texto plano.
Similitud de paquete completo: Comparando repositorios enteros o flujos de tokens.

Estos enfoques fallan al detectar la reutilización donde una habilidad derivada preserva solo un componente específico de alto valor (por ejemplo, un script depurado o un flujo de trabajo específico) mientras reescribe la documentación, renombra identificadores o traslada el paquete a un host diferente. Por el contrario, las habilidades independientes que resuelven la misma tarea pueden compartir plantillas o APIs de alto nivel, lo que genera falsos positivos en las métricas de similitud global. El desafío central es distinguir entre la procedencia heredada (reutilización real de artefactos) y la similitud independiente de misma función (resemblance coincidente debido a requisitos de tarea compartidos).

2. Metodología: El Marco de Trabajo SkillTrace

Los autores proponen SkillTrace, un marco de auditoría de procedencia de múltiples rastros diseñado para detectar la reutilización mediante el análisis de rastros complementarios que sobreviven a diferentes tipos de transformaciones. El marco opera en dos etapas:

A. Extracción de Múltiples Rastros

SkillTrace extrae tres rastros de procedencia distintos de cada paquete de habilidad. Estos rastros corresponden a diferentes capas de la construcción de la habilidad:

Rastro de Expresión (Expression Trace): Captura el contenido de lenguaje natural redactado, incluyendo instrucciones, descripciones, ejemplos y prosa de activación. Se extrae mediante la tokenización y normalización determinista de los sustratos de texto.
Rastro de Implementación (Implementation Trace): Captura realizaciones ejecutables, tales como código en línea, scripts de soporte, comandos de shell y patrones de llamadas a API. Utiliza una representación de tokens agnóstica al lenguaje para manejar bases de código heterogéneas (Python, JavaScript, shell, etc.).
Rastro Operacional (Operational Trace): Captura el diseño de ejecución consciente del host. Esta es la contribución novedosa, representando la habilidad como un Grafo Operacional de Habilidad (SOG). El SOG es un grafo tipado que consiste en:
- Bloques Operacionales: Unidades de acción normalizadas (por ejemplo, "validar entrada", "invocar herramienta") definidas por acción, rol del objeto, rol de la herramienta, entradas y salidas.
- Tres Vistas:
  - Activación: Cómo se entra en la habilidad (disparadores, contexto).
  - Procedimiento: El ordenamiento, la ramificación y la lógica de retroceso (fallback) de los bloques.
  - Flujo de Recursos: Dependencias de herramientas, recursos externos y artefactos.

Mecanismo de Extracción: Los rastros de Expresión e Implementación se extraen de forma determinista. El Rastro Operacional (SOG) se extrae utilizando un LLM solo una vez durante la ingestión. El LLM está restringido a emitir un esquema de grafo normalizado sin copiar frases distintivas. Una vez extraído, el SOG se almacena en caché, y todas las auditorías subsiguientes se realizan de forma determinista sobre estos rastros almacenados en caché sin más llamadas al LLM.

B. Detección de Reutilización y Calibración

Durante la fase de auditoría, SkillTrace compara los rastros almacenados en caché de una habilidad de referencia ( $R$ ) y una habilidad candidata ( $C$ ):

Puntuación de Similitud:
- Expresión e Implementación: Calculadas mediante la similitud Jaccard de tokens.
- Operacional: Calculada comparando los componentes del SOG (bloques, activación, procedimiento, flujo de recursos) mediante una suma ponderada de puntuaciones de coincidencia normalizadas.
Calibración: Para controlar los falsos positivos, cada tipo de rastro se calibra contra un conjunto de "negativos estrictos" (habilidades independientes que resuelven la misma tarea). Se establece un umbral ( $\tau$ ) en el percentil 95 de la distribución negativa para cada rastro.
Regla de Decisión (MaxFusion): Se marca un par para revisión si el máximo de las puntuaciones de rastro calibradas ( $s_i / \tau_i$ ) excede un límite de decisión ( $\beta$ , típicamente 1.0). Este enfoque de "MaxFusion" asegura que la evidencia fuerte en cualquier rastro individual sea suficiente para disparar una revisión, evitando que la reutilización localizada se diluya por secciones reescritas.
Interpretabilidad: El sistema genera un informe de auditoría especificando qué rastro(s) se activó(ron) y proporcionando punteros de evidencia (texto coincidente, tokens de código o aristas de grafo), permitiendo a los revisores humanos comprender la naturaleza de la reutilización.

3. Contribuciones Clave

Formulación del Problema: El artículo enmarca la auditoría de reutilización de habilidades post-hoc como un problema de ingeniería de software sobre paquetes de modalidad mixta y heterogéneos, separando explícitamente la procedencia heredada de la similitud de misma función.
Marco de Trabajo SkillTrace: Un sistema atribuido a rastros que extrae rastros de Expresión, Implementación y Operacional. El Rastro Operacional, representado como un Grafo Operacional de Habilidad (SOG), sirve como una "marca de nacimiento operacional" a nivel de habilidad que sobrevive a las transformaciones de texto y código.
Benchmark (SkillTrace-Bench): Un nuevo benchmark que comprende 820 positivos de reutilización transformados (cubriendo reempaquetado, portabilidad y elevación parcial) sobre 100 anclas reales de mercado, y 751 controles negativos (habilidades independientes de misma función estrictas).
Validación Empírica: Demostración de la efectividad del marco tanto en el benchmark como en un corpus masivo de la vida real de 36,446 habilidades.

4. Resultados Experimentales

La evaluación se realizó en SkillTrace-Bench y un corpus público de 36,446 habilidades.

Desempeño de Detección: En el benchmark, SkillTrace logró un AUROC de 0.938 y una puntuación F1 de 0.898. Esto superó significativamente a las líneas base de nivel de repositorio (RepoClone-Jaccard/ssdeep), que alcanzaron un AURO de 0.841 y un F1 de 0.783.
Complementariedad de Rastros: El estudio confirmó que los tres rastros son complementarios.
- Reempaquetado: Todos los rastros se mantuvieron altos.
- Reescritura Total por LLM (P3): Los rastros de Expresión e Implementación disminuyeron significamente, pero el Rastro Operacional se mantuvo fuerte (similitud media de 0.681), permitiendo la detección donde las líneas base fallaron.
- Elevación Parcial (L1/L3): Diferentes rastros se activaron dependiendo de lo que se preservó (por ejemplo, la elevación de código preservó Implementación/Operacional; la reutilización de documentación preservó la Expresión).
Auditoría de Corpus de la Vida Real: En la auditoría de 36,446 habilidades, SkillTrace identificó 3,030 candidatos "estáticos únicamente" que no fueron marcados por las líneas base de nivel de repositorio porque sus puntuaciones de RepoClone permanecieron por debajo del umbral conservador. Estos candidatos fueron marcados basándose en una fuerte evidencia de los rastros de Expresión o Implementación. Notablemente, el Rastro Operacional se mantuvo deliberadamente fuera de la regla de enrutamiento global para evitar falsos positivos de esquemas genéricos de misma función, aunque se mantuvo como evidencia corroborante. La validación manual de 200 pares muestreados confirmó que los candidatos marcados por SkillTrace contenían evidencia de reutilización inspeccionable, mientras que los controles de baja prioridad eran mayormente independientes.
Escalabilidad y Costo: El marco amortiza los costos de LLM a la fase de ingestión (aproximadamente $0.01 y 26 segundos por habilidad). Las auditorías subsiguientes son deterministas y rápidas (~105ms por par), lo que permite una auditoría a escala de mercado con costo de tokens cero durante la fase de auditoría.

5. Significado y Reivindicaciones

El artículo afirma que SkillTrace proporciona una evolución necesaria en la auditoría de procedencia para el emergente ecosistema de agentes LLM. Su importancia radica en:

Ir Más Allá de la Similitud Global: Aborda la limitación de los detectores de "paquete completo" al reconocer que el valor de una habilidad es desigual; un derivado puede preservar la lógica operacional de alto valor mientras descarta texto o código superficial.
Evidencia Accionable: Al atribuir la reutilización a rastros específicos (Expresión, Implementación, Operacional), el sistema proporciona colas accionables para los revisores humanos. Explica qué fue reutilizado (por ejemplo, un flujo de trabajo o un script específico) en lugar de simplemente declarar que dos habilidades son similares.
Triaje Forense: Los autores declaran explícitamente que SkillTrace es una herramienta de triaje forense, no un detector de infracción legal. Expone candidatos para revisión basados en rastros de procedencia supervivientes, reconociendo que las plantillas compartidas o las APIs comunes pueden causar similitud sin intención maliciosa.
Marcas de Nacimiento Operacionales: La introducción del Grafo Operacional de Habilidad (SOG) como una marca de nacimiento operacional a nivel de habilidad ofrece un nuevo método para capturar la "identidad de comportamiento" de una habilidad de agente, que es más resistente a la transformación que el texto o el código por sí solos.

El artículo concluye que la auditoría atribuida a rastros es esencial para mantener registros conscientes de la calidad, construir benchmarks desduplicados y remediar las fallas propagadas en los crecientes ecosistemas de agentes LLM.