Imagine um mundo onde o software não é apenas linhas de código, mas um ecossistema vivo e pulsante de "habilidades". Pense nessas habilidades como canivetes suíços digitais ou cartões de receitas mágicas que dizem a um robô superinteligente (um agente de IA) exatamente como realizar um trabalho. Estas não são apenas instruções simples; são pacotes de mídia mista que contêm guias escritos, o código de computador real, listas de ferramentas para usar e fluxos de trabalho passo a passo. À medida que essas habilidades se tornam populares, as pessoas começam a compartilhá-las em mercados online, assim como aplicativos em uma loja de celular. Mas aqui está a parte complicada: como essas habilidades são complexas, é difícil dizer se alguém apenas copiou uma receita e mudou a fonte ou se realmente roubou o ingrediente secreto — o código específico, a maneira única como os passos são ordenados ou os truques inteligentes usados para fazê-la funcionar. Isso é um grande problema porque, se habilidades ruins ou quebradas forem copiadas e espalhadas, todo o ecossistema pode se tornar bagunçado ou perigoso. Cientistas tentam há muito tempo detectar código de computador copiado, mas essas ferramentas antigas são como procurar uma palavra específica em um livro; elas perdem a história se o autor reescrever as frases ou mudar a ordem dos capítulos.

Apresentamos o SkillTrace, uma nova ferramenta de detetive projetada para resolver este mistério. Em vez de apenas comparar todo o "pacote" para ver se eles se parecem, o SkillTrace atua como um investigador forense que examina três camadas diferentes de evidências: as palavras (as instruções escritas), o código (os scripts reais) e a operação (o fluxo invisível de como a habilidade realmente funciona). Os pesquisadores descobriram que mesmo que um ladrão reescreva as instruções e mude o código, eles frequentemente não conseguem evitar manter os mesmos "passos de dança" ou o fluxo operacional, porque é isso que faz a habilidade funcionar. Ao construir um mapa especial chamado "Gráfico Operacional de Habilidade" para rastrear esses passos de dança, o SkillTrace consegue detectar o reuso que outras ferramentas perdem. Em testes com centenas de habilidades, este novo método foi muito melhor em detectar cópias ocultas, capturando cerca de 90% dos casos reais de reuso enquanto mantinha os alarmes falsos baixos. É como ter um detetive que não verifica apenas se duas casas parecem iguais por fora, mas consegue dizer se elas compartilham o mesmo layout de encanamento único, mesmo que as cores da pintura e as portas da frente sejam completamente diferentes.

A História do Ladrão de Receitas Digitais

Imagine que você é um chef que inventou uma nova e fantástica maneira de assar um bolo. Você escreve uma receita detalhada (a Expressão), lista as ferramentas e ingredientes específicos que usa (a Implementação) e descreve a ordem exata das operações: "preaquecer, misturar, dobrar, assar, esfriar" (a Operação). Agora, imagine que um chef rival quer roubar o seu sucesso. Eles podem tentar copiar sua receita palavra por palavra, ou podem reescrevê-la inteira em uma língua diferente, mas manter sua lista exata de ferramentas. Ou, eles podem tentar ser sorrateiros: eles mudam o título da receita, reescrevem as instruções com sua própria voz e até trocam sua tigela de mistura por uma marca diferente. Mas aqui está o detalhe: para fazer o bolo crescer e ter o sabor correto, eles têm que manter sua sequência específica de passos. Eles não podem simplesmente "misturar e assar" se sua receita exige "dobrar e depois gelar".

Este é exatamente o problema que o artigo do SkillTrace aborda, mas com agentes de IA em vez de padeiros. No mundo da IA, as "habilidades" são esses pactes complexos que dizem a uma IA como fazer as coisas. Os autores perceberam que as ferramentas antigas para encontrar software copiado eram como olhar para a capa de um livro de receitas. Se o chef rival mudasse a arte da capa e o título, as ferramentas antigas diriam: "Sem correspondência!", mesmo que o chef tivesse roubado toda a receita lá dentro.

O Trabalho de Detetive de Três Camadas

O SkillTrace é diferente porque não olha apenas para o livro inteiro; ele decompõe a habilidade em três "rastros" ou camadas distintas de evidência, muito parecido com um detetive examinando uma cena de crime em busca de impressões digitais, DNA e pegadas.

1. O Rastro de Expressão (As Palavras): Esta é a parte escrita da habilidade — as instruções, as descrições e os exemplos. Se um ladrão copiar seu texto, esta camada acende. Mas se eles reescreverem o texto para soar diferente, esta camada apaga.
2. O Rastro de Implementação (O Código): Este é o código de computador real, os scripts e os comandos. Se o ladrão copiar seus trechos de código, esta camada os pega. Mas se eles reescreverem o código em uma linguagem diferente ou o excluírem inteiramente, esta camada silencia.
3. O Rastro Operacional (Os Passos de Dança): Esta é a grande inovação do artigo. Ele olha para como a habilidade funciona. Ele constrói um mapa chamado Gráfico Operacional de Habilidade (SOG - Skill Operational Graph). Este mapa não se importa com as palavras ou com os nomes específicos do código; ele se importa com o fluxo. Ele rastreia:
   • Ativação: Como a habilidade começa?
   • Procedimento: Qual é a ordem dos passos?
   • Fluxo de Recursos: Quais ferramentas e dados circulam pelo processo?

Os autores descobriram que, mesmo que um ladrão reescreva as palavras e mude o código, eles frequentemente não conseguem mudar os "passos de dança". Se uma habilidade é projetada para ler um PDF, extrair dados e então enviar um e-mail, um ladrão pode mudar os nomes dos arquivos e a linguagem de programação, mas ainda terá que seguir esse mesmo fluxo de três etapas. O Rastro Operacional captura essa estrutura invisível.

O Gráfico Mágico e o Truque do "Um Único LLM"

Para construir este mapa, os pesquisadores usam um truque inteligente. Quando uma nova habilidade entra no sistema, eles usam uma IA poderosa (um LLM) apenas uma vez para ler o pacote de habilidade bagunçado e misturado e transformá-lo em um gráfico limpo e estruturado. Isso é como contratar um tradutor uma única vez para transformar um diário caótico em um fluxograma claro. Uma vez que esse gráfico é salvo, o sistema nunca mais precisa da IA cara novamente.

Quando chega a hora de verificar se uma nova habilidade é uma cópia, o sistema apenas compara os gráficos salvos. É rápido, barato e não precisa chamar a IA novamente. Ele compara os "passos de dança" da habilidade original contra os "passos de dança" da nova. Se os passos coincidirem, mesmo que a música e os figurinos sejam diferentes, o sistema sinaliza o alerta.

O Que Eles Descobriram: Pegando os Copiadores Sorrateiros

Os pesquisadores testaram sua ferramenta, o SkillTrace, em um conjunto de dados massivo. Eles criaram um benchmark chamado SkillTrace-Bench com 820 exemplos de habilidades que foram definitivamente reutilizadas (positivos) e 751 exemplos de habilidades que eram apenas similares por acaso (negativos).

Os resultados foram impressionantes. O SkillTrace alcançou uma pontuação de 0,938 (AUROC) e uma pontuação F1 de 0,898. Para colocar em termos simples, isso significa que a ferramenta foi extremamente boa em detectar o reuso real, enquanto raramente dava alarmes falsos sobre similaridades inocentes.

Mas a verdadeira magia estava em como eles as encontravam:

• O "Repacotador": Alguém que apenas muda o título e os nomes das pastas. As ferramentas antigas pegam estes facilmente, e o SkillTrace também.
• O "Reescritor": Alguém que usa uma IA para reescrever completamente o código e o texto. As ferramentas antigas muitas vezes perdem estes porque as palavras e o código parecem totalmente diferentes. Mas o Rastro Operacional do SkillTrace os pegou porque os "passos de dança" (o procedimento) permaneceram os mesmos.
• O "Ladrão Parcial": Alguém que rouba apenas o código mas escreve novas instruções, ou rouba as instruções mas escreve um novo código. O SkillTrace é inteligente o suficiente para dizer: "Ei, as palavras são diferentes, mas o código é uma correspondência!" ou "O código é novo, mas o fluxo é idêntico!"

Em um teste de mundo real com 36.446 habilidades de mercados públicos, o SkillTrace encontrou milhares de casos potenciais de reuso que as ferramentas antigas de "pacote completo" perderam. Ele descobriu que, embora cópias grandes e óbvias sejam comuns, existe uma enorme quantidade de reuso "parcial", onde as pessoas roubam partes específicas de uma habilidade sem copiar a coisa toda.

Por Que Isso Importa

O artigo argumenta que precisamos desse tipo de auditoria detalhada porque o ecossistema de habilidades de IA está crescendo rapidamente. Se não pudermos dizer quem copiou quem, não poderemos corrigir bugs que se espalham através de cópias, não poderemos proteger o trabalho dos criadores e não poderemos manter o mercado justo.

O SkillTrace não faz julgamentos legais — ele não diz "Você é culpado de roubo". Em vez disso, ele atua como um sistema de triagem de alta tecnologia. Ele diz: "Olhe aqui, esta habilidade compartilha exatamente os mesmos 'passos de dança' que aquela, mesmo que as roupas sejam diferentes. Um humano deve dar uma olhada mais de perto". Ao separar as evidências em palavras, código e operações, ele fornece aos humanos as pistas específicas de que precisam para tomar a decisão final.

No fim, os autores mostram que, ao olhar para a estrutura de como uma habilidade funciona, em vez de apenas sua aparência superficial, podemos finalmente ver os fios invisíveis de reuso que mantêm o mundo da IA unido. É um lembrete de que, embora você possa mudar a pintura de um carro, você não pode facilmente mudar o projeto do motor sem reconstruir tudo. O SkillTrace é a ferramenta que finalmente nos permite ver esse projeto.