Code Fingerprints: Disentangled Attribution of LLM-Generated Code

Este artigo propõe a Rede de Atribuição de Código Desentrelaçada (DCAN), uma abordagem baseada em aprendizado contrastivo que isola características estilísticas específicas de cada modelo para identificar a origem de código gerado por LLMs, validada por um novo benchmark de grande escala com quatro modelos e quatro linguagens de programação.

O essencial

Imagine que você é um detetive particular chamado "Fingerprint" (Impressão Digital). O seu trabalho é descobrir quem escreveu um código de computador, mesmo que o código tenha sido feito por uma Inteligência Artificial (IA).

Até hoje, os investigadores conseguiam apenas dizer: "Isso foi feito por um humano" ou "Isso foi feito por uma máquina". Mas e se você precisar saber qual máquina fez isso? Foi o "Robô A" (como o ChatGPT) ou o "Robô B" (como o Claude)?

É aqui que entra o artigo que você pediu para explicar. Vamos descomplicar tudo usando analogias do dia a dia.

1. O Problema: A "Falsa Identidade" das IAs

Imagine que quatro chefs diferentes (ChatGPT, Claude, DeepSeek e Qwen) recebem a mesma receita para fazer um bolo de cenoura.

• Todos vão usar os mesmos ingredientes básicos (cenoura, farinha, ovos).
• Todos vão seguir os mesmos passos lógicos (misturar, assar, esfriar).

Se você provar o bolo, a lógica do sabor (a "semântica" do código) será muito parecida. É difícil dizer quem fez o quê apenas pelo gosto do bolo. Os métodos antigos tentavam adivinhar olhando para o bolo inteiro, mas como todos fazem bolos parecidos, eles se confundiam.

2. A Solução: O "DCAN" (O Detetive Especialista)

Os autores criaram um novo sistema chamado DCAN. Pense nele como um detetive muito esperto que não olha para o bolo inteiro, mas sim para como cada chef trabalha.

O segredo do DCAN é a Desentrelaçamento (Disentanglement). É como se o detetive separasse o bolo em duas caixas:

• Caixa 1 (O que todos têm em comum): Aqui vai a receita lógica. "Preciso de farinha", "preciso de ovos". Isso é a mesma coisa para todos os chefs. O DCAN joga essa caixa de lado, porque ela não ajuda a identificar o chef.
• Caixa 2 (O estilo único do chef): Aqui ficam as "impressões digitais" do chef.
  • O Chef A sempre usa uma colher de pau de madeira.
  • O Chef B sempre batede a massa 3 vezes antes de assar.
  • O Chef C escreve notas no caderno com uma letra muito específica.
  • O Chef D usa sempre temperos diferentes.

O DCAN foca apenas na Caixa 2. Ele ignora a lógica do bolo e olha para os "vícios" e "maneirismos" de cada IA.

3. Como eles descobriram isso? (O Laboratório)

Para treinar esse detetive, os autores precisavam de um grande laboratório. Eles criaram o maior banco de dados do mundo para esse fim:

• Pegaram 2.869 problemas de programação (como desafios de matemática ou lógica).
• Pediram para 4 IAs famosas resolverem esses problemas.
• Fizeram isso em 4 linguagens de programação diferentes (Python, Java, C, Go).
• E fizeram de duas formas: com e sem "comentários" (explicações escritas dentro do código).

No total, eles tiveram quase 92.000 códigos para analisar. Foi como ter 92.000 bolos diferentes para estudar os hábitos dos chefs.

4. O que eles descobriram? (As "Pegadas")

O estudo mostrou que cada IA tem uma "personalidade" muito forte, mesmo quando faz a mesma coisa:

• ChatGPT: Gosta de ser mais "verboso" (escreve mais linhas), usa nomes de variáveis curtos e faz comentários mais diretos.
• Claude: Gosta de nomes de variáveis mais longos e descritivos, e usa muitos comentários em blocos (explicações grandes).
• DeepSeek: Tem uma preferência por certas estruturas de código e usa mais comentários explicativos detalhados.
• Qwen: Tende a ser mais conciso e usa um estilo de nomeação específico.

É como se o ChatGPT sempre usasse um chapéu vermelho, o Claude um guarda-chuva azul, e o DeepSeek um casaco de couro. Mesmo que todos estejam fazendo a mesma tarefa, o "estilo" deles é único.

5. O Resultado Final

O sistema DCAN foi treinado para olhar apenas para o "chapéu" e o "guarda-chuva" (o estilo), ignorando o "bolo" (a lógica).

• Precisão: O sistema conseguiu identificar qual IA fez o código com uma precisão de quase 98% quando havia comentários, e mais de 92% mesmo sem comentários.
• Generalização: O sistema aprendeu tão bem os "maneirismos" que, se ele visse um código em uma linguagem que nunca viu antes (como Go), ele ainda conseguia adivinhar quem fez, porque os "maneirismos" da IA (como ela escreve comentários ou organiza o código) são consistentes, independente da linguagem.

Resumo em uma frase

Este artigo criou um "detetive de IA" que não tenta entender a lógica do código, mas sim identificar o "sotaque" e os "hábitos" únicos de cada Inteligência Artificial, permitindo saber exatamente qual robô escreveu aquele programa, mesmo que todos tentem parecer iguais.

Isso é crucial para segurança: se um código malicioso for encontrado, agora podemos saber qual IA o gerou, ajudando a resolver crimes digitais e garantir a responsabilidade.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Code Fingerprints: Disentangled Attribution of LLM-Generated Code" em português:

1. Problema e Motivação

O artigo aborda o problema da Atribuição de Fonte de Código por LLM (LLMCSA - LLM Code Source Attribution). Embora existam pesquisas para distinguir código gerado por IA de código escrito por humanos, há uma lacuna crítica na identificação de qual modelo específico de Linguagem de Grande Escala (LLM) gerou um determinado snippet de código.

• Desafio: Diferentes LLMs (como ChatGPT, Claude, DeepSeek, Qwen) tendem a produzir soluções funcionalmente equivalentes para a mesma tarefa, tornando difícil distingui-los apenas pela lógica do algoritmo.
• Necessidade: Identificar a origem do código é crucial para governança de software, rastreamento de vulnerabilidades, auditoria de licenças e responsabilidade legal.
• Hipótese Central: Apesar da similaridade funcional, os LLMs possuem "impressões digitais" gerativas distintas (estilo, estrutura, convenções de nomenclatura, densidade léxica) decorrentes de suas diferenças em dados de treinamento, arquiteturas e estratégias de alinhamento. O desafio é separar essas assinaturas estilísticas da semântica da tarefa (que é compartilhada).

2. Metodologia: DCAN (Disentangled Code Attribution Network)

Os autores propõem o DCAN, uma rede neural baseada em aprendizado de representação que utiliza o conceito de desentrelaçamento (disentanglement) para isolar as informações específicas da fonte das informações agnósticas à fonte.

Arquitetura e Fluxo:

1. Extração de Características: Utiliza o encoder pré-treinado UniXcoder para converter o código em uma representação latente inicial ($h_{base}$), que contém tanto a semântica da tarefa quanto as assinaturas do modelo.
2. Módulo de Desentrelaçamento:
   • Informação Agnóstica à Fonte ($z_c$): O modelo projeta $h_{base}$ através de uma rede MLP para extrair a semântica compartilhada da tarefa (invariante entre modelos).
   • Informação Específica da Fonte ($z_s$): A informação específica do modelo é obtida por subtração: $h_{spec} = h_{base} - h_{com}$. A premissa é que a representação total é uma composição aditiva de semântica da tarefa + estilo do modelo.
3. Objetivos de Otimização (Loss Functions):
   • Loss de Classificação de Fonte ($L_{cls}$): Aplicada sobre o componente específico da fonte ($h_{spec}$) para garantir que ele contenha as assinaturas discriminativas necessárias para identificar o modelo.
   • Loss de Consistência de Representação ($L_{rc}$): Aplicada sobre o componente agnóstico à fonte ($h_{com}$). Força representações de diferentes modelos que resolvem a mesma tarefa a serem próximas no espaço latente, garantindo que a semântica da tarefa seja realmente isolada.
   • Loss Total: $L_{total} = L_{cls} + \lambda L_{rc}$.

3. Contribuições Principais

1. Definição da Tarefa LLMCSA: Formalização do problema de atribuição de código a modelos geradores específicos, indo além da detecção binária (humano vs. máquina).
2. Benchmarck de Dados (Dataset): Construção do primeiro conjunto de dados em larga escala para esta tarefa, contendo 91.804 amostras de código.
   • Modelos: DeepSeek, Claude, Qwen e ChatGPT.
   • Linguagens: Python, Java, C e Go.
   • Configurações: Código "Plano" (sem comentários) e com "Comentários".
   • Diversidade: Baseado em 2.869 tarefas do LeetCode, cobrindo diversos domínios algorítmicos e níveis de dificuldade.
3. Framework DCAN: Proposta de uma arquitetura de desentrelaçamento que melhora a precisão ao remover o ruído semântico da tarefa, focando apenas nas "impressões digitais" estilísticas do modelo.

4. Resultados Experimentais

Os experimentos foram conduzidos para responder a quatro perguntas de pesquisa (RQs):

• RQ1 (Distintividade Gerativa): Análises estatísticas (verbo, densidade léxica, convenções de nomenclatura, profundidade estrutural) confirmaram que cada LLM possui preferências de geração consistentes e distinguíveis, mesmo para a mesma tarefa.
• RQ2 (Viabilidade de Atribuição):
  • O DCAN superou consistentemente os baselines (CodeGPTSensor e GPTSniffer).
  • Desempenho: No cenário "Plano" (sem comentários), o DCAN alcançou um F1-score médio de 92,94%. No cenário com Comentários, o desempenho subiu para 98,38%, indicando que os comentários fornecem sinais estilísticos adicionais valiosos.
  • Curiosamente, a precisão tende a aumentar em tarefas mais difíceis (Medium/Hard), pois soluções complexas permitem mais variações estilísticas do que soluções canônicas simples.
• RQ3 (Validade do Mecanismo): Estudos de ablação mostraram que o componente específico da fonte ($h_{spec}$) é o responsável pela alta precisão, enquanto o componente agnóstico ($h_{com}$) perdeu a capacidade de discriminar o modelo (desempenho próximo ao acaso aleatório), provando que o desentrelaçamento funcionou. Visualizações t-SNE confirmaram clusters distintos para cada modelo no espaço de características específicas.
• RQ4 (Robustez e Generalização):
  • O modelo manteve alto desempenho mesmo com apenas 10% dos dados de treinamento.
  • Generalização Zero-Shot: O modelo treinado em 3 linguagens conseguiu prever a fonte na 4ª linguagem não vista. A precisão foi particularmente alta no cenário com comentários (ex: 93,48% para Python), sugerindo que o estilo de linguagem natural nos comentários é transferível entre linguagens de programação.

5. Significado e Conclusão

O artigo demonstra que é possível realizar análise de proveniência de software em nível de modelo com alta precisão. A principal inovação é a abordagem de desentrelaçamento, que trata a atribuição não como um problema de classificação bruta, mas como a separação de fatores latentes (tarefa vs. estilo).

• Impacto Prático: Oferece uma ferramenta para auditoria de segurança e conformidade, permitindo que organizações rastreiem a origem de código gerado por IA, mesmo quando o código é funcionalmente correto e não contém marcas d'água explícitas.
• Descoberta Chave: As "impressões digitais" dos LLMs são robustas e persistem através de diferentes linguagens de programação e níveis de complexidade, especialmente quando combinadas com a análise de comentários e estilo de documentação.

Em resumo, o DCAN estabelece um novo estado da arte na forense de código, provando que cada LLM possui uma "personalidade" de codificação única e detectável.