Resumo Técnico: De Pé nos Ombros de Gigantes: Destilação de Conhecimento Estabilizada para Detecção de Clones de Código entre Linguagens

Definição do Problema

A Detecção de Clones de Código entre Linguagens (X-CCD) visa identificar fragmentos de código funcionalmente equivalentes escritos em diferentes linguagens de programação. Esta tarefa é significativamente mais desafiadora do que a detecção em linguagem única, porque programas semanticamente equivalentes frequentemente carecem de similaridade sintética de superfície. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado promessa no raciocínio semântico, sua aplicação ao X-CCD enfrenta três limitações principais:

1. Restrições de Caixa-Preta: Modelos proprietários levantam preocupações regarding custo, privacidade e reprodutibilidade.
2. Confiabilidade de Modelos Compactos: Modelos menores e de código aberto frequentemente lutam para seguir prompts de raciocínio complexos e falham em produzir saídas que possam ser consistentemente mapeadas para rótulos binários de clone/não-clone.
3. Instabilidade de Saída: A inferência baseada em geração frequentemente produz respostas ambíguas ou não analisáveis, levando a baixas "taxas de resposta" (a proporção de entradas que geram uma decisão binária válida) e métricas de avaliação pouco confiáveis.

Metodologia

Os autores propõem um framework combinando Destilação de Conhecimento (KD) com Estabilização de Resposta para transferir capacidades de raciocínio de um modelo professor forte para modelos estudantes compactos.

1. Pipeline de Destilação de Conhecimento

• Modelo Professor: O DeepSeek-R1 é utilizado como professor para gerar traços de raciocínio de alta qualidade, no estilo "Sistema 2" (lento, deliberado, passo a passo) para pares de código entre linguagens.
• Modelos Estudantes: Dois modelos autoregressivos compactos e ajustados por instruções são utilizados: Phi-3-Mini e Qwen2.5-Coder-3B.
• Construção de Dados:
  • Dados Semente: Derivados do Project CodeNet, filtrando por submissões aceitas para garantir correção funcional. Pares são formados através de quatro combinações de linguagens: Python–Java, Rust–Java, Rust–Python e Rust–Ruby.
  • Dados de Treinamento Sintéticos: O modelo professor processa pares semente usando um prompt estruturado exigindo comparação de funcionalidade, raciocínio algorítmico, análise estrutural e uma conclusão final.
  • Filtragem: Apenas amostras onde o rótulo previsto pelo professor corresponde à verdade fundamental são retidas para evitar propagação de ruído.
  • Variantes: O estudo avalia cinco variantes de conjunto de dados baseadas na estrutura do prompt e componentes de saída do professor (Apenas Raciocínio, Apenas Conclusão, ou ambos). A variante RRC (Prompt de Raciocínio + Raciocínio + Saídas de Conclusão) foi identificada como a mais eficaz.
• Ajuste Fino: Os estudantes são ajustados finamente usando LoRA (Adaptação de Baixo Rango) para aprender eficientemente os padrões de raciocínio e limites de decisão do professor sem atualizações completas de parâmetros.

2. Métodos de Estabilização de Resposta

Para abordar a questão de saídas não analisáveis, três métodos são introduzidos para garantir uma taxa de resposta de 100% (mapeando cada entrada para um rótulo binário):

• Conclusão Forçada: Um processo de inferência em duas etapas.
  • Etapa 1: O modelo gera uma resposta de raciocínio de forma livre.
  • Etapa 2: Um prompt de acompanhamento pede ao modelo para decidir com base em seu raciocínio anterior. Em vez de gerar texto, a decisão é tomada comparando as probabilidades dos tokens "Sim" e "Não" no estado oculto final.
• Cabeça de Classificação Binária: Um classificador leve é anexado às representações ocultas agrupadas do modelo de linguagem congelado. Ele aprende um mapeamento direto de embeddings para rótulos binários usando perda de entropia cruzada binária, eliminando a necessidade de geração de texto durante a inferência.
• Cabeça de Classificação Contrastiva: Similar à cabeça binária, mas treinada com uma perda contrastiva supervisionada adicional. Este objetivo incentiva pares de clones a terem embeddings similares e pares de não-clone a estarem mais distantes, visando melhorar a robustez sob deslocamentos de distribuição.

Configuração Experimental

• Conjuntos de Dados: Os experimentos cobrem conjuntos de teste de Mesma Distribuição (SD) e Distribuição Diferente (DD) através dos quatro pares de linguagens.
• Baselines: O desempenho zero-shot dos modelos estudantes base é comparado com suas contrapartes ajustadas finamente via KD.
• Métricas: Precisão, Recall, Pontuação F1 e Taxa de Resposta (a porcentagem de entradas mapeadas com sucesso para um rótulo binário).

Resultados Chave

1. Impacto da Destilação de Conhecimento (RQ2)

• Taxa de Resposta: A KD melhora significativamente a confiabilidade de modelos compactos. Por exemplo, em Rust–Ruby (SD), a taxa de resposta do Qwen-Coder aumentou de 24,3% para 67,7%. Em problemas DD, os ganhos foram ainda mais pronunciados (ex: Phi3 em Python–Java DD subiu de 34,6% para 53,8%).
• Generalização: A KD melhorou consistentemente as pontuações F1 em conjuntos de teste de Distribuição Diferente (DD), sugerindo a transferência de padrões de raciocínio de nível superior em vez de heurísticas específicas do conjunto de dados.
• Sensibilidade do Modelo: O Qwen-Coder beneficiou-se desproporcionalmente mais da KD do que o Phi3, alcançando melhorias escaladas de F1 de ~27 pontos (SD) e ~23 pontos (DD), comparado a ~7 e ~9 pontos para o Phi3, respectivamente.

2. Desempenho de Estabilização de Resposta (RQ3)

• Conclusão Forçada: Este método alcançou o melhor equilíbrio entre completude e precisão. Quando combinado com KD, produziu pontuações F1 consistentes (faixa de 70–75) em todas as configurações com uma taxa de resposta de 100%.
• Cabeças de Classificação: Embora estes métodos tenham alcançado taxas de resposta de 100% e reduzido drasticamente o tempo de inferência (de horas para minutos), geralmente resultaram em pontuações F1 mais baixas em comparação com a abordagem de conclusão forçada, particularmente devido à redução do recall na variante de cabeça binária.
• Eficiência vs. Precisão: As cabeças binária e contrastiva reduziram o tempo de inferência em aproximadamente 200–400x comparado a métodos baseados em geração, oferecendo uma alternativa prática para implantação em grande escala onde a latência é crítica.

3. Desempenho de Baseline (RQ1)

• Modelos pequenos de código aberto demonstraram capacidades zero-shot não triviais, mas sofreram com baixas taxas de resposta (frequentemente <50%) e baixa robustez em distribuições de problemas não vistas. A inferência generativa bruta foi considerada insuficiente para implantação prática sem estabilização.

Significado e Contribuições

O artigo reivindica as seguintes contribuições:

1. Primeiro Conjunto de Dados Orientado a Raciocínio: Criação de um conjunto de dados de treinamento sintético (10.671 amostras) para CCD entre linguagens usando DeepSeek-R1, cobrindo quatro pares de linguagens e projetado para elicitar raciocínio do Sistema 2.
2. Análise Sistemática de Formatos de Destilação: Identificação do formato "Raciocínio + Conclusão" (RRC) como o mais eficaz para destilar raciocínio específico de CCD.
3. Demonstração da Eficácia da KD: Evidência de que a KD melhora tanto as taxas de resposta quanto o desempenho preditivo (especialmente sob deslocamento de distribuição) para modelos compactos como Phi3 e Qwen-Coder.
4. Framework de Estabilização de Resposta: Introdução de três métodos para alcançar taxas de resposta de 100%, com foco específico na técnica de Conclusão Forçada, que preserva capacidades de raciocínio enquanto garante decisões binárias válidas.
5. Compensações Práticas: Uma análise detalhada mostrando que, embora a conclusão forçada ofereça a maior precisão, as cabeças de classificação fornecem uma alternativa altamente eficiente, permitindo a implantação local de sistemas X-CCD sem dependência de APIs proprietárias caras.

Os autores concluem que um X-CCD prático com modelos compactos de código aberto requer uma abordagem dupla: destilar raciocínio específico da tarefa de professores fortes e estabilizar o espaço de saída para garantir previsões determinísticas e acionáveis.