A Metamorphic Testing Perspective on Knowledge Distillation for Language Models of Code: Does the Student Deeply Mimic the Teacher?

Este artigo apresenta o MetaCompress, um framework de teste metamórfico que revela que modelos de linguagem de código comprimidos via destilação de conhecimento frequentemente falham em imitar profundamente o comportamento do modelo professor, apresentando discrepâncias comportamentais significativas e maior vulnerabilidade a ataques adversariais que não são detectadas pelas avaliações tradicionais baseadas apenas em precisão.

O essencial

Imagine que você tem um gênio da computação (o "Professor") que sabe tudo sobre programação, consegue encontrar erros em códigos e prever falhas de segurança com incrível precisão. O problema é que esse gênio é enorme, pesado e lento. Ele precisa de um computador superpotente para funcionar, gasta muita energia e demora para responder.

Para resolver isso, os cientistas tentam criar um estudante (o "Aluno") que seja pequeno, rápido e leve, mas que saiba quase tudo o que o Professor sabe. Eles usam uma técnica chamada "Distilação de Conhecimento", que é como se o Professor passasse suas anotações para o Aluno estudar.

A pergunta que os autores deste trabalho fizeram foi: O Aluno realmente aprendeu a pensar como o Professor, ou ele apenas decorou as respostas?

O Problema: A Ilusão da Nota 10

Até agora, para ver se o Aluno estava bom, os cientistas faziam um teste simples: davam um código e perguntavam "Isso tem um erro?". Se o Aluno acertasse a resposta certa na maioria das vezes, diziam: "Ótimo! Ele é tão bom quanto o Professor".

Mas os autores descobriram que essa é uma armadilha. É como se o Aluno tivesse decorado a resposta para a pergunta exata que o Professor fez, mas não entendesse a lógica por trás dela.

Para testar isso, eles usaram uma técnica chamada "Ataque Adversarial". Imagine que você pega a mesma pergunta, mas muda levemente as palavras (como trocar o nome de uma variável de x para resultado_final), mantendo o significado exato do código.

• O Professor (o modelo grande) vê a mudança, entende que é a mesma coisa e responde corretamente.
• O Aluno (o modelo pequeno), muitas vezes, fica confuso com a mudança simples e erra a resposta.

Os resultados foram chocantes: em alguns casos, o Aluno ficou 285% mais fraco que o Professor quando enfrentou essas pequenas mudanças. Ou seja, ele não aprendeu a lógica, apenas a decorar.

A Solução: O "MetaCompress" (O Detetive de Comportamento)

Como saber se o Aluno está realmente mimetizando o Professor? Os autores criaram um novo sistema de teste chamado MetaCompress.

Pense no MetaCompress como um detetive de comportamento que não olha apenas se a resposta final está certa, mas como o Aluno chegou até ela. Ele usa quatro regras de ouro (chamadas de "Relações Metamórficas") para comparar o Professor e o Aluno:

1. Acordo de Previsão: Se o Professor diz "Isso é seguro", o Aluno também deve dizer "Seguro"? (Às vezes, o Aluno diz "Inseguro" mesmo acertando a nota final).
2. Confiança na Probabilidade: Se o Professor tem 99% de certeza de que é seguro, o Aluno também deve ter 99% de certeza? Ou ele está inseguro, com apenas 50% de certeza? (O Aluno muitas vezes está muito menos confiante).
3. Calibração: Se o Professor diz "Tenho 80% de certeza", ele realmente acerta 80% das vezes? O Aluno costuma mentir sobre sua própria confiança.
4. Consistência: Se mudarmos o código de forma que o significado não mude, o Professor e o Aluno devem reagir exatamente da mesma forma?

O Que Eles Descobriram?

Ao aplicar o MetaCompress, eles viram que, mesmo quando o Aluno tinha a mesma "nota" (acurácia) que o Professor, havia uma divergência comportamental de até 62%.

Isso significa que o Aluno estava "fingindo" ser inteligente. Ele acertava o teste padrão, mas falhava miseravelmente quando o cenário mudava um pouquinho, como em um ataque real ou em um código com nomes diferentes.

Por Que Isso Importa?

Se você colocar esse "Aluno" para trabalhar em um sistema crítico (como um banco ou um sistema de segurança de um carro), ele pode parecer perfeito no teste de laboratório, mas entrar em pânico e falhar no mundo real quando encontrar uma pequena variação no código.

A analogia final:
O Professor é como um mestre xadrez que entende cada movimento. O Aluno, sem o MetaCompress, é como alguém que decorou as jogadas vencedoras de um livro de xadrez. Se o jogo seguir o livro, o Aluno vence. Mas se o oponente fizer uma jogada nova (um ataque adversarial), o Aluno perde porque não entende o jogo, apenas a resposta.

O MetaCompress é o treinador que percebe que o aluno não está jogando xadrez de verdade, apenas decorando, e avisa: "Ei, você precisa aprender a pensar, não apenas memorizar, antes de entrar na competição!"

Resumo Simples

• O Problema: Modelos pequenos de IA parecem bons, mas são frágeis e não entendem o código como os grandes.
• A Descoberta: Eles acertam as respostas certas, mas falham quando o código muda levemente.
• A Ferramenta: O MetaCompress é um novo teste que verifica se o modelo pequeno "pensa" igual ao grande, não apenas se acerta a resposta.
• O Resultado: Sem esse teste, estamos correndo o risco de usar modelos de IA que são frágeis e perigosos em situações reais.

Resumo técnico

Resumo Técnico: Uma Perspectiva de Teste Metamórfico na Destilação de Conhecimento para Modelos de Linguagem de Código

1. Problema e Motivação

Os modelos de linguagem baseados em Transformer para código (como CodeBERT e GraphCodeBERT) alcançaram o estado da arte em diversas tarefas de análise de software. No entanto, sua implantação prática é limitada pelo alto custo computacional, latência de inferência e impacto ambiental. Para mitigar isso, a Destilação de Conhecimento (Knowledge Distillation - KD) é utilizada para comprimir modelos grandes (professores) em modelos menores (alunos).

O problema central identificado pelos autores é que a avaliação tradicional baseada apenas em acurácia (comparação com rótulos de verdade absoluta) oferece uma visão superficial. Ela falha em capturar discrepâncias na fidelidade comportamental: o grau em que o modelo aluno realmente imita o comportamento preditivo e as representações internas do professor. O estudo questiona se o aluno apenas "acerta" as respostas corretas ou se ele realmente "pensa" e reage como o professor, especialmente sob condições adversas.

2. Metodologia

O estudo foi conduzido em duas fases principais: uma investigação empírica da robustez e a proposta de um novo framework de avaliação.

A. Investigação Empírica (Ataques Adversariais)

• Objetivo: Verificar se os modelos alunos mantêm a robustez dos professores sob perturbações.
• Técnicas de KD Utilizadas: Compressor, AVATAR e MORPH (aplicados a CodeBERT e GraphCodeBERT).
• Tarefas: Detecção de Clones e Predição de Vulnerabilidades.
• Ataques: Foram aplicados ataques adversariais de "caixa preta" (ALERT, MHM, WIR-Random e CODA) que realizam renomeação de identificadores e transformações semânticas preservadoras de código.
• Hipótese: Se o aluno imitasse profundamente o professor, sua queda de desempenho sob ataques adversariais seria comparável à do professor.

B. Proposta: Framework MetaCompress
Para avaliar a fidelidade comportamental sem depender de rótulos de verdade absoluta (o "problema do oráculo"), os autores propuseram o MetaCompress, baseado em Teste Metamórfico (Metamorphic Testing - MT).

• Conceito: Em vez de transformar a entrada, o framework compara as saídas do Professor e do Aluno para a mesma entrada, verificando invariantes comportamentais.
• Relações Metamórficas (MRs) Definidas:
  1. MR1 - Concordância de Predição: O aluno deve prever o mesmo rótulo (top-1) que o professor.
  2. MR2 - Similaridade de Distribuição de Probabilidade: As distribuições de probabilidade (logits) do aluno devem ser próximas às do professor (medido por Divergência KL).
  3. MR3 - Preservação de Alta Confiança: Quando o professor tem alta confiança (>0.8), o aluno deve manter a mesma predição e nível de confiança.
  4. MR4 - Alinhamento de Calibração: A precisão empírica do aluno em faixas de confiança deve corresponder à do professor.

3. Resultados Principais

A. Falha na Imitação Profunda (Ataques Adversariais)

• Embora os modelos alunos tenham acurácia comparável aos professores em dados limpos (diferença < 3%), eles sofrem degradação severa sob ataques adversariais.
• Descoberta Chave: Os modelos alunos apresentaram até 285% mais perda de desempenho sob ataques adversariais em comparação aos professores. Isso indica que a destilação não transferiu as representações internas robustas do professor.

B. Eficácia do MetaCompress

• O framework MetaCompress revelou discrepâncias comportamentais massivas que a acurácia tradicional ignorou:
  • MR1 (Rótulos): Até 36% de violação em tarefas de predição de vulnerabilidades.
  • MR2 (Probabilidade): Até 31% de violação, indicando que o aluno atribui probabilidades muito diferentes para as mesmas classes.
  • MR3 (Confiança): Até 62% de violação. Em muitos casos, o professor estava altamente confiante (ex: 99%), enquanto o aluno estava hesitante (ex: 51%) para a mesma entrada.
  • MR4 (Calibração): Desvios significativos na calibração, especialmente em tarefas complexas.
• Robustez: O estudo de ablação mostrou que o MetaCompress continua detectando essas discrepâncias mesmo quando os dados de entrada são transformados semanticamente, confirmando que a falha é estrutural e não apenas de dados.

4. Contribuições Principais

1. Insight Empírico: Demonstrar pela primeira vez que métricas baseadas em acurácia são insuficientes para avaliar a destilação de conhecimento em modelos de código, pois ocultam falhas críticas na robustez e na fidelidade comportamental.
2. Técnica (MetaCompress): Proposição de um framework de teste metamórfico inovador que trata a avaliação de modelos comprimidos como um problema de teste de software, utilizando relações de saída (em vez de entrada) para validar a fidelidade.
3. Avaliação Abrangente: Uma avaliação extensiva em dois modelos populares (CodeBERT, GraphCodeBERT), duas tarefas críticas e três técnicas de destilação de ponta.
4. Ciência Aberta: Disponibilização do pacote de replicação para transparência e reprodutibilidade.

5. Significado e Impacto

• Segurança e Confiabilidade: O estudo alerta que modelos comprimidos, embora precisos em benchmarks padrão, podem ser frágeis em ambientes reais ou hostis (adversariais), o que é crítico para tarefas de segurança como detecção de vulnerabilidades.
• Mudança de Paradigma de Avaliação: Sugere que a indústria e a academia devem ir além da acurácia e adotar métricas de fidelidade comportamental antes de implantar modelos comprimidos.
• Direções Futuras: O trabalho aponta para a necessidade de novas estratégias de destilação que alinhem não apenas as previsões finais, mas também as representações intermediárias, a confiança e a calibração, possivelmente utilizando abordagens de "Mixture of Experts" ou alinhamento de camadas intermediárias.

Em resumo, o artigo conclui que a destilação de conhecimento atual cria uma "lacuna de conhecimento" na fidelidade comportamental: o aluno aprende a resposta correta, mas não aprende a lógica robusta do professor. O MetaCompress é apresentado como a ferramenta necessária para detectar e quantificar essa lacuna.