Enhancing Continual Learning for Software Vulnerability Prediction: Addressing Catastrophic Forgetting via Hybrid-Confidence-Aware Selective Replay for Temporal LLM Fine-Tuning

Este artigo propõe o método Hybrid-CASR, uma técnica de replay seletivo consciente da confiança e equilibrada por classe, que melhora significativamente a precisão e a retenção de conhecimento em modelos de linguagem para previsão temporal de vulnerabilidades de software, mitigando o esquecimento catastrófico com maior eficiência computacional em comparação a abordagens convencionais.

O essencial

Imagine que você é um detetive de segurança que trabalha em uma grande cidade (o mundo do código de computadores). Sua missão é encontrar falhas de segurança (vulnerabilidades) antes que os ladrões as descubram.

O problema é que a cidade muda todos os dias. Novos tipos de ladrões surgem, novas técnicas de arrombamento são inventadas e os prédios (softwares) são reformados constantemente.

Se você estudar apenas os casos de 2018 para tentar resolver crimes de 2024, você vai falhar. Se você tentar estudar todos os casos desde o início dos tempos de uma só vez, seu cérebro vai ficar sobrecarregado e você esquecerá as técnicas mais recentes.

Este artigo é sobre como ensinar um Robô Inteligente (uma IA chamada LLM) a ser esse detetive, sem que ele esqueça o que aprendeu no passado enquanto aprende o novo.

Aqui está a explicação simplificada:

1. O Problema: O "Esquecimento Catastrófico"

Quando você treina um robô para encontrar falhas em códigos antigos e depois o força a aprender códigos novos, ele tende a esquecer tudo o que sabia antes. É como se você lesse um livro de culinária novo e, de repente, esquecesse como fazer o bolo da sua avó.

No mundo da segurança, isso é perigoso. Se o robô esquecer como detectar um tipo antigo de vírus para focar em um novo, os hackers antigos voltam a atacar com sucesso.

2. A Solução Proposta: O "Replay Híbrido"

Os autores criaram uma estratégia inteligente chamada Hybrid-CASR. Vamos usar uma analogia de uma caixa de ferramentas:

• O Treino Antigo (Janela Única): O robô pega apenas os casos do mês atual, treina e joga fora tudo o que aprendeu antes. Ele é rápido, mas esquece muito.
• O Treino Acumulativo: O robô tenta guardar todos os casos de todos os anos na caixa de ferramentas. Ele não esquece nada, mas a caixa fica tão pesada que o robô demora horas para encontrar a ferramenta certa. É lento e caro.
• A Estratégia Híbrida (Hybrid-CASR): Esta é a novidade. Em vez de guardar tudo ou nada, o robô escolhe inteligentemente o que guardar na caixa de ferramentas para revisar.
  • Foco no Difícil: Ele guarda os casos que ele quase acertou, mas errou (os mais confusos).
  • Equilíbrio: Ele garante que a caixa tenha uma quantidade justa de "casos de vírus" e "casos de código seguro". Se ele guardasse apenas os casos mais comuns, ele esqueceria os raros e perigosos.

3. O Que Eles Descobriram?

Eles testaram o robô em uma linha do tempo de 6 anos (2018 a 2024), dividida em janelas de dois meses.

• O "Replay Híbrido" venceu: O robô com a estratégia inteligente foi o melhor. Ele aprendeu o novo sem esquecer o velho, e foi mais rápido do que tentar guardar tudo.
• Não importa o tamanho da janela: Eles tentaram treinar o robô com dados de 1 mês, 3 meses ou 1 ano de uma vez. Surpreendentemente, o resultado final foi quase o mesmo. Isso significa que as empresas não precisam se preocupar em calcular o "tempo perfeito" para atualizar o robô; o importante é atualizá-lo regularmente.
• O custo vale a pena: A estratégia inteligente foi cerca de 24% mais eficiente (mais acertos por minuto de treino) do que o método básico.

4. A Lição para o Mundo Real

O robô não é perfeito. Ele ainda erra cerca de 35% das vezes (o que é muito para segurança, mas melhor do que nada).

• Conclusão: A IA é uma ferramenta de apoio, não um substituto para humanos. Ela deve ser usada para ajudar os especialistas a encontrar falhas, mas um humano precisa verificar o resultado final.
• O Futuro: A melhor maneira de manter essa IA segura é usar o método "Replay Híbrido": revisar os casos difíceis e manter o equilíbrio entre os tipos de erros, atualizando o sistema regularmente conforme o mundo muda.

Resumo em uma frase:
Para manter um robô de segurança atualizado sem que ele esqueça o passado ou fique lento, a melhor estratégia é ensinar a ele apenas os casos mais difíceis e importantes, mantendo um equilíbrio entre os diferentes tipos de problemas, em vez de tentar decorar tudo o que já aconteceu.

Resumo técnico

1. O Problema

A detecção de vulnerabilidades de software enfrenta desafios críticos devido à evolução contínua das bases de código e ao aumento exponencial de falhas divulgadas (CVEs). As abordagens tradicionais de aprendizado de máquina e análise estática sofrem com altas taxas de falsos positivos e dificuldade de escala.

O problema central abordado neste trabalho é a avaliação temporal realista e o aprendizado contínuo (Continual Learning - CL) em Grandes Modelos de Linguagem (LLMs):

• Vazamento de Dados Temporal: A maioria das avaliações existentes utiliza divisões aleatórias de treino/teste, ignorando a dimensão temporal. Isso cria vazamento de dados (o modelo "vê" o futuro durante o treino), superestimando o desempenho real.
• Esquecimento Catastrófico: Em cenários de implantação contínua, o modelo deve aprender novos padrões de vulnerabilidade sem esquecer os padrões antigos.
• Desequilíbrio de Classes: Existe uma forte e variável desproporção entre funções vulneráveis e corrigidas (FIXED) ao longo do tempo.
• Custo Computacional: Retreinar modelos cumulativamente sobre todos os dados históricos é computacionalmente proibitivo para ambientes de produção com recursos limitados (ex: uma única GPU).

2. Metodologia

2.1 Configuração Experimental

• Modelo Base: Utilizou-se o microsoft/phi-2 (2,7B parâmetros), um modelo decodificador-only, escolhido por seu equilíbrio entre capacidade de representação e eficiência computacional em uma única GPU.
• Ajuste Fino (Fine-Tuning): Aplicou-se LoRA (Low-Rank Adaptation) para ajuste eficiente de parâmetros, mantendo os pesos do modelo base congelados.
• Protocolo Temporal: Os dados (2018–2024) foram organizados em janelas bimestrais (42 janelas consecutivas). O modelo é treinado apenas em dados conhecidos até o tempo $t$ e avaliado na janela seguinte ($t+1$), simulando uma implantação realista sem vazamento temporal.
• Dataset: Derivado do banco de dados CVEfixes, contendo pares de funções (vulnerável vs. corrigida) vinculadas a CVEs. O processo inclui limpeza rigorosa, deduplicação e ancoragem temporal baseada na data de divulgação do CVE, não na data do commit.

2.2 Estratégias de Aprendizado Contínuo Avaliadas

O estudo comparou oito estratégias, incluindo:

1. Baselines: Treino apenas na janela atual (Window-only), treino cumulativo (sobre todos os dados históricos) e Zero-shot.
2. Replay (Repetição):
   • Replay-1P/3P: Armazenamento uniforme de janelas anteriores.
   • CASR (Confidence-Aware Selective Replay): Seleciona amostras com alta incerteza (baixa confiança do modelo) para replay.
   • Hybrid-CASR (Proposta): Combina seleção baseada em incerteza com balanceamento explícito de classes. O buffer de replay é dividido para garantir uma proporção equilibrada entre classes "VULNERÁVEL" e "FIXED", priorizando amostras incertas dentro de cada classe.
3. Regularização:
   • LB-CL: Loss ponderado por classe.
   • OLoRA: Restrições de ortogonalidade nos updates dos parâmetros LoRA.

2.3 Métricas de Avaliação

• Macro-F1: Métrica principal, tratando classes vulneráveis e não vulneráveis com igual importância.
• IBR (Immediate Backward Retention): Mede a capacidade de reter desempenho em janelas passadas após o treino em novas janelas (avaliação de esquecimento).
• Eficiência: Tempo de treino por janela e uso de memória GPU.

3. Principais Contribuições

1. Protocolo de Avaliação Temporal Fiel à Implantação: Estabelecimento de um protocolo rigoroso de "forward-chaining" (treino no passado, teste no futuro) com testes de retenção retroativa (IBR), evitando vazamento temporal comum em benchmarks anteriores.
2. Análise de Granularidade Temporal: Investigação sistemática de janelas de 1 a 12 meses. O estudo descobriu que diferentes granularidades produzem desempenhos médios comparáveis (F1 entre 0,651 e 0,669), sugerindo que a escolha da janela afeta quais vulnerabilidades são detectadas, mas não necessariamente a capacidade agregada.
3. Proposta do Hybrid-CASR: Desenvolvimento de um método de replay híbrido que resolve o problema do desequilíbrio de classes em cenários temporais. Ao garantir que o buffer de replay mantenha uma proporção equilibrada de classes enquanto foca em amostras difíceis (incertas), o método mitiga tanto o esquecimento quanto o viés de classe.
4. Análise de Custo-Benefício: Avaliação detalhada do trade-off entre acurácia e custo computacional, demonstrando que o treino cumulativo é ineficiente para este domínio.

4. Resultados

• Desempenho de Precisão: O Hybrid-CASR alcançou o melhor desempenho médio (Macro-F1 de 0,667), superando significativamente o baseline de "apenas janela" (0,651) com $p = 0,026$. O treino cumulativo teve desempenho similar (0,661), mas a um custo computacional massivo.
• Retenção de Conhecimento (Esquecimento):
  • O Hybrid-CASR demonstrou forte retenção retroativa (IBR@1 de 0,741) e baixa taxa de decaimento (4,2%).
  • O Replay-1P teve a maior retenção imediata (0,791), mas o Hybrid-CASR ofereceu um equilíbrio superior entre aprendizado futuro e retenção.
  • O treino cumulativo, embora tenha 0% de decaimento (estabilidade perfeita), apresentou retenção absoluta mais baixa (0,661) do que métodos de replay seletivo, sugerindo que reter todos os dados pode introduzir interferência sob mudança de distribuição.
• Eficiência Computacional:
  • O Hybrid-CASR foi 17% mais rápido por janela que o baseline de janela única (432s vs 520s), devido à seleção de amostras que reduz as iterações necessárias para convergência.
  • O treino cumulativo foi 15,9 vezes mais lento que o baseline, tornando-se impraticável para atualizações frequentes.
• Cenários Desafiadores: Em janelas com mudanças drásticas de distribuição (ex: eventos de segurança globais como Spectre/Meltdown), métodos de replay seletivo (Hybrid-CASR) foram mais resilientes do que métodos de regularização rígida (OLoRA) ou replay excessivo (Replay-3P).

5. Significado e Conclusão

O trabalho demonstra que o aprendizado contínuo com LLMs é viável e necessário para a detecção de vulnerabilidades em evolução, mas exige estratégias específicas para lidar com o desequilíbrio de classes e a deriva temporal.

• Hybrid-CASR é apresentado como um compromisso prático ideal, oferecendo ganhos estatisticamente significativos em precisão e estabilidade com um custo computacional gerenciável em GPUs únicas.
• O estudo desafia a suposição de que treinar cumulativamente com mais dados sempre melhora o desempenho; neste domínio, o esquecimento controlado (através de replay seletivo) é mais eficaz do que a retenção exaustiva.
• Implicações Práticas: Detectores baseados em aprendizado de máquina devem ser vistos como ferramentas de suporte à decisão. O desempenho atual (F1 ~65-67%) ainda exige verificação humana, especialmente durante períodos de mudança de regime (novos tipos de ataques).
• Limitações: O estudo foca em uma única arquitetura (phi-2) e linguagens predominantes (C/C++), e há um risco potencial de contaminação dos dados de pré-treinamento do modelo com vulnerabilidades do período de avaliação.

Em suma, o artigo fornece um framework reprodutível e rigoroso para avaliar LLMs em cenários temporais não estacionários, estabelecendo que o balanceamento de classes no replay é tão crucial quanto a seleção de amostras difíceis para mitigar o esquecimento catastrófico na segurança de software.