Resumo Técnico: LLM Ghostbusters: Supressão Cirúrgica de Alucinações via Esquecimento Adaptativo

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) implantados na geração de código frequentemente produzem alucinações: saídas que são linguisticamente fluentes, mas factualmente incorretas. No contexto do desenvolvimento de software, isso se manifesta como alucinação de pacotes, onde um modelo inventa nomes de bibliotecas de software inexistentes (por exemplo, um pacote Python falso).

Essa modalidade de falha cria uma vulnerabilidade crítica na cadeia de suprimentos conhecida como slopsquatting. Um adversário pode registrar proativamente esses nomes de pacotes alucinados em registros públicos (como o PyPI) com cargas maliciosas. Quando desenvolvedores ou agentes autônomos subsequentemente instalam esses pacotes com base na recomendação do LLM, o código malicioso é executado.

Estratégias de mitigação existentes são insuficientes para refinamento pós-implantação:

• Retreinamento completo é computacionalmente proibitivo.
• Geração Aumentada por Recuperação (RAG) e verificação no momento da inferência adicionam latência e complexidade sem alterar as representações aprendidas subjacentes do modelo.
• Esquecimento de Máquina Padrão (por exemplo, Ascensão de Gradiente, NPO) geralmente requer um "conjunto de esquecimento" pré-especificado e finito. No entanto, o espaço de prompts que induzem alucinações é aberto, e as alucinações específicas que um modelo produzirá são desconhecidas até serem elicidas.
• Colapso Parcial do Modelo (PMC) oferece um mecanismo para remoção de conteúdo direcionado, mas assume um conjunto de dados fixo e conhecido a ser esquecido, o que não se aplica à natureza dinâmica e ilimitada das alucinações.

2. Metodologia: Esquecimento Adaptativo (EA)

Os autores propõem o Esquecimento Adaptativo (EA), um framework de ciclo fechado, pós-implantação, projetado para suprimir cirurgicamente alucinações enquanto preserva a utilidade geral do modelo. O EA opera inteiramente sobre dados sintéticos gerados pelo próprio modelo, não exigindo anotação humana.

Componentes Principais

1. Loop de Mutação Adaptativa de Prompt:

   • Em vez de depender de um conjunto de esquecimento estático, o EA descobre continuamente novos contextos que induzem alucinações.
   • O sistema gera amostras a partir do modelo atual. Se um prompt falhar em induzir uma alucinação ou tiver sido treinado por um número fixo de épocas, ele é considerado "exaurido".
   • O prompt é então mutado (variado semanticamente) para elicitar novos padrões de alucinação, garantindo que o modelo aprenda a suprimir padrões em vez de memorizar pares específicos de prompt-saída.

2. Roteamento de Tokens com Máscara Tripla:

   • Um mecanismo de roteamento de gradiente de três valores, inovador, particiona o fluxo de tokens em três populações disjuntas para cada amostra de treinamento:
     • Máscara = 0 (Regularizar): Tokens contextuais (prompts, estrutura de código, pontuação). Estes recebem uma perda de Entropia Cruzada (CE) escalonada para ancorar a distribuição do modelo e prevenir saídas incoerentes.
     • Máscara = 1 (Reforçar): Tokens válidos (por exemplo, nomes de pacotes corretos confirmados por um oráculo de registro). Estes recebem perda CE padrão para reforçar gerações corretas.
     • Máscara = 2 (Suprimir): Tokens alucinados (por exemplo, nomes de pacotes inexistentes). Estes recebem perda de Otimização de Preferência Negativa (NPO) para afastar a massa de probabilidade desses tokens.
   • Essa máscara tripla garante que os gradientes de reforço e supressão atuem sobre conjuntos de tokens disjuntos, prevenindo o colapso catastrófico frequentemente observado ao aplicar objetivos opostos aos mesmos tokens.

3. Função de Objetivo Híbrida:

   • A perda total combina os três termos:
     $$L_{EA} = \lambda_{retenção} L_{CE}^{T_{retenção}} + \lambda_{esquecimento} L_{NPO}^{T_{esquecimento}} + \lambda_{reg} L_{CE}^{T_{reg}}$$
   • Isso permite que o modelo aprenda simultaneamente o que não gerar (alucinações) e o que gerar (alternativas válidas) dentro da mesma sequência.

4. Loops de Treinamento Aninhados:

   • Para estabilizar o processo de esquecimento, o EA emprega uma estrutura de treinamento de duas escalas de tempo:
     • Épocas Externas: Regenerar amostras e detectar alucinações para atualizar as máscaras triplas.
     • Épocas Internas: Treinar nas amostras em cache da época externa por múltiplos passos antes de reamostrar. Isso permite que o modelo consolide o sinal de supressão em vez de constantemente "perseguir" amostras em mudança.

3. Contribuições Principais

1. Framework de Esquecimento Adaptativo: O primeiro método de esquecimento a acoplar um loop adaptativo de descoberta de alucinações com um objetivo híbrido em nível de token, permitindo generalização para prompts não vistos sem um conjunto de esquecimento pré-especificado.
2. Roteamento de Tokens com Máscara Tripla: Um mecanismo que permite edições cirúrgicas dentro de uma única sequência, particionando tokens em categorias válidas, alucinadas e de contexto, permitindo que os objetivos CE e NPO operem sem conflito.
3. Mutação Adaptativa de Prompt: Uma estratégia que estende o esquecimento de conjuntos finitos para espaços de prompts abertos, garantindo que o modelo suprima padrões de alucinação em vez de superajustar-se a prompts específicos.
4. Treinamento Aninhado para Estabilidade: Um esquema de atualização de cache que aborda a instabilidade de métodos anteriores de esquecimento baseados em colapso, crucial para a redução estável de alucinações.
5. Avaliação Conjunta Sistemática: Uma comparação empírica que avalia simultaneamente a taxa de alucinação, o desvio distribucional e a utilidade de codificação, demonstrando que a mitigação eficaz requer o equilíbrio de todos os três eixos.

4. Resultados Experimentais

Os autores avaliaram o EA em modelos DeepSeek-Coder (7B e 16B parâmetros) usando um conjunto de dados de prompts de geração de código projetados para elicitar alucinações de pacotes.

• Redução de Alucinações:

  • No modelo DeepSeek-7B, o EA reduziu a taxa total de alucinação de pacotes de 21,2% (Base) para 2,56%, uma redução de 88%.
  • No modelo DeepSeek-16B, a taxa caiu de 27,75% para 6,13%, uma redução de 78%.
  • Isso superou significativamente as linhas de base: Ascensão de Gradiente (GA), Otimização de Preferência Negativa (NPO) e Colapso Parcial do Modelo (PMC).

• Preservação de Utilidade:

  • O EA manteve ou melhorou ligeiramente o desempenho em benchmarks padrão de codificação (HumanEval, MBPP e suas variantes EvalPlus).
  • Para o DeepSeek-7B, a pontuação média do benchmark de codificação melhorou para 68,57 (vs. 66,98 para o modelo base).
  • Para o DeepSeek-16B, a pontuação permaneceu estável em 73,17 (vs. 77,4 para a base, notando uma leve queda atribuída às dinâmicas de treinamento MoE, mas ainda superior a outras linhas de base de esquecimento).

• Desvio Distribucional (Divergência KL):

  • A análise mostrou que as mudanças comportamentais induzidas pelo EA estavam altamente concentradas na distribuição de geração de pacotes (divergência KL ~1,4 nats para consultas de pacotes), enquanto permaneciam mínimas para geração de código geral (divergência KL ~0,08 nats) e seguimento de instruções.
  • Isso confirma a natureza "cirúrgica" do esquecimento, evitando danos colaterais amplos às capacidades do modelo.

• Estudos de Ablação:

  • Composição da Perda: Nem apenas CE (reforço) nem apenas NPO (supressão) foram suficientes; ambos resultaram em taxas de alucinação >12%. A abordagem híbrida foi essencial.
  • Épocas Internas: O treinamento sem épocas internas (reamostragem de passo único) falhou em reduzir alucinações efetivamente. Um mínimo de ~10 épocas internas foi necessário para consolidação estável.
  • Mutação de Prompt: A mutação adaptativa foi crítica para a generalização. Sem mutação, as taxas de alucinação permaneceram altas (~10,7%); com 6 mutações, as taxas caíram para ~3,9%.

5. Significado e Alegações

O artigo afirma que o Esquecimento Adaptativo fornece um caminho principiado e prático para fornecedores abordarem alucinações em LLMs implantados entre ciclos de lançamento.

• Impacto na Segurança: Ao reduzir as taxas de alucinação de pacotes em mais de 80%, o EA encolhe diretamente a superfície de ataque para ataques de slopsquatting, uma vulnerabilidade crítica na cadeia de suprimentos.
• Viabilidade Operacional: Ao contrário do retratamento completo, o EA opera sobre dados sintéticos auto-gerados, não requer anotação humana e não depende de bases de conhecimento externas ou sobrecarga de verificação no momento da inferência.
• Generalizabilidade: Embora os experimentos se concentrem em alucinações de pacotes Python, os autores argumentam que o framework é agnóstico ao ecossistema e aplicável a qualquer domínio com um oráculo determinístico (por exemplo, endpoints de API, citações, alegações históricas).
• Limitações: Os autores modestamente notam que o oráculo atual verifica a validade em nível de string (existência no registro) em vez de correção semântica no código. Eles também reconhecem que o ajuste fino de parâmetros completos em escalas maiores (além de 16B) requer recursos além de seu estudo atual, e a generalização para LLMs de propósito geral (não código) permanece uma extensão aberta.

Em resumo, o artigo apresenta o EA como um método que navega com sucesso no compromisso entre suprimir comportamentos indesejados específicos e preservar a utilidade geral do modelo, abordando uma lacuna onde métodos anteriores de esquecimento falharam devido à natureza aberta das alucinações.