Resumo Técnico: Detectar, Desaprender, Restaurar: Defendendo Modelos de Sumarização de Texto Contra Envenenamento de Dados

Declaração do Problema

O artigo aborda a vulnerabilidade crítica de segurança do envenenamento de dados em tempo de treinamento em Grandes Modelos de Linguagem (LLMs) aplicados especificamente à sumarização abstrativa de texto. Diferente dos ataques adversários em tempo de inferência, que manipulam entradas individuais, o envenenamento ocorre durante a etapa de ajuste fino (fine-tuning). Neste cenário, conjuntos de dados específicos de domínio são frequentemente pequenos, o que significa que exemplos individuais exercem uma influência de gradiente desproporcionalmente alta no modelo.

Adversários podem manipular os dados de ajuste fino (pares documento–resumo) para induzir mudanças comportamentais maliciosas e persistentes — como inversão de sentimento, injeção de toxicidade, distorção factual ou viés representacional — enquanto mantêm métricas de avaliação padrão (ex: pontuações ROUGE) para evitar a detecção. Os autores identificam dois principais cenários de ameaça:

1. Caixa-branca (White-box): O defensor tem acesso ao conjunto de dados de ajuste fino envenenado, mas deve identificar amostras maliciosas sem rótulos de verdade fundamental (ground-truth).
2. Caixa-preta (Black-box): O defensor tem acesso apenas a um checkpoint de modelo treinado liberado por um adversário, sem acesso aos dados de treinamento, histórico ou proveniência.

As defesas existentes para classificação de texto ou detecção de backdoor (que dependem de gatilhos explícitos) são ineficazes aqui porque o envenenamento de sumarização se manifesta como derivações comportamentais sutis e sem gatilho, em vez de classificações incorretas discretas.

Metodologia

Os autores propõem um framework de defesa pós-hoc unificado composto por dois mecanismos complementares adaptados ao nível de informação disponível para o defensor.

Defesa-1: Detecção de Conjunto de Dados Envenenado e Desaprendizado (Caixa-branca)

Quando o conjunto de dados de ajuste fino está disponível, o framework emprega um pipeline de três estágios para detectar e remediar o envenenamento sem retreinamento total:

1. Extração de Candidatos Baseada em Influência: O sistema aproveita a percepção de que amostras envenenadas eficazes devem exercer uma influência desproporcionalmente alta no comportamento do modelo para implantar vieses persistentes. Utiliza o DataInf, uma aproximação de forma fechada de funções de influência, para computar o impacto da remoção de cada amostra de treinamento na perda de validação. As amostras são classificadas por influência absoluta, e os 20% superiores são selecionados como candidatos de alto risco.
2. Filtragem Comportamental: Os candidatos de alta influência passam por verificações comportamentais leves e modulares, adaptadas a objetivos de ataque específicos:
   • Inversão de Sentimento: Detecta discrepâncias entre a polaridade do documento e do resumo usando um classificador RoBERTa ajustado.
   • Injeção de Toxicidade: Sinaliza resumos contendo conteúdo nocivo (ódio, violência, etc.) usando LlamaGuard, mesmo que o documento de origem seja benigno.
   • Distorção Factual: Utiliza o AlignScore para identificar resumos que contradizem fatos ou entidades da fonte.
   • Viés Representacional: Mede disparidades de descritores condicionadas a grupos para detectar desvios demográficos sutis.
3. Desaprendizado por Ascensão de Gradiente: Uma vez identificado o conjunto envenenado, os parâmetros do modelo são atualizados via ascensão de gradiente sobre as amostras detectadas. Este processo aumenta a perda nos dados envenenados, revertendo efetivamente sua contribuição de gradiente e removendo sua influência. Isso é realizado com interrupção precoce (early stopping) para evitar o esquecimento catastrófico do conhecimento limpo.

Defesa-2: Detecção de Modelo Envenenado via Sensibilidade Adversária (Caixa-preta)

Quando apenas o checkpoint do modelo está disponível, o framework audita o comportamento do modelo usando uma nova métrica chamada Sensibilidade a Perturbações Adversárias (SAP).

• Mecanismo: Os autores observam que o envenenamento fortalece a dependência do modelo em relação a pistas posicionais do início do documento (lead bias). Consequentemente, modelos envenenados exibem uma fragilidade amplificada quando as sentenças iniciais são perturbadas.
• Procedimento: O sistema aplica perturbações que preservam a semântica (nível de caractere, palavra, sentença ou documento) especificamente às sentenças iniciais de documentos de teste. Ele mede a taxa na qual o modelo exclui essas sentenças iniciais perturbadas de seus resumos gerados.
• Métrica: A SAP é definida como o aumento relativo na taxa de exclusão de sentenças iniciais sob perturbações adversárias em comparação com entradas limpas. Modelos envenenados exibem pontuações SAP significativamente mais altas (2–3× maior sensibilidade) do que modelos limpos, permitindo a detecção sem acesso aos dados de treinamento.

Principais Contribuições

1. Framework Unificado: O primeiro framework de defesa abrangente para sumarização de texto contra envenenamento de dados que aborda tanto conjuntos de dados envenenados (caixa-branca) quanto modelos envenenados (caixa-preta) usando desaprendizado de máquina.
2. Novas Formulações de Ataque: Estende os objetivos de envenenamento existentes para incluir distorção factual (alteração de entidades/fatos) e viés representacional (introdução de desvio demográfico), demonstrando que o envenenamento pode corromper a correção e a equidade da sumarização sem disparar alarmes de sentimento ou toxicidade.
3. Desaprendizado Baseado em Influência: Introduz um método para detectar amostras envenenadas de alto impacto via funções de influência e removê-las seletivamente via ascensão de gradiente, evitando o custo de um retreinamento total.
4. Auditoria de Sensibilidade Adversária: Propõe a métrica SAP para detecção em caixa-preta, explorando a vulnerabilidade estrutural de modelos envenenados em relação a dependências posicionais.
5. Recuperação Comportamental: Demonstra que o desaprendizado não apenas remove a corrupção semântica, mas também restaura o comportamento de geração abstrativa original do modelo, que é frequentemente deslocado para a cópia extrativa por ataques de envenenamento.

Resultados Experimentais

O framework foi avaliado em nove arquiteturas (incluindo BART, T5, Pegasus, LLaMA-3, Qwen, Mistral, Vicuna) e seis conjuntos de dados de referência (MultiNews, CNN/DailyMail, WikiSum, ArXiv, PubMed, MultiXScience) sob várias taxas de contaminação (5–50%).

• Desempenho da Defesa-1:
  • Alcançou 85–92% de precisão de detecção e 86–90% de recall para amostras envenenadas.
  • Restaurou 85,3% do comportamento original do modelo (taxa de recuperação) com perda mínima de utilidade (<0,6% de degradação ROUGE).
  • Reverteu com sucesso o deslocamento da geração abstrativa para a extrativa, recuperando 94–96% do comportamento abstrativo.
  • Superou as linhas de base, incluindo Treinamento Adversário, SISA, Poda Seletiva e TracIn, reduzindo o tempo de remediação em 4–6× em comparação ao retreinamento total.
• Desempenho da Defesa-2:
  • Alcançou detecção quase perfeita (100% de Taxa de Verdadeiro Positivo, 0% de Taxa de Falso Positivo) em configurações de caixa-preta.
  • Demonstrou separação clara entre modelos limpos e envenenados em todos os tipos de perturbação, superando as linhas de base de sensibilidade baseadas em CLIBE e perplexidade.
• Robustez: Sob ataques adaptativos (ex: envenenamento de baixa influência, perturbações fora do início, ataques de objetivo misto), pelo menos uma das duas defesas permaneceu eficaz, com a Defesa-1 mantendo 78–82% de recuperação e a Defesa-2 retendo 95–98% de detecção.

Significância e Alegações

O artigo afirma fornecer a primeira evidência de que o desaprendizado de máquina pode restaurar efetivamente comportamentos de geração mais profundos (especificamente tendências abstrativas) em modelos de sumarização, indo além de simples métricas de qualidade de saída. Estabelece que o envenenamento durante o ajuste fino deixa artefatos estruturais persistentes (altas pontuações de influência e fragilidade posicional) que permitem detecção prática e recuperação pós-implantação.

Os autores enfatem que sua abordagem oferece uma alternativa escalável ao retreinamento total, tornando viável para organizações remediar modelos envenenados sem acesso aos corpora de pré-treinamento originais ou auditoria manual exaustiva. O trabalho destaca que pontuações ROUGE elevadas sozinhas são insuficientes para verificar a remediação bem-sucedida, pois os modelos podem reter pontuações altas enquanto exibem mudanças comportamentais prejudiciais ou padrões de geração extrativa.