Optimus: A Robust Defense Framework for Mitigating Toxicity while Fine-Tuning Conversational AI

1. O Problema

A personalização de Modelos de Linguagem de Grande Escala (LLMs) para criar chatbots específicos de domínio geralmente envolve o fine-tuning (ajuste fino) em conjuntos de dados conversacionais. No entanto, esses conjuntos de dados podem ser não confiáveis e conter linguagem tóxica ou conversas problemáticas.

• Risco de Envenenamento: Um adversário pode injetar uma pequena fração de dados tóxicos (ex: 1% do conjunto de treinamento) para fazer com que o chatbot aprenda e reproduza comportamentos tóxicos.
• Limitações das Defesas Atuais: As defesas existentes dependem fortemente de classificadores de toxicidade perfeitos ou de filtragem restritiva. Se o classificador for impreciso, enviesado ou se a linguagem tóxica evoluir, a defesa falha. Além disso, filtros agressivos podem degradar a qualidade da conversa (usabilidade) ao remover amostras legítimas (falsos positivos).
• Desafio Central: Como mitigar a toxicidade aprendida durante o fine-tuning em um conjunto de dados não confiável, mantendo a qualidade da conversa e sem depender de classificadores de toxicidade perfeitos?

2. Metodologia: O Framework Optimus

O Optimus é um framework de defesa projetado para ser integrado em pipelines de fine-tuning existentes. Ele opera em duas etapas principais, projetadas para funcionar mesmo com classificadores de toxicidade imperfeitos ou enviesados.

A. Etapa 1: Classificação de Toxicidade (Sem Treinamento)

Em vez de depender apenas de APIs externas ou classificadores supervisionados tradicionais, o Optimus utiliza um esquema de classificação baseado em LLMs:

• Abordagem de Recusa (Refusal Approach): Utiliza um LLM já alinhado à segurança (ex: LLaMA-2-Chat) para identificar amostras tóxicas.
• Mecanismo: O modelo é solicitado a responder "sim" ou "não" sobre a segurança de gerar a próxima resposta em um par contexto-resposta. Se o modelo prever "não" (indicando que não é seguro gerar a próxima turno), a amostra é marcada como tóxica.
• Vantagem: Esta abordagem é training-free (não requer dados rotulados) e aproveita as propriedades de segurança inerentes aos LLMs alinhados, superando APIs comerciais em precisão.

B. Etapa 2: Ajuste Fino e Alinhamento do Modelo

Para lidar com os erros do classificador (falsos positivos e negativos), o Optimus emprega uma estratégia de dupla ação:

1. Geração de Dados de Cura (Healing Data):

   • As amostras marcadas como tóxicas não são apenas removidas (o que causaria perda de dados), mas sim "curadas".
   • A parte da resposta tóxica é substituída por uma resposta sintética gerada por um LLM seguro.
   • Existem duas estratégias de cura:
     • Não Contextual (NH): Respostas genéricas (ex: "Sinto muito, não sei o que dizer").
     • Contextual (CH): Respostas sintéticas que mantêm o contexto da conversa, mas com traços empáticos e pró-sociais, preservando a usabilidade.

2. Alinhamento via Otimização Direta de Preferência (DPO):

   • Após o fine-tuning com os dados curados, o modelo passa por uma etapa de alinhamento usando Direct Preference Optimization (DPO).
   • Construção do Conjunto de Preferência: Cria-se um conjunto de dados onde, para cada contexto tóxico identificado, há um par de respostas: a resposta original tóxica (indesejada) e a resposta curada (desejada).
   • Objetivo: O DPO ajusta o modelo para aumentar a probabilidade de gerar a resposta curada e diminuir a da resposta tóxica, sem a necessidade complexa e custosa de Reinforcement Learning with Human Feedback (RLHF).
   • Resiliência: Mesmo que o classificador inicial tenha detectado apenas uma fração enviesada dos dados tóxicos, o DPO consegue generalizar e direcionar o modelo para a distribuição de preferências seguras.

3. Principais Contribuições

1. Classificador de Toxicidade sem Treinamento: Demonstrou que LLMs alinhados à segurança (como LLaMA-2-Chat) podem ser adaptados para detectar toxicidade com desempenho superior (até 28,4% melhor) em comparação com APIs líderes da indústria (OpenAI, Perspective).
2. Robustez a Classificadores Imperfeitos: O Optimus é o primeiro esquema end-to-end capaz de mitigar toxicidade eficazmente mesmo quando o classificador de toxicidade tem degradação de desempenho de até 85% em Recall (taxa de detecção) para subcategorias específicas.
3. Preservação da Utilidade: Ao contrário de filtros que apenas removem dados, o uso de "dados de cura" e DPO permite mitigar a toxicidade mantendo a qualidade da conversa e reforçando traços desejáveis (como empatia).
4. Resiliência a Ataques Adaptativos: O framework foi testado contra ataques adversariais e jailbreaks direcionados tanto ao classificador de toxicidade quanto ao gerador de dados de cura, demonstrando resistência superior.

4. Resultados Experimentais

Os autores avaliaram o Optimus em três modelos base diferentes (BART, BlenderBot e LLaMA-2) e em duas categorias de toxicidade (Ofensiva e Especializada).

• Desempenho de Mitigação:

  • O Optimus reduziu a Taxa de Toxicidade de Resposta (RTR) para níveis próximos ou inferiores ao cenário de "sem ataque" (baseline), mesmo com injetores de toxicidade de 30% (categoria ofensiva) e 10% (categoria especializada).
  • Em cenários com classificadores enviesados (como as APIs da OpenAI e Google), o Optimus superou significativamente as defesas de filtragem simples e o estado da arte StarDSS.
  • O StarDSS falhou em cenários desafiadores (RTR de 54,3%), enquanto o Optimus manteve RTRs baixos (ex: < 8% na categoria especializada com APIs enviesadas).

• Qualidade da Conversa (Utilidade):

  • Métricas como Perplexidade (PPL), Distância Frechet Bert (FBD) e GRADE (coerência) mostraram que o Optimus preserva a utilidade do modelo.
  • A abordagem de Cura Contextual (CH) ofereceu melhor coerência de diálogo em comparação com a cura não contextual, com um custo mínimo na métrica de toxicidade.

• Resiliência a Ataques:

  • Contra ataques de PromptAttack e Jailbreaks (incluindo otimização baseada em sufixos), o Optimus manteve a toxicidade controlada, reduzindo o RTR de ~50-60% (ataque sem defesa) para < 8%, mesmo quando a precisão do classificador de toxicidade foi severamente degradada.

5. Significância

O trabalho Optimus representa um avanço significativo na segurança de IA conversacional por:

• Mudar o Paradigma de Defesa: Sai da dependência de "filtragem perfeita" para uma abordagem de "correção e alinhamento", reconhecendo que classificadores de toxicidade nunca serão perfeitos.
• Eficiência Computacional: Utiliza DPO, que é computacionalmente mais eficiente do que RLHF, tornando a defesa escalável.
• Aplicabilidade Prática: Oferece uma solução robusta para empresas e desenvolvedores que precisam personalizar LLMs com dados de terceiros ou de fontes abertas, onde a presença de toxicidade é provável e difícil de prever.
• Futuro da Segurança: Estabelece que a segurança em modelos de linguagem pode ser reforçada dinamicamente durante o fine-tuning, mesmo na presença de adversários adaptativos e dados de treinamento corrompidos.

Em resumo, o Optimus demonstra que é possível criar chatbots seguros e úteis a partir de dados não confiáveis, superando as limitações das defesas atuais que dependem excessivamente da precisão absoluta dos classificadores de conteúdo.