Resumo Técnico: Custos de Confiabilidade da Adaptação de Domínio em Modelos de Linguagem Pequenos

Declaração do Problema

A rápida maturação dos Modelos de Linguagem Pequenos (SLMs), definidos aqui como modelos com 100M–5B de parâmetros, oferece um caminho prático para a implantação de sistemas de PLN em domínios de alto risco e recursos limitados, como saúde, serviços jurídicos e finanças. Embora os métodos de ajuste fino de parâmetros eficientes (PEFT), como a Adaptação de Baixo Posto (LoRA) e sua variante quantizada (QLoRA), permitam a especialização de domínio de baixo custo, uma lacuna crítica permanece na compreensão do custo de confiabilidade desta adaptação.

A literatura existente caracteriza extensivamente os ganhos de desempenho em benchmarks de tarefas específicas, mas negligencia amplamente como o ajuste fino de domínio impacta as propriedades de confiabilidade, especificamente a calibração factual e a robustez adversarial. Trabalhos anteriores (ex: Qi et al., 2024) sugerem que mesmo o ajuste fino benigno pode degradar o alinhamento de segurança. Este artigo aborda a falta de dados empíricos que quantifiquem se a adaptação de domínio compromete essas propriedades de segurança e se as estratégias existentes de preservação de segurança (Safety-DPO, Dark Experience Replay, Task Arithmetic LoRA) mitigam efetivamente tal degradação em SLMs.

Metodologia

O estudo emprega um design empírico sistemático, cross-domínio e cross-arquitetura envolvendo 216 configurações experimentais através de três sementes aleatórias (42, 123, 456).

1. Configuração Experimental

• Modelos: Três arquiteturas de SLM abrangendo a faixa de 1–2.6B de parâmetros:
  • TinyLlama 1B: Utiliza atenção de consulta agrupada (grouped-query attention) e um corpus de pré-treinamento de 3T tokens.
  • Gemma-2 2B: Apresenta atenção local/global alternada e destilação de conhecimento.
  • Llama 3.2 1B: Beneficia-se de ajuste fino de instrução por RLHF em múltiplos estágios.
• Domínios: Três domínios de alto risco com características linguísticas distintas:
  • Saúde (Healthcare): MedQA-USMLE (MCQs curtos, alto raciocínio).
  • Jurídico (Legal): LegalBench (texto declarativo longo, alto risco de alucinação).
  • Finanças (Finance): Finance-Alpaca + PhraseBank (Q&A misto e sentimento).
• Condições de Dados:
  • Benigno: Texto de domínio padrão.
  • Adversarial: Sistematicamente perturbado via Injeção de Domínio (DI), Mistura de Conceitos (CM) e Obscurecimento Ancorado (AO).
• Estratégias de Ajuste Fino (Fine-Tuning):
  • Baseline: QLoRA padrão (controle).
  • Safety-DPO: Otimização de preferência em pares de domínio vs. prejudiciais.
  • Dark Experience Replay (DER): Intercalação de amostras de pré-treinamento relevantes para segurança para evitar o esquecimento catastrófico.
  • Task Arithmetic LoRA (TA-LoRA): Fusão de um adaptador LoRA de segurança com um adaptador de domínio ($\tau_{merged} = \tau_{domain} + 0.5 \cdot \tau_{safety}$).

2. Métricas de Avaliação

• Qualidade de Adaptação de Domínio: Medida pela perda de avaliação (entropia cruzada) e acurácia média de tokens.
• Confiabilidade:
  • Calibração Factual: Acurácia TruthfulQA MC2 (quanto maior, melhor).
  • Robustez Adversarial: Taxa de Sucesso de Ataque (ASR) do HarmBench (quanto menor, melhor; reportado como $1 - ASR$ para análise composta).
  • Nota: A avaliação de viés (BBQ) foi observada como em andamento e não foi incluída nos resultados empíricos finais.

Principais Contribuições

1. Primeiro Estudo Cross-Domínio/Cross-Arquitetura: Este trabalho fornece a primeira quantificação sistemática dos custos de confiabilidade através de três arquiteturas de SLM, três domínios de alto risco e quatro estratégias de ajuste fino.
2. Alta Reprodutibilidade: Um design experimental de múltiplas sementes demonstrou uma variância excepcionalmente baixa ($\sigma < 0.001$ na perda de avaliação), estabelecendo uma base estatística robusta para comparações.
3. Achado Contraintuitivo sobre Dados Adversariais: O estudo demonstra empiricamente que dados de treinamento perturbados adversialmente melhoram consistentemente a qualidade da adaptação de domínio (reduzindo a perda de avaliação em $\Delta \approx -0.040$) sem degradar os benchmarks de confiabilidade, sugerindo um efeito implícito de aumento de dados.
4. Avaliação Comparativa de Estratégias de Segurança: Uma comparação direta de Safety-DPO, DER e TA-LoRA revela que as estratégias atuais de preservação de segurança não se transferem efetivamente para SLMs adaptados ao domínio.

Principais Resultados

1. Custos de Confiabilidade da Baseline

Contrário à hipótese de que a adaptação de domínio via LoRA padrão degrada sistematicamente a confiabilidade:

• Calibração Factual: A baseline QLoRA produziu mudanças mínimas nos scores de TruthfulQA MC2 em todas as combinações modelo-domínio (média $|\Delta TQA| < 0.02$).
• Robustez Adversarial: O ASR da baseline foi determinado principalmente pelo alinhamento de segurança do pré-treinamento do modelo, e não pelo ajuste fino do domínio em si.
  • TinyLlama 1B: Exibiu vulnerabilidade próxima ao teto (ASR $\approx$ 0.97–1.00) independentemente da estratégia.
  • Modelos Alinhados de Segurança (Gemma-2, Llama 3.2): Mostraram variância significativa, mas mantiveram um ASR relativamente baixo nas condições de baseline.

2. Impacto do Treinamento Adversarial

Dados de treinamento adversarialmente perturbados melhoraram consistentemente a qualidade da adaptação de domínio (menor perda de avaliação), mas não geraram melhorias ou degradações consistentes nas métricas de confiabilidade. A melhoria na qualidade da adaptação parece ortogonal à robustez adversarial.

3. Desempenho das Estratégias de Preservação de Segurança

Nenhuma das três estratégias de preservação de segurança conseguiu reduzir o custo de confiabilidade ou melhorar a robustez adversarial:

• Safety-DPO: Foi efetivamente neutro em relação à robustez adversarial (média $\Delta ASR < 0.001$) e não ofereceu benefício de segurança significativo sobre a baseline.
• Dark Experience Replay (DER) & TA-LoRA: Ambas as estratégias pioraram a robustez adversarial em modelos alinhados de segurança.
  • DER: Aumentou o mean HarmBench ASR em +0.171.
  • TA-LoRA: Aumentou o mean HarmBench ASR em +0.155.
  • Piores Casos: Configurações individuais mostraram degradação superior a +0.45 (ex: Gemma-2 2B em Saúde com DER; Llama 3.2 1B em Jurídico com TA-LoRA).

Significância e Alegações

O artigo afirma desafiar a suposição prevalecente de que estratégias baseadas em replay (DER) e fusão aritmética (TA-LoRA) transferem efetivamente o alinhamento de segurança para SLMs adaptados ao domínio. Os achados sugerem que:

1. Custo de Calibração Negligenciável: A adaptação de domínio padrão não altera materialmente a calibração factual em SLMs.
2. Falha de Estratégia: As atuais estratégias de ajuste fino de preservação de segurança, desenvolvidas para ambientes de propósito geral, falham em preservar ou melhorar a robustez adversarial em contextos específicos de domínio e podem, de fato, degradá-la.
3. Dominância da Arquitetura: O alinhamento de segurança do pré-treinamento é o principal preditor de robustez adversarial, e não a estratégia de ajuste fino ou o domínio.

O estudo conclui que os profissionais que implantam SLMs em domínios de alto risco devem ser cautelosos quanto ao uso de DER e TA-LoRA para preservação de segurança, pois esses métodos podem inadvertidamente aumentar a suscetibilidade a danos adversariais. O trabalho futuro é direcionado para explicações mecanísticas para essas degradações e exploração de abordagens alternativas de preservação de segurança.