DART: Mitigating Harm Drift in Difference-Aware LLMs via Distill-Audit-Repair Training

Título: DART: Mitigando a Deriva de Dano em LLMs Conscientes de Diferenças via Treinamento de Destilação-Auditoria-Reparo

1. O Problema: Cegueira Identitária e a "Deriva de Dano" (Harm Drift)

Os Grandes Modelos de Linguagem (LLMs) atualmente alinhados para segurança tendem a adotar uma postura de cegueira identitária (identity-blindness). Eles frequentemente recusam-se a reconhecer diferenças demográficas legítimas (baseadas em fatos, leis ou contexto), mesmo quando tal reconhecimento é necessário para uma resposta correta.

• Exemplo: Um modelo pode recusar-se a afirmar que uma diocese católica pode priorizar candidatos católicos para um cargo religioso, ou pode tratar erroneamente questões de saúde baseadas em ancestralidade como se todos os grupos fossem idênticos.
• Consequência: Isso leva a respostas incorretas, recusas desnecessárias (over-refusal) ou tratamentos genéricos de "igualdade" que ignoram nuances contextuais.

A Descoberta Central: Deriva de Dano (Harm Drift)
Os autores identificaram um fenômeno crítico: ao tentar corrigir a cegueira identitária através de fine-tuning (ajuste fino) para melhorar a precisão, os modelos sofrem de Harm Drift.

• Ocorre quando o modelo aprende a tomar a decisão correta (ex: "Sim, a diferença é relevante"), mas a sua justificativa (rationale) torna-se progressivamente mais prejudicial.
• O modelo pode começar a elaborar estereótipos, introduzir suposições problemáticas ou falhar em sinalizar danos que a versão original (mais segura, mas incorreta) havia identificado.
• Dilema: Melhorar a precisão da decisão degrada a segurança da explicação.

2. Metodologia: O Framework DART

Para resolver a tensão entre precisão e segurança, os autores propõem o DART (Distill–Audit–Repair Training), um pipeline de três estágios que separa a otimização da precisão da mitigação de danos.

Estágio I: Destilação (Distillation)

• Objetivo: Melhorar a precisão da decisão (classificar se a diferença demográfica é relevante: YES ou NO).
• Processo: Utiliza-se um modelo "Professor" (ex: DeepSeek-Chat) para gerar raciocínios (rationales) baseados em rótulos de verdade (ground-truth).
• Treinamento: O modelo "Aluno" (ex: Llama-3-8B) é ajustado via LoRA (Low-Rank Adaptation) para imitar esses raciocínios.
• Resultado: O modelo atinge alta precisão na decisão, mas introduz o problema de Harm Drift nas explicações.

Estágio II: Auditoria (Audit)

• Objetivo: Identificar casos onde a precisão melhorou, mas a segurança piorou.
• Mecanismo:
  1. Geração pareada: O modelo original ($M_0$) e o modelo destilado ($M_{int}$) respondem ao mesmo prompt.
  2. Detecção: Um classificador de toxicidade e um "LLM como Juiz" comparam as respostas.
  3. Critério: Um caso é marcado como Harm Drift se $M_{int}$ estiver correto na decisão, mas sua justificativa for mais prejudicial (toxicidade, estereótipos, normalização de viés) do que a de $M_0$.
• Classificação de Severidade: Os casos são classificados como Leve, Moderado, Severo ou Extremo.

Estágio III: Reparo Direcionado (Targeted Repair)

• Objetivo: Corrigir apenas os casos de deriva de dano sem perder os ganhos de precisão.
• Processo:
  1. O modelo Professor gera uma alternativa segura ($r_{safe}$) para os casos identificados no Estágio II.
  2. Oversampling Ponderado por Severidade: Os casos mais graves (Severos/Extremos) são amostrados com maior frequência durante o treinamento para garantir que o modelo aprenda a corrigi-los prioritariamente.
  3. Ajuste Fino Contínuo: O modelo é ajustado novamente usando os dados originais de destilação misturados com os dados de reparo seguro.
• Política em Tempo de Inferência: Adicionalmente, uma política de prompt estruturado é aplicada na inferência para limitar o comprimento e o conteúdo das justificativas, evitando elaborações perigosas sem alterar os pesos do modelo.

3. Principais Contribuições

1. Identificação do "Harm Drift": Caracterização de um novo modo de falha onde o ajuste fino para precisão aumenta a toxicidade das explicações, distinto da degradação de segurança tradicional.
2. Pipeline DART: Uma abordagem multi-estágio (Destilar-Auditar-Reparar) que resolve a tensão precisão-segurança, evitando otimizações conjuntas que resultam em compromissos subótimos.
3. Validação Empírica: Demonstração de que é possível melhorar a precisão e a segurança simultaneamente através de detecção explícita e reparo direcionado.

4. Resultados Experimentais

Os testes foram realizados em oito benchmarks (descritivos e normativos) e em consultas do mundo real, utilizando modelos como Llama-3-8B-Instruct, Llama-3.2-3B e Qwen2.5-14B.

• Precisão:
  • A precisão geral do Llama-3-8B aumentou de 39,0% para 68,8%.
  • O ganho mais significativo foi em casos de "tratamento igualitário" (onde o modelo deve dizer "NÃO" para diferenças), saltando de 11,3% para 72,6%.
  • A precisão em casos onde a diferença é legítima (YES) manteve-se estável, sem introduzir sub-previsão.
• Segurança (Redução de Deriva de Dano):
  • O número de casos de Harm Drift foi reduzido em 72,6% após o Estágio III.
  • A toxicidade das justificativas caiu significativamente, retornando a níveis abaixo da linha de base original.
• Generalização:
  • Em 280 consultas abertas do mundo real (médico, legal, político, educacional), a adequação da resposta aumentou de 39,8% para 77,5%.
  • As taxas de recusa (over-refusal) caíram drasticamente de 34,3% para 3,0%.
• Robustez: O método funcionou consistentemente em diferentes famílias de modelos (Mistral, Gemma, Llama, Qwen) e com diferentes modelos professor.

5. Significado e Conclusão

O trabalho demonstra que a dicotomia entre precisão e segurança não é inevitável. O problema de segurança em LLMs muitas vezes surge de uma "segurança exagerada" que impede o reconhecimento de fatos demográficos legítimos.

• Inovação: O DART mostra que é possível ensinar modelos a fazer distinções demográficas corretas sem gerar discursos de ódio ou estereótipos, desde que existam mecanismos explícitos de auditoria e reparo.
• Impacto: Permite que LLMs sejam úteis em cenários de alto risco (como medicina, direito e políticas públicas) onde a "cegueira identitária" pode levar a erros factuais graves, ao mesmo tempo em que mantém a segurança ética nas explicações geradas.
• Limitações: O método depende da qualidade do modelo professor e da capacidade dos avaliadores (LLM-as-Judge) de distinguir entre menções demográficas neutras e conteúdo prejudicial, embora os resultados mostrem alta concordância com anotações humanas.

Em resumo, o DART oferece um caminho prático para desbloquear a capacidade dos modelos de lidar com nuances demográficas complexas, corrigindo o viés de recusa excessiva sem sacrificar a segurança.