AtPatch: Debugging Transformers via Hot-Fixing Over-Attention

Resumo Técnico: AtPatch: Depurando Transformers via Hot-Fixing de Sobre-Atenção

Declaração do Problema
Redes Neurais Profundas (DNNs) baseadas em Transformers são suscetíveis a defeitos específicos, primariamente ataques de backdoor e injustiça (unfairness) do modelo. Os autores identificam que esses defeitos frequentemente se manifestam como um fenômeno de "sobre-atenção" (over-attention), onde o modelo atribui desproporcionalmente pesos de atenção elevados a características específicas de entrada, tais como gatilhos maliciosos de backdoor ou atributos protegidos (ex: raça, gênero). Esse comportamento anômalo distorce a agregação de características e leva a previsões comprometidas.

As estratégias de mitigação existentes enfrentam limitações significativas quando aplicadas a arquiteturas transformer:

1. Limitações de Edição de Neurônios: Métodos como IDNN e CARE, que dependem da edição ou isolamento de neurônios específicos, lutam contra transformers devido aos grafos de computação dinâmicos criados pelos mecanismos de atenção. Os comportamentos dos neurônios variam entre as entradas, tornando edições fixas instáveis e propensas a efeitos em cascata.
2. Falta de Flexibilidade: Métodos offline como Fine-Pruning e ADF exigem o retreinamento do modelo ou a geração de amostras discriminatórias, introduzindo overhead computacional e tornando-os inadequados para sistemas já implantados.
3. Distorção de Funcionalidade: A aplicação indiscriminada de parâmetros modificados a todas as entradas tende a distorcer as representações de características de dados normais, degradando a funcionalidade original e a precisão do modelo.

Metodologia: AtPatch
Inspirado nos paradigmas de engenharia de software de Delta Debugging (isolar diferenças que induzem falhas) e Hot Patching (modificação em tempo de execução sem recompilação), os autores propõem o AtPatch, um método de hot-fix que redistribui dinamicamente os mapas de atenção durante a inferência do modelo sem alterar os parâmetros do modelo ou realizar retreinamento.

O framework AtPatch opera em duas fases:

1. Preparação Offline (Treinamento do Detector & Construção do Perfil Benigno):

   • Construção do Conjunto de Depuração: O sistema constrói um conjunto de dados de pares "clean-backdoor" e "clean-bias". Para backdoors, utiliza uma abordagem de otimização inversa para identificar gatilhos potenciais. Para viés (bias), gera amostras perturbando atributos protegidos para encontrar instâncias onde as previsões divergem.
   • Treinamento do Detector: Um Detector pré-treinado é treinado usando aprendizado contrastivo no conjunto de depuração. Ele aprende a distinguir entre padrões de atenção normais e anômalos. O detector produz um vetor de probabilidade de anomalia para cada coluna no mapa de atenção.
   • Perfil Benigno: Um perfil de "atenção benigna" unificado ($Q$) é computado através da média das colunas de atenção de dados limpos no conjunto de depuração.

2. Hot-Fix Online (Tempo de Inferência):

   • Extração & Detecção: À medida que o modelo processa uma entrada, o AtPatch intercepta os mapas de atenção de todas as camadas. O Detector analisa esses mapas para identificar "colunas anômalas" (aquelas que excedem um limiar de probabilidade $\tau$).
   • Patching Condicional:
     • Se nenhuma anomalia for detectada, o mapa de atenção original é passado ao modelo, garantindo zero overhead para entradas limpas.
     • Se anomalias forem detectadas, o AtPatch realiza um "hot patch":
       1. Substituição: As colunas anômalas sinalizadas são substituídas pelas colunas correspondentes do perfil benigno unificado ($Q$).
       2. Redimensionamento (Rescaling): Para manter o invariante matemático de que os pesos de atenção em uma linha devem somar 1 (devido ao Softmax), as colunas não afetadas são redimensionadas de forma adaptativa. Isso evita que a substituição faça com que outras colunas se tornem desproporcionalmente pequenas ou grandes.
   • Inferência Continuada: O mapa de atenção redistribuído é alimentado de volta ao modelo para as camadas restantes para gerar a previsão final.

Principais Contribuições

• Método: O AtPatch é apresentado como a primeira abordagem para mitigar backdoors e injustiça em tempo de execução, visando especificamente o problema de sobre-atenção em transformers, em vez de modificar parâmetros do modelo.
• Ferramenta: Os autores implementaram o AtPatch como uma ferramenta de código aberto, projetada para ser agnóstica a arquiteturas e datasets.
• Estudo Empírico: Experimentos extensos foram conduzidos em 6 datasets (MNIST, Fashion, CIFAR-10, Census, COMPAS, Bank) e 6 arquiteturas de modelo (ViT, Swin, T2T-ViT, TabTransformer, TaBERT, FTTransformer) contra quatro baselines de última geração (IDNN, CARE, ADF, Fine-Pruning).

Resultados Experimentais

• Eficácia: O AtPatch supera significativamente as baselines na mitigação de ataques e viés.
  • Backdoors: Reduziu a Taxa de Sucesso de Ataque (ASR) média para 0,46%, mantendo uma queda de precisão média de apenas 0,1%. Em contraste, baselines como Fine-Pruning e IDNN causaram quedas de precisão de 15,2% e 16,6%, respectivamente, com maior ASR residual.
  • Injustiça (Unfairness): Reduziu a Injustiça (UF) média para 0,04% com perda de precisão negligível (0,0%), enquanto as baselines frequentemente degradaram a precisão em 2%–6% para atingir níveis similares de justiça.
• Desempenho do Detector: O Detector alcançou alta precisão (0,91–0,98) e recall (>0,99) na identificação de colunas anômalas, com uma baixa taxa de falsos positivos (0,02–0,10), garantindo que entradas limpas sejam raramente perturbadas.
• Eficiência: O AtPatch introduz um overhead mínimo. O treinamento offline é leve (aprox. 1 minuto). A inferência online adiciona um atraso médio de 0,8 ms por amostra apenas quando anomalias são detectadas; para entradas limpas, o atraso é negligenciável (0,1 ms). Isso é significativamente mais rápido do que as baselines que exigem retreinamento ou análise extensa de neurônios.

Significância e Alegações
O artigo afirma que o AtPatch estabelece um novo paradigma para a depuração de modelos ao tratar mapas de atenção como estados mutáveis de tempo de execução, em vez de traços computacionais imutáveis. Sua principal significância reside na capacidade de:

1. Preservar a Funcionalidade: Ao intervir seletivamente apenas em entradas anômalas e evitar mudanças globais de parâmetros, ele preserva melhor a funcionalidade original do modelo em comparação com métodos de edição de neurônios ou retreinamento.
2. Permitir a Implantação: Sua natureza "on-the-fly" permite que seja aplicado a modelos já implantados sem necessidade de retreinamento ou modificação de parâmetros, abordando uma lacuna crítica nas estratégias de mitigação existentes.
3. Abordar Especificidades de Transformers: Ele aborda diretamente os desafios únicos das arquiteturas transformer (grafos de computação dinâmicos) onde a depuração tradicional baseada em neurônios falha.

Os autores posicionam o AtPatch não como um substituto para todas as técnicas de depuração, mas como uma solução especializada e não invasiva para modelos baseados em transformer, que complementa abordagens existentes ao operar ao nível do mapa de atenção.