Testing Whether Internal Backdoor Precursors Precede Behavior: A Causal, Power-Matched Protocol

Resumo Técnico: Testando se Precursores de Backdoor Internos Precedem o Comportamento

Definição do Problema
O monitoramento de segurança atual para modelos de IA tipicamente avalia se um modelo concluído contém um backdoor ou analisa a dinâmica de treinamento de forma isolada. Uma lacuna temporal crítica permanece: não se sabe se uma representação interna associada a um backdoor torna-se detectável antes que o comportamento de saída do modelo exiba uma mudança estatisticamente significativa. Os métodos existentes falham em estabelecer uma comparação causal e temporal entre sinais internos e comportamento de saída porque frequentemente carecem de condições nulas correspondentes, utilizam limiares de classificação arbitrários ou falham em controlar a taxa de erro por família (family-wise error rate) em inspeções densas de checkpoints. Além disso, um sinal interno decodificável não implica necessariamente um precursor causal; pode apenas codificar a presença do gatilho sem dirigir o comportamento alvo.

Metodologia
O autor propõe um protocolo rigoroso e falsificável para testar se um precursor de backdoor interno precede a manifestação comportamental. O experimento utiliza um modelo GPT-2 de 124M de parâmetros ajustado (fine-tuned) na tarefa de classificação de sentimento SST-2.

1. Design Experimental:

   • Protocolo de Treinamento: O modelo passa por uma fase de "adaptação limpa" (clean adaptation), seguida por uma fase de continuação onde apenas os blocos de transformer 10 e 11 (e a camada de normalização final) são atualizados.
   • Condições: Duas condições são executadas em paralelo:
     • Condição de Backdoor: Um marcador de token específico (cf) é associado a um comportamento alvo (mapeando avaliações negativas para sentimento positivo).
     • Condição de Nulo Correspondente (Matched-Null): Entradas, exposição ao marcador, totais de rótulos e ruído de rótulos idênticos são usados, mas o marcador ativo não está associado ao comportamento alvo (o erro de rotulagem ocorre em exemplos sem marcador).
   • Checkpoints Densos: Os modelos são avaliados em cada etapa de atualização (0 a 80).

2. Detectores Duplos:

   • Ensaio Comportamental: Mede a mudança contínua na margem de logit de saída (positivo menos negativo) para entradas com marcador ativo versus entradas com marcador de controle, em relação à linha de base pré-continuação. Isso evita o uso de limiares arbitrários.
   • Ensaio Interno: Mede o deslocamento no fluxo residual (pós-bloco 10) projetado em uma direção unidimensional travada. Esta direção é derivada de uma "descoberta" de continuação independente, treinada em um conjunto de dados separado para capturar o mecanismo maduro do backdoor. Crucialmente, a direção é fixada antes do início das execuções de confirmação para evitar o sobreajuste (overfitting).

3. Intervenções Causais:
   Para verificar se um sinal interno precoce é um precursor e não apenas um passageiro decodificável, o protocolo emprega intervenções causais no momento da detecção alegada:

   • Ablação: Remoção da coordenada adquirida da ativação do marcador ativo.
   • Restauração: Adição de uma amplitude correspondente ao checkpoint a partir de exemplos doadores independentes à ativação ablada.
   • Patch de Controle: Adição da amplitude a entradas com marcador de controle.
     Estas intervenções são testadas em um conjunto de prompts disjunto para garantir a separação temporal.

4. Calibração Estatística:

   • Controle de Erro: Para abordar o "problema das múltiplas comparações" inerente à inspeção de 160 detector-checkpoints (2 detectores × 80 atualizações), o protocolo utiliza um corte de estatística máxima derivado de 20.000 sorteios de bootstrap de trajetórias nulas. Isso garante uma taxa de falso-positivo por família estrita.
   • Pareamento de Poder (Power Matching): Ambos os detectores usam o mesmo tamanho de amostra ($n=128$), o mesmo estatístico de média studentizada e o mesmo corte, garantindo poder estatístico comparável.
   • Portões de Decisão: Um resultado positivo requer: (1) o teste interno cruzar o limiar antes do teste comportamental em um número significativo de execuções; (2) sucesso na supressão (ablação) e resgate (restauração) do comportamento alvo no ponto de cruzamento interno; e (3) significância estatística via testes de inversão de sinal exatos com correção de Holm.

Principais Contribuições

• Protocolo Executável: O artigo apresenta um protocolo totalmente especificado e falsificável para comparar o início das representações internas e dos comportamentos sob condições correspondentes.
• Comparação Temporal Causal: Ele vai além da correlação ao exigir que um sinal interno precoce seja causalmente necessário (via ablação/resgate) para o eventual comportamento.
• Estrutura Estatística Rigorosa: Introduz uma calibração de estatística máxima conjunta para controlar falsos positivos em inspeções temporais densas e garante o pareamento de poder entre os testes internos e comportamentais.
• Desacoplamento de Decodificabilidade de Causalidade: Ao usar a descoberta de direção independente e intervenções causais, o protocolo distingue entre informação que está meramente presente nos pesos e informação que está funcionalmente dirigindo o backdoor.

Resultos
O artigo afirma explicitamente que nenhum resultado confirmatório em relação à hipótese temporal é relatado.

• O autor realizou "testes de fumaça" (smoke tests) e testes de unidade sintéticos para verificar o pipeline, incluindo a adaptação limpa, o ajuste da direção de descoberta, a avaliação densa e a lógica de intervenção causal.
• Esses testes confirmaram os detalhes de implementação (ex: IDs de tokens, contagens de parâmetros, cronologia do fluxo de trabalho), mas foram expressamente não-inferenciais.
• Consequentemente, a questão "Os precursores de representação de backdoor causalmente necessários tornam-se detectáveis antes do comportamento correspondente?" permanece aberta. O artigo fornece o procedimento de decisão e a análise de erro, mas não fornece a resposta.

Significância e Alegações
A principal contribuição do artigo é metodológica, não empírica.

• Estabelece um critério falsificável para responder se precursores internos precedem o comportamento, evitando que pesquisadores confundam identidade de token, limiares de comportamento, flexibilidade de probe ou orçamentos de erro desiguais com avisos precoces genuínos.
• Argumenta que uma alegação de "aviso precoce" exige quatro componentes interligados: uma linha de base que exclua a identidade estática do input, um comparador de saída contínuo, oportunidades equalizadas para rejeição (pareamento de poder) e uma intervenção que estabeleça o uso causal em vez de apenas a decodificabilidade.
• O trabalho apoia a agenda da "interpretabilidade de desenvolvimento" ao fornecer um teste operacional para monitorar a dinâmica de treinamento em busca de precursores relevantes para a segurança, em vez de apenas auditar modelos finais.

Em resumo, o artigo define como testar rigorosamente para precursores de backdoor, mas não alega tê-los encontrado, deixando a questão substantiva aberta para aplicação futura deste protocolo.