Resumo Técnico: GLEAN - Defesa Causal Certificada com Robustez Generalizável

Declaração do Problema

Modelos de aprendizado de máquina, particularmente redes neurais profundas, são vulneráveis a perturbações adversariais. Embora métodos de defesa certificada (por exemplo, Suavização Randomizada) forneçam garantias teóricas de que a previsão de um modelo permaneça constante dentro de um raio de perturbação específico (raio robusto) para uma dada entrada, eles falham amplamente em generalizar essa robustez através de domínios com deslocamentos de distribuição.

Defesas certificadas existentes lutam quando aplicadas a domínios não vistos porque os modelos frequentemente dependem de correlações espúrias (por exemplo, cor de fundo correlacionada com a classe do objeto) em vez de fatores causais invariantes. Essas correlações espúrias variam entre domínios; quando a correlação se desloca em um domínio de teste, a confiança da previsão do modelo cai ou torna-se incorreta. Isso leva a uma degradação significativa no Raio Certificado Médio (ACR), efetivamente anulando as garantias teóricas de robustez em novos ambientes.

As abordagens atuais carecem de um quadro unificado que simultaneamente:

1. Elimine o impacto negativo das correlações espúrias na robustez.
2. Defenda contra perturbações nos fatores causais latentes que determinam os rótulos.
3. Forneça garantias teóricas para robustez certificada no contexto de deslocamentos de domínio.

Metodologia: O Quadro GLEAN

Os autores propõem o GLEAN (Defesa Causal Certificada Generalizável), um quadro que integra inferência causal à defesa certificada para alcançar generalização de robustez. A abordagem é construída sobre três componentes principais:

1. Visão Causal e Aprendizado Invariante

O GLEAN modela a geração de dados usando um grafo causal envolvendo:

• $Y$: O rótulo.
• $X$: A entrada (por exemplo, imagem).
• $C$: Fatores causais (características invariantes que determinam $Y$).
• $S$: Fatores espúrios (características não causais correlacionadas com $Y$ em domínios específicos).
• $D$: A variável de domínio.

O quadro baseia-se na Hipótese de Invariância Causal: A probabilidade condicional $P(Y|C)$ permanece invariante entre domínios, enquanto $P(Y|S)$ varia. O GLEAN visa aprender uma representação de $C$ a partir de $X$ que seja invariante a deslocamentos de domínio, filtrando assim a influência de $S$.

2. Aprendizado de Fatores Causais Certificáveis

Para extrair fatores causais de forma robusta, o GLEAN emprega um Codificador Causal ($\Psi$) treinado com dois mecanismos específicos:

• Minimização de Risco Invariante (IRM): O codificador é treinado para minimizar a perda de previsão enquanto penaliza o gradiente da perda em relação a um peso de classificador fictício. Isso incentiva que as representações latentes aprendidas sejam invariantes entre domínios de treinamento, desconectando efetivamente fatores causais de correlações espúrias.
• Restrições de Lipschitz: Para permitir certificação no espaço latente, o codificador é restrito a ser 1-Lipschitz (usando transformações de Cayley para camadas lineares e GroupSort para ativações). Isso garante que o mapeamento do espaço de entrada para o espaço causal latente não amplifique perturbações excessivamente, o que é um pré-requisito para derivar limites teóricos.

3. Estratégia de Defesa Certificada Causalmente

O processo de defesa opera em duas etapas:

1. Certificação no Espaço Latente: A Suavização Randomizada (RS) é aplicada à representação causal latente $z = \Psi(x)$. Ao adicionar ruído gaussiano $\eta \sim \mathcal{N}(0, \sigma^2 I)$ a $z$, forma-se um classificador suavizado $g_\beta$. Garantias teóricas (Teorema 1) asseguram que as previsões permaneçam constantes dentro de um raio certificado $CR_z$ no espaço latente.
2. Mapeamento no Espaço de Entrada: Usando a propriedade de Lipschitz do codificador ($\|\Psi(x_1) - \Psi(x_2)\| \le L\|x_1 - x_2\|$), o raio certificado no espaço latente é mapeado de volta para o espaço de entrada. O Teorema 2 estabelece que o raio certificado no espaço de entrada é $CR \ge CR_z / L$. Isso fornece uma garantia teórica de que todo o classificador $f$ é robusto contra perturbações no espaço de entrada, mesmo entre diferentes domínios, desde que os fatores causais sejam corretamente identificados.

Contribuições Principais

1. Identificação do Problema: O artigo identifica e analisa o problema pouco explorado de generalizar a robustez certificada através de domínios, destacando o papel das correlações espúrias na degradação dos raios certificados.
2. Novo Quadro (GLEAN): Propõe um quadro inspirado em causalidade que combina minimização de risco invariante com redes restritas por Lipschitz. Isso permite que o modelo exclua correlações espúrias e realize defesa certificada em fatores causais latentes.
3. Garantias Teóricas: Os autores derivam novos teoremas (Teorema 1 e Teorema 2) que fornecem limites teóricos para robustez certificada em domínios não vistos. Isso preenche a lacuna entre observações empíricas de generalização de robustez e certificação teórica rigorosa.
4. Validação Empírica: Experimentos extensivos em conjuntos de dados sintéticos (CMNIST) e do mundo real (CelebA, DomainNet) demonstram que o GLEAN supera significativamente as bases de defesa certificada existentes (Gaussian, MACER, SmoothAdv, Consistency) em termos de precisão certificada e Raio Certificado Médio (ACR) sob deslocamentos de domínio.

Resultados Experimentais

Os autores avaliaram o GLEAN contra bases padrão baseadas em Suavização Randomizada em três conjuntos de dados:

• CMNIST: Um conjunto de dados sintético com uma forte correlação espúria entre a cor do dígito e a classe, que é invertida no domínio de teste.
• CelebA: Um conjunto de dados do mundo real com correlações espúrias entre atributos faciais (por exemplo, sorriso e cor do cabelo).
• DomainNet: Um conjunto de dados com deslocamentos de domínio complexos envolvendo diferentes fundos e estilos.

Principais Descobertas:

• Generalização Superior: O GLEAN alcançou a maior precisão certificada e ACR em todos os conjuntos de dados e raios. Por exemplo, no CMNIST, o GLEAN alcançou um ACR de 0,2466, superando significativamente a próxima melhor base (SmoothAdv em 0,0518).
• Robustez ao Deslocamento: Enquanto as bases sofreram quedas severas de desempenho ao migrar de domínios de treinamento para de teste (por exemplo, precisão caindo de ~72% para ~21% no CMNIST para métodos padrão), o GLEAN manteve alta robustez.
• Estudos de Ablação: A remoção da penalidade de invariância causou uma queda drástica no desempenho, confirmando que a captura de fatores causais é essencial. A remoção das restrições de Lipschitz resultou em desempenho ligeiramente inferior, validando a necessidade da restrição para certificação teórica.
• Sensibilidade a Parâmetros: O quadro mostrou robustez às escolhas de hiperparâmetros, com o desempenho estabilizando após um certo limiar para o peso da penalidade de invariância ($\lambda$).

Significado e Alegações

O artigo alega que o GLEAN aborda uma limitação crítica na defesa adversarial atual: a incapacidade de transferir garantias de robustez teórica para novos domínios de dados. Ao deslocar o foco de características de entrada brutas para fatores causais invariantes, o quadro mitiga a vulnerabilidade causada por correlações espúrias.

Os autores posicionam o GLEAN não apenas como uma melhoria em métricas, mas como uma mudança metodológica que fornece suporte teórico para robustez entre domínios. Eles argumentam que essa abordagem oferece um caminho para implantar modelos de aprendizado de máquina em aplicações críticas (como direção autônoma e saúde), onde segurança e confiabilidade devem ser mantidas apesar de mudanças ambientais. O trabalho sugere que pesquisas futuras devem explorar ainda mais defesas inspiradas em causalidade e abordagens unificadas para generalizar a robustez adversarial.