Resumo Técnico: Robustez Certificada a partir de Estruturas de Mistura Gaussiana Aproximada em Espaços Latentes Pré-treinados

Declaração do Problema

Modelos de aprendizado profundo são inerentemente vulneráveis a perturbações adversariais, representando riscos significativos para aplicações críticas de segurança. Embora defesas empíricas (por exemplo, treinamento adversarial) frequentemente alcancem robustez forte na prática, elas carecem de garantias formais e são suscetíveis a ataques adaptativos. Por outro lado, defesas certificadas fornecem garantias de robustez prováveis, mas geralmente produzem limites excessivamente conservadores porque não exploram a estrutura subjacente de distribuições de dados complexas. Trabalhos teóricos recentes (por exemplo, Pal et al., 2023, 2024) estabeleceram que a existência de classificadores robustos está ligada às propriedades de "localização" das distribuições de dados. No entanto, esses resultados permanecem difíceis de instanciar na prática porque os conjuntos de localização necessários são implícitos, seus parâmetros são difíceis de estimar e os classificadores resultantes não escalonam para conjuntos de dados modernos. O desafio central abordado por este trabalho é: Como podemos aproveitar a estrutura da distribuição de dados para projetar classificadores que sejam tanto certificadamente robustos quanto eficientes na prática?

Metodologia

A estrutura proposta, GENELLIPS, aborda esse desafio explorando propriedades estruturais aproximadas nos espaços latentes de codificadores pré-treinados. A metodologia procede em duas etapas:

1. Fundamentação Teórica em Modelos de Mistura Gaussiana (GMMs)

Os autores analisam primeiro o cenário idealizado onde os dados seguem um Modelo de Mistura Gaussiana.

• Condições de Localização: Eles derivam condições necessárias e suficientes para a existência de classificadores robustos em GMMs. Especificamente, provam que, se as distribuições condicionais por classe estiverem localizadas em conjuntos elipsoidais definidos por suas médias e covariâncias, um classificador robusto existe. Essas condições são expressas em forma fechada usando quantidades geométricas (médias, covariâncias e separações).
• O Classificador ELLIPS: Com base nessas condições, eles constroem um classificador denominado ELLIPS (Elipsoide Mais Próximo). Este classificador atribui entradas à classe correspondente ao elipsoide mais próximo em termos de uma distância de Mahalanobis modificada, incorporando priores e determinantes de covariância. Ele coincide com a Análise Discriminante Quadrática (QDA), mas é analisado aqui através da lente da robustez.
• Certificados em Forma Fechada: Para o ELLIPS, os autores derivam um certificado em forma fechada de robustez contra ataques adversariais limitados por $\ell_2$. O raio certificado depende da margem de classificação, da curvatura local (autovalores da diferença das covariâncias inversas) e da geometria dos elipsoides.
• Limites de Generalização: Eles fornecem limites de generalização mostrando que, com um número suficiente de amostras ($n = O(d^{1/4})$), o certificado aprendido (usando médias e covariâncias amostrais) permanece próximo do certificado verdadeiro com alta probabilidade.

2. Extensão para Dados do Mundo Real via Estrutura Latente Aproximada

Para lidar com dados complexos e não gaussianos do mundo real, a estrutura generaliza a abordagem GMM usando um codificador pré-treinado localmente Lipschitziano ($f$).

• Estrutura Aproximada: Em vez de exigir que os dados brutos sejam gaussianos, o método assume que o codificador mapeia entradas para uma distribuição latente que está $\epsilon$-próxima (na divergência de Kullback-Leibler) de uma Mistura Gaussiana.
• Degradação Graceful: A contribuição teórica central aqui é uma prova de que, se a distribuição latente for aproximadamente gaussiana, a precisão certificada degrada-se gracefulmente. Especificamente, a precisão certificada sob a distribuição verdadeira ($P_z$) é limitada pela precisão certificada sob a GMM aproximada ($Q_z$) menos um termo proporcional a $\sqrt{\epsilon/2}$.
• Pipeline: O pipeline final, GENELLIPS, aplica o codificador pré-treinado para mapear entradas para o espaço latente, ajusta uma GMM às representações latentes e, em seguida, aplica o classificador ELLIPS. O certificado de robustez combina a constante de Lipschitz local do codificador com o certificado em forma fechada do classificador ELLIPS latente.

Principais Contribuições

1. Condições Verificáveis para GMMs: O artigo deriva condições necessárias e suficientes para a existência de classificadores robustos em modelos de mistura gaussiana, expressas explicitamente em termos da geometria da distribuição (médias, covariâncias e separações).
2. Classificador ELLIPS com Garantias em Forma Fechada: Introduz um classificador que aproveita a estrutura geométrica da distribuição de dados e admite um certificado explícito e em forma fechada de robustez contra ataques $\ell_2$, juntamente com limites de generalização correspondentes.
3. Teoria de Estrutura Latente Aproximada: O trabalho prova que a gaussianidade exata não é necessária. Estabelece que, se um codificador pré-treinado mapear entradas para uma distribuição latente $\epsilon$-próxima de uma GMM, a precisão certificada degrada-se gracefulmente, fornecendo um caminho prático para certificação sem exigir controle exato sobre a distribuição de dados.
4. Validação Empírica: O método alcança precisão certificada state-of-the-art ou competitiva no CIFAR-10 e ImageNet, mantendo ao mesmo tempo alta precisão limpa e baixa sobrecarga computacional em comparação com baselines baseadas em difusão ou suavização aleatória.

Resultados Experimentais

Os autores validam sua abordagem em dados sintéticos e conjuntos de dados de referência:

• Dados Sintéticos: Em cenários de mistura gaussiana, o método proposto fornece consistentemente garantias de robustez certificada mais apertadas do que o esquema de certificação anterior de Pal et al. [2023], aproximando-se estreitamente da precisão robusta empírica contra ataques PGD.
• CIFAR-10: O GENELLIPS supera modelos de robustez certificada state-of-the-art (por exemplo, SmoothAdv, variantes DRT) em todos os níveis de perturbação $\epsilon \in \{0.25, 0.5, 1.0\}$, alcançando 84,5% de precisão certificada em $\epsilon=0.25$, mantendo 90,14% de precisão limpa.
• ImageNet: O método performa competitivamente contra as principais baselines no benchmark SoK. Supera todas as baselines anteriores, exceto aquelas que utilizam modelos de difusão (que são computacionalmente caras). Notavelmente, o GENELLIPS é 9x–12x mais rápido do que pipelines baseados em difusão (2,7 minutos por imagem versus 25–36 minutos), oferecendo uma alternativa leve com precisão certificada competitiva.
• Análise de Distribuição Latente: Testes estatísticos (teste de Mardia) confirmam que o codificador ajustado com sucesso mapeia distribuições condicionais por classe no espaço latente para conformar-se a distribuições gaussianas.

Significado e Alegações

O artigo alega estabelecer estrutura latente aproximada como uma rota prática e principista para robustez certificável. Ao transferir o ônus das suposições estruturais dos dados brutos para o espaço latente de modelos pré-treinados, os autores fecham a lacuna entre a necessidade teórica de estrutura distribucional para robustez e as limitações práticas dos métodos certificados existentes.

O trabalho demonstra que não é necessário impor suposições distribucionais exatas em dados complexos do mundo real. Em vez disso, ao aproveitar codificadores pré-treinados (como variantes FARE-4 ou CLIP) que podem ser ajustados para produzir misturas latentes aproximadamente gaussianas, é possível construir classificadores que são tanto provavelmente robustos quanto computacionalmente eficientes. Os autores posicionam isso como uma solução para a "impossibilidade" de certificar robustez sem suposições distribucionais, mostrando que suposições aproximadas derivadas da aprendizagem de representação moderna são suficientes para produzir garantias fortes e verificáveis.

Limitações Reconhecidas pelos Autores:

• Os resultados atuais aplicam-se especificamente a ataques adversariais $\ell_2$.
• A abordagem requer o ajuste fino do codificador para mapear a distribuição de entrada para uma GMM latente aproximada; a qualidade dessa aproximação dita diretamente a degradação na precisão certificada.