Robustness of neural networks to random noise perturbations of their inputs

Resumo Técnico: Robustez de Redes Neurais a Perturbações de Ruído Aleatório em suas Entradas

Definição do Problema
O artigo aborda a avaliação da robustez de redes neurais (RN), especificamente no que diz respeito à estabilidade das previsões quando os valores de entrada são perturbados por ruído aleatório. Embora a acurácia (medida via Erro Quadrático Médio, MSE, ou escore de Brier Multiclasse, MBS) seja uma métrica padrão para a qualidade do modelo, ela não considera a estabilidade sob condições como o ruído Gaussiano aleatório. Os autores observam um conhecido compromisso (trade-off) onde o aumento da acurácia pode diminuir a robustez. As pesquisas existentes frequentemente focam na modificação dos pesos da rede ou limitam-se a problemas de classificação; este trabalho trata a RN treinada como uma "caixa preta" e foca em perturbações de entrada tanto para tarefas de regressão quanto de classificação.

Metodologia
A abordagem proposta envolve uma metodologia de três estágios:

1. Perturbação e Medida de Robustez ($\theta$-robustez):
   Os autores definem uma medida de robustez, $\theta$, para uma RN treinada dado um desvio padrão $\sigma$ e um nível de significância $\alpha$. A medida $\rho(\sigma, \alpha, RN)$ representa o limite superior do MSE (ou MBS) da rede sob perturbação de entrada $\epsilon \sim N(0, \sigma^2)$ com probabilidade $1-\alpha$.

   • Computação: Isso é aproximado usando um método de Monte Carlo (Algoritmo 1). O algoritmo gera $m$ vetores de ruído aleatório, computa o MSE resultante para cada um, ordena-os e seleciona o valor no percentil $(1-\alpha)m$ como o limite de robustez $\theta$.
   • Manipulação de Entrada: Para conjuntos de dados do mundo real com tipos de características mistas, o método perturba apenas as características numéricas. A variância do ruído para uma característica numérica específica é escalonada pelo seu desvio padrão empírico. Uma probabilidade $p$ determina se uma característica numérica específica em um item de dado será perturbada.

2. Curvas de Robustez:
   Para visualizar a relação entre a magnitude da perturbação e o erro, os autores introduzem "curvas de robustez". Estas plotam a razão de robustez normalizada $\rho(\sigma, \alpha, NN) / \text{MSE}_0$ (onde $\text{MSE}_0$ é o erro base) contra o desvio padrão do ruído $\sigma$. Esta normalização permite uma comparação independente de escala entre diferentes conjuntos de dados.

3. Modelagem com a Função Gompertz:
   As curvas de robustez são ajustadas a uma função de Gompertz de quatro parâmetros, uma curva sigmoide usada para fenômenos de crescimento e saturação. O ajuste é avaliado usando o coeficiente de determinação ($R^2$). Pontos chave na curva são identificados:

   • Ponto de Joelho (Knee Point): O ponto de curvatura máxima antes da inflexão, marcando o fim do regime linear onde o erro cresce lentamente.
   • Ponto de Inflexão: O ponto de taxa de crescimento máxima.
   • Inclinação de Meio Máximo (Half-Maximum Slope): Um limiar intermediário.

   Com base nesses ajustes, os autores definem um Índice de Robustez ($G_i$). Ao normalizar as curvas de Gompertz para remover assíntotas verticais, eles comparam a "taxa de crescimento" ($b$) e o "ponto de inflexão" ($c$) de diferentes conjuntos de dados. Um índice de robustez relativo ($R_{ij}$) é calculado para determinar a fração do intervalo $[0, 1]$ onde uma curva reside abaixo da outra (indicando menor erro e maior robustez).

Configuração Experimental e Resultados
O método foi validado em cinco conjuntos de dados do mundo real:

• Regressão: "Mortes por Câncer" e "Taxas de vacinação contra Gripe" (conjuntos de dados pequenos, $n=31$).
• Classificação: "Doença cardíaca", "Câncer de mama diagnóstico de Wisconsin" e "MNIST" (dígitos manuscritos).

Redes Neurais Feedforward (FNNs) foram treinadas nesses conjuntos de dados. Os autores verificaram que seu desempenho base (MSE, RMSE, pontuações F1) era comparável aos padrões da literatura.

• Ajuste de Curva: A função de Gompertz forneceu excelentes ajustes para todos os conjuntos de dados ($R^2 > 0,99$), confirmando a degradação de desempenho em forma de S conforme o ruído aumenta.
• Análise de Limiar: Para tarefas de regressão, os autores descobriram que um limiar definido pelo usuário de duas vezes o MSE base ($y=2$) era uma métrica sensata para robustez. Para tarefas de classificação, o "ponto de joelho" da curva era mais apropriado.
• Hierarquia de Robustez: Usando o Índice de Robustez calculado ($G_i$), os conjuntos de dados foram classificados por robustez. O conjunto de dados "Mortes por Câncer" rendeu o modelo mais robusto ($G_1 = 0,9866$), seguido por "Taxas de vacinação contra Gripe", "Câncer de mama", "Doença cardíaca" e, finalmente, "MNIST" ($G_5 = 0,1708$). A hierarquia resultante é:
  $$\text{Mortes por Câncer} > \text{Taxas de vacinação contra Gripe} > \text{Câncer de mama} > \text{Doença cardíaca} > \text{MNIST}$$

Significância e Alegações
O artigo afirma fornecer um método simples, eficiente e de caixa preta para quantificar a robustez de redes neurais sem a necessidade de acesso aos pesos internos ou modificações de arquitetura. As principais contribuições incluem:

1. Um Limite Superior Probabilístico: Um método para estimar um limite superior no MSE/MBS sob ruído Gaussiano com um nível de confiança especificado.
2. Curvas de Robustez: Uma ferramenta de visualização para analisar a degradação do desempenho do modelo conforme o ruído aumenta, revelando regimes lineares e pontos de saturação.
3. Métrica Comparativa: A introdução de um índice de robustez baseado nos parâmetros da curva de Gompertz, permitindo a comparação quantitativa de robustez entre diferentes conjuntos de dados e modelos.

Os autores concluem que, embora seu método seja eficaz para os conjuntos de dados testados, trabalhos futuros devem validar sua aplicação em conjuntos de dados adicionais e estender o conceito de robustez para modelos generativos como Autoencoders Variacionais (VAEs). Eles declaram explicitamente que o método é válido para outros algoritmos de ML também, desde que possam ser tratados como caixas pretas determinísticas após o treinamento.