NICE: Scale-Stable Perturbations for Graph Neural Network Explanations via Noise Corruption

No mundo da inteligência artificial, existe uma classe crescente de sistemas conhecidos como Redes Neurais de Grafos. Estas não são as ferramentas padrão de reconhecimento de imagem encontradas no seu telefone; em vez disso, são projetadas para compreender dados que existem como uma teia de conexões, como moléculas em um composto químico, redes sociais ou rotas de tráfego. Para tomar uma decisão, esses sistemas passam informações ao longo dos elos entre os nós, muito parecido com um boato se espalhando por uma multidão. Como esses sistemas são incrivelmente complexos e sua lógica interna é frequentemente uma caixa preta emaranhada, cientistas desenvolveram "explicadores". Estas são ferramentas projetadas para olhar para uma decisão finalizada e apontar quais conexões ou peças de informação específicas foram mais importantes. A maneira padrão como essas ferramentas funcionam é jogando um jogo de "e se". Elas pegam uma conexão específica, removem-na ou silenciam-na, e então perguntam à IA: "Sua resposta muda?" Se a resposta mudar drasticamente, a ferramenta assume que aquela conexão era vital. Este método tem sido o padrão da indústria por anos, mas baseia-se em uma suposição frágil: a de que o ato de remover uma conexão não quebra acidentalmente todo o sistema de uma forma que não tem nada a ver com a própria conexão.

Uma equipe de pesquisadores da Central South University, Hong Kong Polytechnic University e Griffith University descobriu que este método padrão é fundamentalmente falho. Eles descobriram que a maneira como esses explicadores silenciam as conexões atualmente introduz uma distorção oculta que torna as respostas da IA não confiáveis. Quando um explicador tenta "desligar" um elo na rede, ele tipicamente multiplica a informação que flui através desse elo por um número próximo de zero. Embora isso consiga interromper a mensagem específica, também encolhe o volume total de informação movendo-se através de toda a rede. Os pesquisadores chamam este fenômeno de "Deriva de Escala" (Scale Drift). Imagine uma conversa onde você pede a uma pessoa para sussurrar um segredo para um amigo, mas, ao fazer isso, você acidentalamente força todos na sala a falarem a uma fração do seu volume normal. O segredo pode ter sumido, mas a conversa inteira também se tornou fraca e distorcida. A IA, recebendo esse sinal encolhido, pode mudar de ideia não porque o segredo era importante, mas simplesmente porque o quarto inteiro ficou silencioso demais para que se pudesse ouvir qualquer coisa claramente. Os pesquisadores demonstraram que essa deriva se acumula a cada passo que a informação dá através da rede, o que significa que, quanto mais profunda a rede vai, mais o estado interno da IA se desvia da realidade, tornando a explicação pouco confiável.

Para resolver isso, os pesquisadores propuseram uma nova maneira de testar a IA que evita o encolhimento do sinal. Em vez de simplesmente silenciar uma conexão, eles introduziram um método chamado "Corrupção por Ruído" (Noise Corruption). Em vez de baixar o volume para zero, este método substitui a mensagem clara por uma versão aleatória e embaralhada que possui exatamente a mesma força ou "volume" geral. É como pegar uma frase clara e substituí-la por um surto de estática que é tão alto quanto a voz original. A informação é corrompida, mas a energia fluindo pela rede permanece estável. Ao manter o volume constante, os pesquisadores garantiram que qualquer mudança na resposta da IA fosse devida à perda de significado específico, e não a um colapso no poder geral do sistema. Eles construíram um novo framework em torno desta ideia, o qual nomearam NICE. Este sistema primeiro aprende um limite de quanta informação precisa ser restaurada para trazer a IA de volta à sua decisão original e, em seguida, calcula exatamente quais conexões mais contribuíram para essa restauração.

Os resultados desta nova abordagem foram significativos. Quando testado em oito benchmarks diferentes envolvendo moléculas químicas e outras estruturas complexas, o novo método superou as melhores ferramentas existentes. Ele foi capaz de identificar as conexões críticas corretas com maior precisão, melhorando sua capacidade de encontrar as respostas certas em uma média de quase nove por cento em comparação aos métodos anteriores mais avançados. Mais importante ainda, os pesquisadores confirmaram que sua nova técnica eliminou com sucesso o problema da "Deriva de Escala". Quando compararam o antigo método de silenciar conexões contra o seu novo método de adicionar ruído, o método antigo consistentemente empurrava o estado interno da IA para longe de sua faixa de operação normal, enquanto o novo método mantinha o estado interno da IA muito mais próximo de como ela se comportava antes de qualquer alteração ser feita. Isso sugere que, por anos, muitas explicações geradas por IA podem ter sido enganosas, não porque a IA estava errada, mas porque as ferramentas usadas para explicá-la estavam inadvertidamente quebrando o próprio sistema que tentavam entender. Ao corrigir a maneira como perturbamos os dados, os pesquisadores forneceram uma maneira mais fiel de olhar dentro da mente dessas redes complexas.