NICE: Scale-Stable Perturbations for Graph Neural Network Explanations via Noise Corruption

인공지능의 세계에는 그래프 신경망(Graph Neural Networks)이라 불리는 점점 더 커지는 계층이 존재합니다. 이들은 당신의 휴대폰에 들어 있는 표준적인 이미지 인식 도구가 아닙니다. 대신, 화학 화합물 속의 분자, 사회적 네트워크, 또는 교통 경로와 같이 연결의 그물망 형태로 존재하는 데이터를 이해하도록 설계되었습니다. 결정을 내리기 위해, 이 시스템들은 노드 사이의 링크를 따라 정보를 전달하는데, 이는 마치 군중 사이로 소문이 퍼져나가는 것과 매우 흡з습니다. 이러한 시스템들은 믿기 힘들 정도로 복잡하며 그 내부 논리가 종종 얽히고설킨 '블랙박스'와 같기 때문에, 과학자들은 "설명 도구(explainers)"를 개발했습니다. 이들은 완성된 결정(결과)을 들여다보고 어떤 특정한 연결이나 정보 조각이 가장 중요했는지를 지목하도록 설계된 도구입니다. 이 도구들이 작동하는 표준 방식은 "만약 ~한다면 어떨까(what if)"라는 게임을 수행하는 것입니다. 즉, 특정 연결을 가져와서 그것을 제거하거나 무음 처리한 뒤, AI에게 다음과 같이 묻습니다: "당신의 답이 변합니까?" 만약 답이 급격하게 변한다면, 이 도구는 그 연결이 매우 중요했다고 가정합니다. 이 방법은 수년간 업계의 표준이었지만, 연결을 제거하는 행위가 해당 연결 자체와는 상관없는 방식으로 전체 시스템을 의도치 않게 망가뜨리지 않는다는 취약한 가정에 의존하고 있습니다.

중남대학교, 홍콩 폴리텍 대학교, 그리고 그리피스 대학교의 연구진은 이 표준적인 방법이 근본적으로 결함이 있다는 사실을 발견했습니다. 그들은 현재의 설명 도구들이 연결을 무음 처리하는 방식이 AI의 답변을 신뢰할 수 없게 만드는 숨겨진 왜곡을 유발한다는 것을 찾아냈습니다. 설명 도구가 네트워크 내의 링크를 "끄려고" 할 때, 일반적으로는 그 링크를 통해 흐르는 정보를 0에 가까운 숫자로 곱해버립니다. 이는 특정 메시지를 차단하는 데는 성공하지만, 동시에 전체 네트워크를 통과하는 정보의 전체 부피를 줄여버립니다. 연구진은 이 현상을 "스케일 드리프트(Scale Drift, 규모 표류)"라고 부릅니다. 누군가에게 비밀을 속삭여 달라고 부탁했는데, 그 과정에서 실수로 방 안의 모든 사람이 평소 목소리의 아주 작은 일부로만 말하도록 강요하는 상황을 상상해 보십시오. 비밀은 사라졌을지 모르지만, 대화 전체 또한 희미하고 왜곡되었습니다. AI는 이렇게 줄어든 신호를 받게 되며, AI가 생각을 바꾸는 이유는 그 비밀이 중요했기 때문이 아니라, 단순히 방 전체가 너무 조용해져서 아무것도 명확하게 들을 수 없었기 때문일 수 있습니다. 연구진은 이 드리프트 현상이 정보가 네트워크를 통과하는 매 단계마다 누적된다는 것을 입증했으며, 이는 네트워크가 깊어질수록 AI의 내부 상태가 현실로부터 멀어져 설명을 신뢰할 수 없게 만든다는 것을 의미합니다.

이를 해결하기 위해, 연구진은 신호를 줄이지 않고 AI를 테스트하는 새로운 방법을 제안했습니다. 단순히 연결을 무음 처리하는 대신, 그들은 "노이즈 오염(Noise Corruption)"이라는 방법을 도입했습니다. 메시지를 0으로 낮추는 대신, 이 방법은 명확한 메시지를 동일한 전체 강도 혹은 "음량"을 가진 무작위의 혼란스러운 버전으로 대체합니다. 이는 명확한 문장을 가져와서 원래 목소리만큼이나 큰 소리를 내는 정전기 소음(static)으로 교체하는 것과 같습니다. 정보는 오염되었지만, 네트워크를 흐르는 에너지는 안정적으로 유지됩니다. 음량을 일정하게 유지함으로써, 연구진은 어떤 변화가 AI의 답변에 영향을 미친다면 그것이 전체 시스템의 힘이 붕려했기 때문이 아니라 오직 특정 의미의 상실 때문임을 보장했습니다. 그들은 이 개념을 바탕으로 NICE라는 새로운 프레임워크를 구축했습니다. 이 시스템은 먼저 AI를 원래의 결정으로 되돌리기 위해 얼마나 많은 정보가 복구되어야 하는지에 대한 경계를 학습한 다음, 어떤 연결이 그 복원에 가장 많이 기여했는지를 정확히 계산합니다.

이 새로운 접근 방식의 결과는 유의미했습니다. 화학 분자와 기타 복잡한 구조를 포함하는 8가지 벤치마크에서 테스트했을 때, 이 새로운 방법은 기존의 가장 우수한 도구들을 능가했습니다. 이 방법은 올바른 핵심 연결을 더 정확하게 식별해 냈으며, 이전의 최고 방법들과 비교하여 정답을 찾는 능력을 평균적으로 거의 9% 향상시켰습니다. 더 중요한 것은, 연구진이 이 새로운 기술이 "스케일 드리프트" 문제를 성공적으로 제거했음을 확인했다는 점입니다. 연결을 무음 처리하는 기존 방식과 노이즈를 추가하는 새로운 방식을 비교했을 때, 기존 방식은 AI의 내부 상태를 정상 작동 범위에서 멀리 밀어냈지만, 새로운 방식은 AI의 내부 상태를 변화 전의 상태와 훨씬 가깝게 유지했습니다. 이는 지난 몇 년간 생성된 많은 AI 설명들이, AI가 틀렸기 때문이 아니라 그것을 설명하기 위해 사용된 도구들이 의도치 않게 그 시스템 자체를 망가뜨렸기 때문에 오도되었을 가능성이 높다는 것을 시사합니다. 데이터를 섭동(perturb)시키는 방식을 수정함으로써, 연구진은 이 복잡한 네트워크의 마음을 들여다볼 수 있는 더 충실한 방법을 제공했습니다.