A Comparative Study of Counterfactual Explainers for Graph Neural Networks Enabling Multiple Types of Graph Edit

인공지능의 세계에서는 기계가 어떻게 결정을 내리는지, 특히 그 결정이 실제 삶에 영향을 미칠 때 그 과정을 이해하려는 요구가 커지고 있습니다. 서로 다른 약물들이 어떻게 상호작용하는지 보여주는 지도나 사람들 사이의 사회적 네트워크처럼 복잡한 연결망을 들여다보고 결과를 예측하는 컴퓨터 프로그램이 있다고 상상해 보십시오. 그래프 신경망(graph neural networks)이라고 불리는 이 프로그램들은 매우 강력하지만, 종종 왜 그런 결과가 나왔는지 설명하지 못한 채 예측값만을 제시하는 '블랙박스'처럼 작동합니다. 이를 해결하기 위해 연구자들은 '반사실적 설명(counterfactual explanation)'이라는 방법을 개발했습니다. 이 방법은 단순히 네트워크의 어느 부분이 최종 답변에 중요했는지를 지목하는 대신, "만약 ~라면 어떨까?"라는 질문을 던집니다. 즉, 결과를 완전히 바꾸기 위해 네트워크에 가할 수 있는 가장 작고 현실적인 변화는 무엇인가를 묻는 것입니다. 예를 들어, 어떤 시스템이 두 약물을 함께 복용해도 안전하다고 예측한다면, 반사실적 설명은 어떤 새로운 연결이 존재해야 시스템이 위험한 반응이 일어날 것이라고 예측하게 될지를 정확히 보여줄 것입니다. 이러한 접근 방식은 기계의 논리를 제어하는 정밀한 레버를 보여줌으로써 의사, 과학자, 엔지니어가 기계를 신뢰할 수 있도록 돕습니다.

그리스 컴퓨터 과학 연구소의 한 연구팀은 최근 그래프 네트워크에서 이러한 "만약 ~라면" 시나리오를 생성하기 위해 현재 사용 가능한 최선의 도구들을 테스트하는 작업을 수행했습니다. 그들은 단순히 연결을 삭제하는 것을 넘어, 새로운 연결을 추가할 수도 있는 차세대 도구들에 주목했습니다. 연결을 추가하고 제거하는 이 두 가지 능력을 모두 갖추는 것은 매우 중요한데, 왜냐로 실제 세계의 네트워크는 고정되어 있지 않고 끊임없이 진화하며, 네트워크를 변화시키는 방법을 이해하려면 양방향을 모두 살펴봐야 하기 때문입니다. 연구진은 이 작업에 설계된 가장 진보된 여섯 가지 컴퓨터 프로그램을 모아 엄격한 일련의 테스트를 거쳤습니다. 그들은 특정 패턴을 갖도록 구축된 합성 네트워크와 화학 분자부터 소셜 미디어 게시물, 과학 인용 문헌에 이르는 다양한 실제 데이터셋을 포함하여 이 프로그램들을 실행했습니다. 목표는 단순히 어떤 프로그램이 답을 찾아내느냐를 보는 것이 아니라, 그 답의 품질을 판단하는 것이었습니다. 즉, 변화가 믿을 수 있을 만큼 충분히 작은가? 실제로 예측을 뒤집었는가? 그리고 계산하는 데 시간이 너무 오래 걸리지는 않았는가?를 따지는 것이었습니다.

연구 결과, 모든 카테고리에서 승리하는 단 하나의 챔피언은 없다는 사실이 밝혀졌습니다. 연구진은 설명의 속도, 요구되는 변화의 크기, 그리고 결과의 신뢰성 사이에 지속적인 트레이드오프(trade-off) 관계가 존재함을 발견했습니다. 어떤 프로그램은 예측을 뒤집는 아주 작고 최소한의 변화를 찾는 데 탁면했지만, 복잡한 실제 데이터에 대해서는 해결책을 전혀 찾지 못하는 경우가 많았습니다. 반면, 어떤 프로그램들은 매우 신뢰할 수 있고 거의 항상 결과를 바꿀 방법을 찾아냈지만, 그들이 제안한 변화는 너무 크고 복잡해서 인간이 해석하거나 신뢰하기 불가능한 수준이었습니다. 이미지 생성 방식에서 영감을 받은 기술을 사용한 한 프로그램은 매우 철저하여 고품질의 답을 찾아냈지만, 너무 느려서 그래프 하나를 처리하는 데 몇 시간이 걸려 실제 사용하기에는 비현실적이었습니다. 또 다른 프로그램은 매우 빠르고 효율적이었지만, 유용하다고 보기에는 너무 큰 규모의 설명을 만들어내는 경향이 있었습니다.

아마도 가장 놀라운 발견은 가장 뛰어난 도구들조차 네트워크의 올바른 부분에 집중하는 데 어려움을 겪었다는 점일 것입니다. 연구진이 어떤 연결 패턴이 예측의 원인인지 정확히 알고 있는 합성 테스트에서도, 많은 프로그램이 여전히 핵심적인 패턴과 무관한 영역의 변화를 제안했습니다. 그들은 결정적인 패턴에서 멀리 떨어진 곳의 엣지(edge)를 추가하거나 제거했는데, 이는 이는 진정한 원인을 정밀하게 짚어내는 대신 암흑 속에서 추측하는 것과 같았습니다. 이는 이러한 도구들이 '답'을 찾는 능력은 향에는 있지만, 아직 '올바른 답'을 일관되게 찾아내지는 못하고 있음을 시사합니다. 또한 연구진은 기존의 도구 대부분이 분자의 독성 여부를 판단하는 것처럼 네트워크 전체를 분류하도록 설계되었으며, 특정 연구 논문의 주제를 예측하는 것과 같이 네트워크 내의 단일 노드의 행동을 설명하라는 요청을 받았을 때는 성능이 현저히 떨어진다는 점에 주목했습니다.

궁극적으로 이 연구는 매우 빠르게 움직이고 있는 이 분야에 대한 현실 점검 역할을 합니다. 저자들은 연결을 추가하고 제거하는 능력이 큰 진전이지만, 현재 세대의 도구들은 여전히 완성되어 가는 과정에 있다고 결론지었습니다. 어떤 단일 방법도 속도, 정확성, 단순함의 완벽한 균형을 제공하지 못하고 있습니다. 이 연구는 미래의 연구가 단순히 어떤 답을 찾는 것을 넘어, 올-바르면서도 의미 있고 효율적인 설명을 생성하는 데 집중해야 함을 강조합니다. 복잡성이나 시간 문제에 발목 잡히지 않고 예측을 바꾸기 위해 필요한 정밀하고 최소한의 변화를 일관되게 식별할 수 있는 방법이 발견될 때까지, 이 강력한 인공지능 시스템의 잠재력은 불확실성이라는 베일 뒤에 부분적으로 가려져 있을 것입니다.