Instance-wise Linearization of Neural Network for Model Interpretation

현대 사회에서 인공지능은 의료 진단부터 대출 승인에 이르기까지 의사결정을 안내하며 일상생활의 조용한 파트너가 되었습니다. 이러한 시스템의 핵심에는 인간의 뇌가 경험으로부터 배우는 것과 매우 유사하게 데이터로부터 패턴을 학습하도록 설계된 컴퓨터 프로그램인 신경망이 있습니다. 이 네트워크들은 정보를 전달하는 단순한 처리 단위들의 층(layer)들로 구성되어 있으며, 가공되지 않은 입력을 최종적인 답으로 변환합니다. 수년 동안 이러한 시스템들은 믿기 힘들 정도로 효과적이었지만, 이를 사용하는 사람들에게는 여전히 대체로 신비로운 영역으로 남아 있었습니다. 네트워크가 결정을 내릴 때, 정확히 어떤 정보 조각들이 가장 중요했는지, 혹은 시스템이 그 결론에 도달하기 위해 정보를 어떻게 결합했는지 파악하는 것은 종종 불가능합니다. 이러한 투명성의 결여는 중대한 과제가 되었습니다. 정부와 과학자들이 이 자동화된 시스템들이 중요한 업무를 맡기 전, 그 논리를 설명할 것을 점점 더 요구하고 있기 때문입니다.

이제 한 연구팀이 시스템이 어떻게 생각하는지 추측하는 것이 아니라, 특정 순간에 대한 그 사고 과정을 수학적으로 단순화함으로써 이 '블랙박스'의 커튼을 걷어낼 방법을 제안했습니다. 그들의 연구는 신경망 전체를 놓고 볼 때는 믿기지 않을 정도로 복잡하지만, 어떤 특정한 예측 하나에 대해서는 그 동작이 실제로는 매우 간단하다는 점을 시사합니다. 연구진은 단 하나의 예측을 고유한 사건으로 취급함으로써, 네트워크의 비선형적 복잡성을 제거하고 전체 의사결정 과정을 특정 국소 영역 내에서의 단순하고 직접적인 계산으로 다시 쓸 수 있다는 것을 발견했습니다. 이 접근 방식은 모든 개별 입력 데이터가 최종 결과에 어떻게 기여하는지를 정확히 보여주며, 신비로운 알고리즘을 인과관계의 투명한 지도로 탈바꿈시킵로 만듭니다.

이 발견의 핵심은 신경망이 작동하는 방식에 대한 단순한 관찰에 기초합니다. 신경망은 신호를 앞으로 전달할지 아니면 멈출지를 결정하기 위해 '활성화 단위(activation units)'라고 불리는 특수한 구성 요소를 사용합니다. 이 단위들은 비선형적 동작을 만들어내는데, 이는 입력과 출력 사이의 관계가 직선이 아님을 의미하며, 바로 이 점이 시스템을 강력하게 만드는 동시에 이해하기 어렵게 만드는 원인이 됩니다. 그러나 연구진은 어떤 단일 예측에 대해서든 네트워크가 이러한 활성화 단위들을 통과하는 오직 하나의 특정한 경로만을 따른다는 점에 주목했습니다. 일단 그 경로가 선택되면, 네트워크의 복잡하고 구불구불한 동작은 선형적인 과정으로 붕괴됩니다. 이 특정한 사례에서 네트워크는 더 이상 복잡하고 곡선적인 결정을 내리는 것이 아니라, 단순히 입력을 일련의 숫자들과 곱하고 상수 값을 더하는 작업을 수행할 뿐입니다.

이를 증명하기 위해, 연구팀은 신경망을 통과하는 데이터의 순방향 여정을 재작성하는 방법을 개발했습니다. 그들은 이미지의 가장자리나 형태를 스캔하는 것과 같은 컴퓨터 비전용 표준 층들을 가져와, 각 층이 표준 행렬 곱셈으로 변환될 수 있음을 보여주었습니다. 여기에는 이미지를 스캔하는 컨볼루션 층, 이미지 크기를 줄이는 풀링 층, 그리고 딥 네트워크의 학습을 돕는 스킵 연결(skip connections)까지 포함됩니다. 모든 단일 층을 이 선형 형식으로 변환함으로써, 그들은 이들을 모두 하나의 거대한 방정식으로 결합할 수 있었습니다. 그 결과는 입력값이 거대한 가중치 행렬과 곱해지고 편향(bias) 항이 더해져 출력을 생성하는 단일 공식이 됩니다. 이 공식은 해당 이미지가 속한 국소 선형 영역 내에서 그 특정 이미지에 대한 네트워크의 결정을 정밀하게 나타내는 표현 역할을 하며, 각 픽셀이 최종 점수에 얼마나 기여했는지를 정확히 밝혀줍니다.

연구진은 필기체 숫자와 자동차나 동물 같은 복잡한 물체를 식별하도록 훈련된 여러 유명한 이미지 인식 모델들을 대상으로 이 방법을 테스트했습니다. 그들은 이러한 네트워크들이 결정을 내리는 방식에서 놀라운 차이를 발견했습니다. 기본적인 숫자 이미지를 학습한 단순한 모델의 경우, 공식의 주요 계산 부분이 결정의 거의 모든 비중을 차지한 반면, 상수 더하기 항은 무시할 수 있는 수준이었습니다. 그러나 어려운 데이터셋을 학습한 더 복잡한 모델의 경우, 상수 항이 지배적인 힘이 되었습니다. 이러한 고급 네트워크에서는 상수 값 하나만으로도 종종 결정의 대부분을 결정할 수 있었으며, 입력 특징에 대한 상세한 계산은 상대적으로 작은 역할만을 수행했습니다. 이 발견은 네트워크의 내부 계산이 항상 선택의 주요 동력이라는 일반적인 가설에 도전하며, 많은 현대적 시스템에서는 고정된 편향(bias)이 핵심적인 역할을 하고 있음을 시사합니다.

이 새로운 관점은 신경망이 무엇을 예측하는지뿐만 아니라, 어떻게 그 예측에 도달하는지를 이해하는 데 강력한 도구를 제공합니다. 이 방법은 의사결정을 직접적인 입력 특징의 기여도로 분해하기 때문에, 이미지의 어느 부분이 특정 라벨을 결정하는 데 도움을 주었는지, 그리고 어느 부분이 방해가 되었는지를 보여주는 상세한 지도를 생성할 수 있습니다. 필기체 숫자를 대상으로 한 실험에서 연구진은 이 지도가 숫자의 루프(loop)나 1의 수직선처럼 숫자를 정의하는 획을 정확하게 강조해 낸다는 것을 보여주었습니다. 중요도를 추측하는 다른 방법들과 달리, 이 접근 방식은 네트워크가 해당 이미지를 위해 실제로 사용하는 수학을 바탕으로 모든 픽셀의 기여도를 계산합니다 (단, 네트워크가 구간별 선형 활성화 함수를 사용하는 경우에 한함).

이 기술의 유용성은 단순한 이미지 분류를 넘어, 네트워크가 인간의 라벨 없이 데이터를 조직하는 비지도 학습의 영역까지 확장됩니다. 연구진은 고차원 데이터를 인간이 볼 수 있는 2차원 지도로 압축하기 위해 신경망을 사용하는 파라메트릭 t-SNE(parametric t-SNE)라는 기법에 이 방법을 적용했습니다. 보통은 네트워크가 왜 두 데이터 포인트를 지도상의 가까운 위치에 배치했는지 이해하기 어렵습니다. 연구진은 이 선형화 방법을 적용하여 각 데이터 포인트가 네트워크를 통과하는 여정을 추적하고, 어떤 특징이 해당 포인트를 특정 위치에 놓이게 했는지 정확히 파악할 수 있었습니다. 그들은 서로 가까이 배치된 샘플들이 종종 유사한 특징 기여도를 공유한다는 것을 발견했지만, 때로는 겉보기에 가까워 보이는 점들이 실제로는 매우 다른 내부적 이유에 의해 구동된다는 사실도 발견했습니다. 이는 전통적인 분석 도구로는 보이지 않았을 미묘한 차이였습니다.

궁극적으로 이 연구는 신경망을 처음부터 다시 구축할 필요 없이 이를 명확하게 설명할 수 있는 유연한 프레임워크를 제공합니다. 단일 예측은 국소 영역 내에서 선형적인 사건이라는 점을 인식함으로써, 연구진은 의사결정 과정을 명확한 수학적 문장으로 재구성할 수 있음을 보여주었습니다. 이것이 네트워크 자체가 단순하다는 뜻은 아니며, 다만 그 복잡성을 잠시 멈추고 한 단계씩 조사할 수 있다는 것을 의미합니다. AI가 공정한 결정을 내리고 있는지 확인하는 것이든, 과학자가 모델이 세상을 어떻게 보는지 이해하도록 돕는 것이든, 이 접근 방식은 추측을 정밀한 계산으로 대체하며 기계의 논리를 들여다볼 수 있는 직접적인 창을 제공합니다.