Complete Identification of Deep ReLU Networks through Łukasiewicz Logic

딥러닝은 기계가 보고, 말하고, 추론하는 방식을 변화시켰지만, 이러한 시스템의 내부 작동 방식은 여전히 블랙박스로 남아 있는 경우가 많습니다. 이 미스터리의 핵심에는 단순하지만 심오한 퍼즐이 자리 잡고 있습니다. 두 개의 신경망이 내부적으로는 완전히 달라 보일 수 있다는 점입니다. 하나는 넓고 얕은 구조를 가질 수 있고, 다른 하나는 좁고 깊을 수 있으며, 혹은 연결을 조정하기 위해 완전히 다른 숫자를 사용할 수도 있지만, 이들은 모든 가능한 입력에 대해 정확히 동일한 결과를 만들어냅니다. 수년 동안 과학자들은 이런 현상이 일어난다는 사실은 알고 있었지만, 왜 그런 일이 발생하는지 완전히 설명하거나 그것이 발생할 수 있는 모든 경로를 그려내지는 못했습니다. 이러한 불확실성은 중요합니다. 만약 우리가 두 모델이 진정으로 구별되는지 알 수 없다면, 학습의 지형을 완전히 이해할 수 없으며, 모델이 실제로 무엇을 배웠는지 아니면 단지 설계의 우연에 의한 것인지 확신할 수 없기 때문입니다. 이 질문은 단순히 가능성의 수를 세는 것이 아니라, 기계가 행동을 바꾸지 않고 재배열될 수 있는 모든 방법을 설명하는 완전한 규칙집을 찾는 것에 관한 것입니다.

ETH 취리히의 연구팀은 이제 현대 이미지 인식 및 기타 많은 응용 분야의 핵심 동력인 ReLU 네트워크라고 알려진 특정 유형의 인공지능에 대해 이 문제를 해결했습니다. 이 네트워크들은 음수 값을 0으로 바꾸면서 양수 값은 그대로 유지하는 단순한 수학적 규칙에 의존합니다. 연구진은 이 네트워크들이 매우 다를 수 있음에도 기능적으로 동일한 이유가, 마치 산술의 규칙이나 전기 회로의 스위치 논리처럼 숨겨진 논리적 법칙에 의해 지배되기 때문이라는 것을 발견했습니다. 네트워크의 구조를 논리의 언어로 번j환함으로써, 그들은 동일한 작업을 수행하는 어떤 두 네트워크라도 허용된 특정 이동(moves)의 유한한 연속을 통해 서로 변환될 수 있음을 증명했습니다. 이 발견은 이러한 네트워크의 '대칭성(symmetries)'에 대한 완전한 지도를 제공하며, 이러한 중복성이 무작위적인 혼돈이 아니라 구조화되고 예측 가능한 시스템임을 밝혀냈습니다.

이 돌파구를 이해하려면 먼저 문제의 본질을 파악해야 합니다. 심층 신경망은 정보를 처리하여 다음 층으로 전달하는 층(layers)들로 구성됩니다. 연구진은 오랫동안 과학자들이 단일 층 내에서 결과의 변화 없이 연결을 재배열하는 방법인 '얕은(shallow)' 대칭성만을 알고 있었다는 것을 발견했습니다. 예를 들어, 한 층에 있는 두 뉴런의 순서를 바꾸고 그에 따라 가중치를 조정하면 네트워크는 정확히 똑같이 작동할 수 있습니다. 그러나 연구진은 이것이 이야기의 일부일 뿐이라는 것을 보여주었습니다. 그들은 세 개 이상의 층에 걸쳐 작용하는 '깊은(deep)' 대칭성이 존재함을 입증했으며, 이는 한 번에 한 층씩 미세하게 조정하는 것만으로는 달성할 수 없는 거대한 구조적 변화를 허용합니다. 이러한 깊은 대칭성은 네트워크의 아키텍처를 근본적으로 변경하여, 이전에는 기능을 바꾸지 않고서는 불가능하다고 생각되었던 방식으로 섹션을 병합하거나 분할할 수 있습니다.

이 미스터리를 푸는 열쇠는 네트워크를 숫자의 집합으로 보는 것을 멈추고, 특정한 종류의 논리의 표현으로 보기 시작하는 것이었습니다. 연구진은 네트워크의 입력과 출력을 논리적 공식으로 변환하는 기호 체계를 구축했습니다. 이 체계에서 네트워크의 행동은 전통적인 참/거짓 논리를 연속적인 가능성의 척도로 확장한 다가 논리(many-valued logic)의 문장과 동등합니다. 수학자가 표준 규칙을 적용하여 서로 다른 두 대수 방정식이 실제로는 같다는 것을 증명할 수 있는 것처럼, 연구진은 두 네트워크가 기능적으로 동일하기 위한 필요충분조건이 그들의 상응하는 논리 공식이 이 논리의 공리들을 사용하여 서로 변환될 수 있는 것임을 보여주었습니다. 이는 두 네트워크가 같은지를 묻는 문제가 더 이상 추측이나 테스트의 문제가 아니라, 단계적인 논리적 증명의 문제가 되었음을 의미합니다.

연구팀은 이를 실행하기 위해 3단계 프로세스를 개발했습니다. 첫째, 그들은 주어진 네트워크 안에 숨겨진 논리적 공식을 추출하는 알고리ло즘을 만들었는데, 이는 실질적으로 네트워크의 마음을 읽어 그 밑바탕에 깔린 진실을 찾아내는 것과 같습니다. 둘째, 그들은 그들의 논리 체계의 규칙을 적용하여 동일한 출력을 생성하는 두 네트워크는 반드시 서로로부터 유도될 수 있는 공식을 가져야 함을 보여주었습니다. 이 단계는 두 네트워크가 동일한 작업을 수행한다면 논리적 경로가 그들을 연결한다는 것을 보장하는 깊은 수학적 정리에 의존합니다. 셋째, 그들은 논리적 공식을 가지고 그것을 생성한 정확한 네트워크를 재구성할 수 있는 역알고리즘을 구축했습니다. 이로써 루프를 닫았으며, 논리적 설명이 물리적 네트워크를 완벽하고 충실하게 표현한다는 것을 증명했습니다.

이 결과가 특히 강력한 이유는 단순한 정수 가중치를 가진 네트워크부터 복잡한 분수 또는 심지어 무한 소수 값을 가진 네트워크까지 모든 가능한 시나리오를 포괄하기 때문입니다. 연구진은 네트워크가 '퇴화(degenerate)'되지 않는 한(즉, 아무것도 하지 않는 쓸모없는 부분을 포함하지 않는 한), 사용된 숫자의 정밀도와 상관없이 동일한 논리적 프레임워크가 적용됨을 보여주었습니다. 또한 그들은 이러한 규칙들에 의해 허용되는 재배열 중 일부가 '의사 깊은(pseudo-deep)' 것임을 식별했는데, 이는 여러 층에 걸쳐 있는 것처럼 보이지만 실제로는 더 단순한 단일 층 트릭들의 조합임을 의미합니다. 진정한 깊은 대칭성과 이러한 표면적인 대칭성을 구분함으로써, 연구진은 이러한 네트워크가 어떻게 재형성될 수 있는지에 대한 명확한 분류 체계를 제공했습니다.

이 연구는 단순한 이론적 퍼즐을 해결하는 데 그치지 않고, 인공지능 모델의 정체성에 대해 생각하는 새로운 방식을 제안합니다. 이전에는 두 모델이 동일한 결과를 낼 때, 그것들이 근본적으로 같은 것인지 아니면 단지 운 좋은 우연인지 불분명했습니다. 이제 우리는 그들의 동등성이 논리적 유도의 문제라는 것을 압니다. 만약 당신이 연구진이 발견한 특정 규칙들을 사용하여 한 네트워크를 다른 네트워크로 변환할 수 있다면, 그들은 같은 것입니다. 만약 그럴 수 없다면, 그들은 진정으로 다른 것입니다. 이러한 명확성은 학습의 기하학을 이해하는 데 필수적이며, 과학자들이 이 모델들이 작동하는 공간의 진정한 형태를 볼 수 있도록 돕습니다. 이는 신경망의 방대한 중복성이 결함이 아니라 특징, 즉 동일한 해답으로 가는 다양한 경로를 허용하는 구조화된 유연성임을 시사합니다.

연구진의 접근 방식은 회로의 논리가 스위치의 논리로 매핑되어 엔지니어들이 수학적 확실성을 가지고 복잡한 시스템을 설계할 수 있게 했던 전기 공학의 유명한 역사적 돌파구를 반영합니다. 여기서 동일한 원리가 딥러닝의 복잡한 계층 구조에 적용되었습니다. 네트워크를 단순히 통계적인 객체가 아닌 논리적 객체로 취급함으로써, 팀은 네트워크의 대칭성에 대한 완전한 특성화를 제공했습니다. 그들은 ReLU 네트워크의 세계가 산술의 법칙만큼 엄격하고 완전한 규칙들에 의해 지배된다는 것을 보여주었습니다. 이는 왜 서로 다른 네트워크가 동일한 일을 할 수 있는지에 대한 미스터리가 더 이상 미스터리가 아니라, 모든 가능한 해결책이 다가 논리의 공리에 의해 설명되는 해결된 방정식임을 의미합니다. 이 결과는 딥 뉴럴 네트워크의 정체성에 대한 결정적인 가이드로서, 혼란의 풍경을 정밀하고 탐색 가능한 연결의 지도로 바꾸어 놓았습니다.