The Imposed and Emergent Pieces of Convolution Under an Energy Budget
이 논문은 에너지 예산 하의 진화적 탐색을 사용하여 합성곱 신경망을 부과된 사전 지식(imposed priors)과 창발적 구조(emergent structures)로 분해하며, 이를 통해 희소 연결성(sparse connectivity)과 가중치 공유(weight sharing)는 자연스럽게 발생하는 반면, 조밀한 필터(compact filters)는 특정 돌연변이 메커니즘을 필요로 하고 채널 축에 대한 합성(composition)은 감독 없이는 용량 한계(capacity wall)에 부딪힌다는 것을 밝혀낸다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
얼굴을 인식하고, 언어를 번역하며, 자동차를 운전하는 현대 인공지능의 깊은 곳에는 합성곱 신경망(convolutional network)이라 불리는 특정한 종류의 수학적 엔진이 자리 잡고 있습니다. 수십 년 동안 과학자들은 인간의 뇌가 시각을 처리하는 방식을 모방하도록 이 엔진들을 정교하게 배선하여 직접 설계해 왔습니다. 그들은 코드 안에 규칙을 하드와이어링했습니다. 즉, 인접한 픽셀은 서로 연결되어야 하며, 이미지의 왼쪽에서 발견된 패턴은 오른쪽에서도 인식되어야 하고, 동일한 필터가 전체 이미지를 스캔해야 한다는 규칙들입니다. 이러한 규칙들은 '사전 지식(priors)' 또는 기존의 가설이라 불리며, 기계를 효율적으로 만들어 줍니다. 하지만 한 가지 의문이 남아 있었습니다. 이러한 규칙들이 시스템에 강제로 주입되어야 하는 필수적인 성분인지, 아니면 시스템이 스스로 진화하도록 내버려 두었을 때 결국 자연스럽게 자라나게 될 자연스러운 특징인지에 대한 의문 말입니다. 만약 우리가 인간의 지시를 제거하고 네트워크가 혼돈 상태의 완전 연결된 덩어리로부터 성장하게 한다면, 그 네트워크는 합성곱 신경망의 우아하고 조직적인 구조를 자연스럽게 발견하게 될까요, 아니면 엉킨 매듭 상태로 남게 될까요?
바실리 가브릴로프(Vasili Gavilov)라는 연구자는 네트워크를 미세 조정해야 할 기계가 아니라, 진화시켜야 할 살아있는 유기체로 취급함으로써 이 질문에 답하고자 했습니다. 그는 모든 가능한 연결이 존재하는, 즉 구조가 전혀 없는 엉킨 웹 형태의 '밀집된(dense)' 시드 네트워크에서 시작했습니다. 그런 다음 그는 네트워크에 엄격한 에너지 예산을 부과했는데, 이는 모든 연결을 유지할 때마다 비용을 부과하는 규칙이었습니다. 목표는 최소한의 에너지를 소비하면서 과업을 수행하고 생존하는 것이었습니다. 연구진은 자연 선택과 유사한 과정을 사용했습니다. 네트워크는 과업을 수행하는 능력을 유지하면서도, 유용하지 않은 연결을 무작위로 제거하고 때때로 새로운 연결을 성장시키며 생존해 나갔습니다. 이 압박 속에서 어떤 부분이 살아남는지 관찰함으로써, 그들은 합성곱 네트워크의 어떤 부분이 인간의 설계에 의해 부과된 것이고 어떤 부분이 효율성을 위한 투쟁 속에서 자연스럽게 출현한 것인지를 정확히 지도화할 수 있었습니다.
실험 결과, 네트워크의 일부는 실제로 스스로 성장한다는 사실이 밝혀졌습니다. 네트워크가 에너지를 아끼도록 강요받았을 때, 네트워크는 유용하지 않은 연결을 빠르게 잘라내고 과업에 중요한 입력값에만 집중하는 법을 배웠습니다. 이것은 '특징 선택(feature selection)'으로 알려져 있으며, 깔끔하고 신뢰성 있게 일어났습니다. 또한 네트워크는 동일한 숫자 집합을 사용하여 입력의 다른 부분들을 스an하는 방식인 '가중치 공유(weight sharing)' 규칙을 자연스럽게 채택했습니다. 이것은 패턴이 어디에 있든 상관없이 인식하는 능력인 '이동 불변성(translation invariance)'의 핵심입니다. 그러나 연구진은 이러한 효율성에는 대가가 따른다는 것을 발견했습니다. 네트워크는 가중치를 공유하고 싶어 했지만, 공유된 필터를 스스로 컴팩트하고 정렬되게 만드는 방법은 알아내지 못했습니다. 필터는 여전히 넓고 무질서한 상태로 남아 있었습니다.
돌파구는 연구진이 네트워크가 돌연변이를 일으키는 방식을 바꿨을 때 찾아왔습니다. 첫 번째 시도에서 네트워크는 한 번에 단 하나의 연결만을 끊거나 추가할 수 있었습니다. 하지만 가중치가 공유되었기 때문에, 하나의 연결을 끊는 것은 실제로 에로지를 절약하지 못했습니다. 왜냐하면 동일한 가중치가 다른 곳에서도 여전히 사용되고 있었기 때문입니다. 네트워크는 갇혀 버린 상태였습니다. 해결책은 네트워크가 단일 엣지가 아니라 전체 공유 특징을 한꺼번에 돌연변이시키도록 허용하는 것이었습니다. 이는 생물학에서 하나의 유전자가 단 하나의 세포가 아닌, 그것이 구축하는 모든 형질에 영향을 미치는 것과 유사합니다. 일단 연구진이 네트워크가 전체 공유 연결 그룹을 하나의 단위로서 편집할 수 있도록 허용하자, 마침내 컴팩트하고 깔끔한 필터가 나타났습니다. 네트워크는 스스로 초점을 좁혀, 인간이 손으로 설계한 필터와 똑같이 입력을 스캔하는 작고 효율적인 창(window)을 만들어냈습니다.
이 연구는 또한 이러한 네트워크가 어떻게 깊이와 복잡성을 구축하는지도 탐구했습니다. 네트워크가 더 넓은 영역을 보아야 하는 과업을 수행할 때, 네트워크는 시야를 넓히기 위해 더 많은 층을 쌓으며 자연스럽게 위로 성장했습니다. 그러나 네트워크는 필요 이상으로 층을 더 많이 쌓는 경향을 보였습니다. 네트워크가 두 가지 다른 유형의 패턴을 결합해야 할 때, 네트워크는 업무를 분리하는 데 어려움을 겪었습니다. 만약 연구진이 단순히 결합된 과업에 대해 단일 레이블을 부여한다면, 네트워크는 두 개의 전문화된 채널로 조직화되지 못하고, 하나의 채널로 붕괴하거나 중복된 세 번째 채널에 에너지를 낭비하게 됩니다. 네트워크는 연구진이 추가적인 지침을 제공하여, 첫 번째 패턴을 찾은 다음 두 번째 패턴을 별도로 찾도록 가르쳤을 때에만 업무를 나누는 데 성공했습니다. 이는 명확한 경계를 드러냈습니다. 즉, 어떤 구조는 자연스럽게 출현하지만, 복잡한 과업을 별개의 부분들로 분해하는 능력은 감독 없이는 나타나지 않는다는 것입니다.
마지막으로, 연구진은 자신들의 유도된 진화 탐색(directed evolutionary search)을 순수하게 무작위적인 접근 방식과 비교했습니다. 그들은 에너지 예산을 사용하여 더 나은 솔루션을 향해 올라가는 유도된 탐색이 무작위 확률보다 일관되게 더 깔끔하고 효율적인 구조를 찾아낸다는 것을 발견했습니다. 그것은 더 조직적이고 약간 더 정확한 필터를 만들어냈습니다. 이는 에너지 예산이 단순히 무작위적인 운이 똑같이 작용하는 평평한 지형이 아니라, 네트워크가 따라갈 수 있는 실제 경로를 제공했음을 확인시켜 주었습니다. 이 연구는 인공지능을 만드는 문제를 해결했다고 주장하거나, 이러한 작은 합성 과업들이 즉시 실제 세계의 시각으로 전이될 것이라고 제안하는 것이 아닙니다. 대신, 이 연구는 자연스러운 진화가 스스로 무엇을 달성할 수 있고 무엇을 달성할 수 없는지에 대한 정밀한 지도를 제공합니다. 효율성의 압박이 희소성과 가중치 공유를 키울 수는 있지만, 합성곱 필터의 구체적이고 컴팩트한 아키텍처를 구현하기 위해서는 이를 해제할 특정한 종류의 돌연변이가 필요하며, 복잡한 문제를 독립적인 부분들로 나누는 능력은 종종 길을 안내해 줄 스승을 필요로 한다는 점을 보여줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.