Holographic functions and neural networks

상상해 보세요. 거대하고 고해상도의 디지털 이미지가 있다고 가정해 봅시다. 이 이미지는 너무 커서 모든 단일 픽셀을 살펴보는 데는 영원히 걸릴 것입니다. 이제 이 이미지에 고양이 사진이 포함되어 있는지 알고 싶다고 해보죠.

이 논문은 근본적인 질문을 던집니다: 무엇이 들어있는지 파악하기 위해 실제로 이미지의 얼마나 많은 부분을 살펴봐야 할까요?

저자 발라즈 세게디는 특별한 종류의 "모호한" 의사결정을 탐구합니다. 단순한 "예" 또는 "아니오" 대신, 함수는 입력이 특정 속성을 가질 확률을 나타내는 확률 (0 과 1 사이의 숫자) 을 제공합니다. 이 논문은 "단순한" 또는 "관리 가능한" 복잡성을 설명하는 세 가지 겉보기에 다른 방식이 실제로는 서로 다른 렌즈를 통해 바라본 동일한 것임을 증명합니다.

다음은 유추를 통해 설명한 세 가지 렌즈입니다:

1. 홀로그래픽 속성 ("마법의 창")

개념: 함수가 "홀로그래픽"이라는 것은 입력의 아주 작고 무작위인 일부 조각만 살펴봐도 그 답을 추측할 수 있음을 의미합니다.
유추: 홀로그램을 생각해 보세요. 홀로그램 스티커를 백만 개의 작은 조각으로 부수더라도, 각 조각은 전체 이미지를 재구성할 수 있는 정보를 여전히 포함하고 있습니다 (비록 약간 흐릿할지라도).
이 논문에서 "홀로그래픽 함수"는 바로 그 스티커와 같습니다. 입력이 100 만 비트의 거대한 문자열 (거대한 이미지와 같음) 이라 하더라도 전체를 읽을 필요는 없습니다. 단지 무작위로 예를 들어 50 비트를 선택하기만 하면 됩니다. 그 50 비트를 바탕으로 높은 정확도로 답을 예측할 수 있습니다. 정보는 한 특정 위치에 저장된 것이 아니라 홀로그램처럼 모든 곳에 분산되어 있습니다.

2. 다항식 속성 ("간단한 레시피")

개념: 함수가 "다항식"이라는 것은 몇 가지 단순한 평균을 섞는 수학적 레시피로 근사될 수 있음을 의미합니다.
유추: 복잡한 수프의 맛을 설명하려고 한다고 상상해 보세요. 모든 단일 재료와 그 정확한 화학 구조를 나열하는 대신, 맛이 "얼마나 짜게 느껴지는가", "얼마나 시게 느껴지는가", "얼마나 뜨겁게 느껴지는가"라는 세 가지 요소의 단순한 혼합임을 깨닫게 됩니다.
이 논문은 함수가 홀로그래픽이라면 (몇 가지 샘플로 추측할 수 있다면), 이를 간단한 수학 공식으로 작성할 수 있음을 보여줍니다. 이 공식은 입력의 몇 가지 "평균" (예: 평균 짠맛) 을 취하여 표준 다항식 (예: $Salt^2 + Sour \times Hot$) 을 사용하여 서로 섞습니다. 이는 복잡해 보이는 행동들이 종종 몇 가지 단순한 선형 성분들을 섞어서 단순화될 수 있음을 증명합니다.

3. 신경망 속성 ("공장 조립 라인")

개념: 함수가 "신경망"으로 표현 가능하다는 것은 작고 간단한 논리 게이트 공장으로 구축될 수 있음을 의미합니다.
유추: 공장 조립 라인을 생각해 보세요. 원자재 (입력 비트) 가 들어옵니다. 일련의 스테이션을 통과합니다. 각 스테이션에서 작업자는 간단한 작업을 수행합니다: 받은 것의 가중 평균을 취하고 약간의 편향을 더한 다음, 얼마나 전달할지 결정하는 "필터" (활성화 함수) 를 통과시킵니다.
이 논문은 "유계" 네트워크를 무한한 수의 작업자나 무한히 복잡한 도구를 갖지 않는 네트워크로 정의합니다. 이는 제한된 수의 스테이션을 가지며, 각 스테이션은 데이터를 처리하는 데 제한된 양의 "강도" (가중치) 만 사용합니다. 이 논문은 함수가 홀로그래픽이거나 다항식이라면, 그러한 간단한 공장으로 구축될 수 있음을 증명합니다.

대발견: 모두 동일합니다

이 논문의 주요 결과는 복잡성에 대한 "로제타 석"입니다. 이 세 가지 아이디어가 질적으로 동등함을 증명합니다.

• 몇 가지 무작위 비트를 살펴봄으로써 답을 추측할 수 있다면 (홀로그래픽),
• 그러면 몇 가지 평균을 섞는 간단한 수학 레시피로 답을 작성할 수 있으며 (다항식),
• 또한 답을 계산하기 위한 간단한 공장을 구축할 수도 있습니다 (신경망).

이 논문은 이 세 가지 언어 사이에서 문제의 본질을 잃지 않고 번역할 수 있음을 보여줍니다. 함수가 홀로그래픽적인 의미에서 "단순하다면", 그것은 자동으로 신경망적인 의미에서도 "단순"하며 그 반대도 마찬가지입니다.

이것이 중요한 이유 (논문에 따르면)

저자는 이것이 신경망이 기계 학습에 왜 그토록 뛰어난지 설명한다고 제안합니다. 많은 실제 세계 문제 (이미지 인식 등) 에서 정보는 "홀로그래픽적으로 분산"되어 있습니다. 답은 하나의 특정 픽셀에 의존하는 것이 아니라 이미지 전체에 퍼진 일반적인 패턴에 의존합니다.

정보가 이렇게 분산되어 있기 때문에 자연스럽게 "간단한 레시피" (다항식) 에 적합하며 "간단한 공장" (신경망) 에 의해 쉽게 구축될 수 있습니다. 이 논문은 "분산된 정보", "간단한 수학", 그리고 "신경망"이라는 개념들이 모두 동일한 근본적인 현실을 설명하고 있음을 엄밀하게 수학적으로 증명합니다.

간단히 말해: 이 논문은 몇 가지 무작위 단서만 살펴봄으로써 해결 가능한 문제라면, 간단한 수학 공식과 간단한 신경망으로도 해결 가능함을 증명합니다. 이는 동일한 것을 말하는 서로 다른 방식일 뿐입니다.