컴퓨터가 세상을 이해하도록 가르치려 한다고 상상해 보십시오. 그것이 폭풍이 대양을 가로질러 소용돌이치는 것을 예측하는 것이든, 스펀지를 통해 물이 어떻게 흐르는지 알아내는 것이든, 혹은 단순히 사진 속의 고양이를 인식하는 것이든 말입니다. 오랫동안 과학자들은 수학적 층(layer)을 벽돌처럼 쌓아 올려 이러한 "신경망"을 구축해 왔습니다. 그들은 시스템을 작동시키기 위해 사진 속의 위치를 알려주거나 시퀀스의 진행 정도를 알려주는 특별한 라벨을 추가하는 것과 같은 영리한 기교에 의존하곤 했습니다. 하지만 문제가 있습니다. 이러한 기교는 때때로 사물이 시간이 지남에 따라 변하는 실제 방식을 포착하지 못한다는 점입니다. 자연에서 사물은 단순히 한 상태에서 다른 상태로 도약하는 것이 아니라, 보이지 않는 물리 법칙과 역학에 의해 진화하고, 흐르고, 물결칩니다. 만약 컴퓨터 모델이 이러한 변화를 단순한 일회성 도약으로 취급한다면, 예측을 정확하게 만드는 미세하고 빠른 물결을 놓칠 수 있습니다. 이것이 바로 연구자들이 해결하고자 했던 퍼즐입니다. 어떻게 하면 단순히 층을 쌓는 것이 아니라, 전기가 회로를 통해 흐르거나 물이 파이프를 통해 흐르는 것처럼 정보의 흐름을 이해하는 컴퓨터의 두뇌를 만들 수 있을 것인가 하는 문제입니다.

여기 회로 영감을 받은 고차 신경망(Circuit-Inspired High-Order Neural Network), 줄여서 CHONN이 등장했습니다. CHONN을 정적인 벽돌을 쌓아 올린 새로운 종류의 신경망이 아니라, 정보를 살아 숨 쉬는 전기 회로처럼 다루는 새로운 형태의 신경망이라고 생각해 보십시오. 바오창 장(Baochang Zhang)과 통페이 첸(Tongfei Chen)이 이끄는 연구진은 네트워크를 더 깊게 만들기 위해 단순히 층을 더 추가하는 대신(이는 마치 더 높은 탑을 쌓는 것과 같습니다), 각 개별 층에 더 높은 "차수(order)"의 복잡성을 부여함으로써 각 층을 더 "똑똑하게" 만들 수 있다는 점을 깨달았습니다. 그들은 전기가 전선, 저항기, 축전기를 통해 이동하는 방식을 규정하는 동일한 규칙인 **키르히호프의 회로 법칙(Kirchhoff's circuit laws)**에서 영감을 얻었습니다. 이 모델에서 그들은 **키르히호프 신경 셀(Kirchhoff Neural Cell, KNC)**이라는 작은 빌딩 블록을 만들었습니다. 이 셀을 작은 전기 탱크라고 상상해 보십시오. 여기에는 에너지가 일부 빠져나가는 "누설(leak)"이 있고, 에너지를 저장하는 "축전기(capacitor)"가 있으며, 새로운 에너지를 들이붓는 "입력(input)"이 있습니다. 이러한 설정은 정보가 즉각적으로 도약하는 대신 시간에 따라 부드럽게 진화하도록 강제합니다.

진정한 마법은 이 셀들을 단일 블록 내부에 마치 물 양동이를 사슬처럼 연결하듯 직렬로 쌓을 때 일어납니다. 이 셀들을 연결하면 네트워크는 단순히 첫 단계의 업데이트를 수행하는 것이 아니라, 정보의 복잡하고 고차원적인 춤을 만들어냅니다. 논문은 이러한 "계단식(cascaded)" 접근 방식이 전통적인 방법보다 파도의 날카로운 가장자리나 유체의 갑작스러운 속도 변화와 같은 복잡한 패턴을 훨씬 더 잘 포착할 수 있다고 제안합니다.

연구팀은 이 아이디어를 세 가지 매우 다른 세계에서 테스트했습니다. 첫째, 그들은 네트워크가 열이 퍼지거나 물이 흐르는 것과 같이 물리적 현상을 설명하는 데 사용되는 수학 공식인 **편미분 방정식(PDEs)**을 풀도록 했습니다. 다르시 흐름(Darcy flow)(다공성 암석을 통과하는 물의 움직임)과 포아송 방정식(Poisson equation)(고전적인 물리 문제)을 포함한 테스트에서, CHONN은 단순히 정답을 추측하는 데 그치지 않고 다른 모델들이 흐릿하게 만드는 미세한 디테일과 날카로운 경계선을 보존했습니다. 이는 마치 흐릿한 사진과 모든 물결이 보이는 고해상도 이미지의 차이와 같았습니다.

다음으로, 그들은 이를 장기 예측에 도전시켰습니다. 그들은 네트워크에게 천수 방정식(Shallow Water equations)(쓰나미나 조수와 같은 현상) 및 나비에-스토크스 방정식(Navier-Stokes equations)(소용돌이치는 공기와 물의 복잡한 수학적 원리)의 미래를 예측하도록 했습니다. 여기서 네트워크는 한 번에 한 단계씩, 미래 40단계를 예측해야 했습니다. 전통적인 모델은 종종 지치고 실수가 누적되어 예측이 통제 불능 상태로 치닫는 실수를 범합니다. 하지만 회로에서 영감을 받은 안정성을 갖춘 CHONN은 침착함을 유지했습니다. 더 멀리 내다볼 때도 실수를 적게 저질렀으며, 이는 그 내부의 "회로"가 게임의 규칙을 더 잘 기억하고 있음을 시사합니다.

마지막으로, 그들은 ImageNet-1K라는 어려운 과제를 던졌습니다. 이는 컴퓨터가 사물을 인식하도록 가르치는 데 사용되는 방대한 일상 사진 데이터셋입니다. 비록 사진이 물이나 바람과 같은 물리 방정식을 가지고 있지는 않지만, CHON ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! !