로봇에게 유리잔 속의 잉크 방울이 어떻게 퍼지는지, 또는 금속 막대를 통해 열이 어떻게 전달되는지를 예측하도록 가르치려 한다고 상상해 보십시오. 과학과 공학의 세계에서 이러한 움직임은 "물리 방정식"이라 불리는 복잡한 수학적 규칙에 의해 지배됩니다. 수십 년 동안 과학자들은 이 방정식을 풀기 위해 강력한 컴퓨터를 사용해 왔지만, 이는 마치 거대한 헤드폰 줄의 매듭을 푸는 것과 같았습니다. 느리고, 어렵고, 중간에 걸리기 일쑤였죠. 최근에는 이러한 퍼즐을 풀기 위해 "신경망(Neural Network)"이라는 새로운 종류의 "스마트 로봇"이 도입되었습니다. 이 네트워크는 예시를 보고 배우는 매우 똑똑한 학생과 같습니다. 하지만 이 학생들이 물리학을 배우려고 할 때, 종종 기묘한 벽에 부딪히곤 합니다. 그들은 시작점(예: 시간 0에서의 잉크 방울)이나 가장자리(유리잔의 가장자리)에 대한 규칙은 잘 암기할 수 있지만, 그 중간에서 어떤 일이 일어나는지는 완전히 파악하지 못합니다. 이는 마치 학생이 시험의 첫 번째 질문에 대한 답은 알고 있지만, 그 사이의 내용은 모두 잊어버려 중간 페이지를 백지로 남겨두거나 엉뚱한 내용으로 채워버리는 것과 같습니다. 과학자들은 이 좌절스러운 현상을 "전파 실패(propagation failure)"라고 부릅니다.

"ProPINN: 물리 정보 신경망(PINNs)의 전파 실패 규명"이라는 제목의 이 새로운 논문은 왜 이런 일이 발생하는지 깊이 파고들며 영리한 해결책을 제시합니다. 연구진인 칭화 대학교 연구원들은 문제가 단순히 로봇이 무언가를 "잊어버리는" 것이 아니라, 로봇이 어떻게 만들어졌느냐에 있다는 것을 깨달았습니다. 그들은 표준적인 설계가 시뮬레이션의 모든 지점을 각각 고립된 섬처럼 취급한다는 사실을 발견했습니다. 모든 학생이 거대한 퍼즐의 한 조각을 들고 각자 작업하고 있지만, 서로 대화하는 것은 금지된 교실을 상到해 보십시오. 설령 가장자리에 있는 학생이 그림의 정답을 알고 있더라도, 연결 고리가 없기 때문에 중간에 있는 학생에게 무엇을 해야 할지 알려줄 수 없습니다. 논문은 이러한 "이웃 간의 대화" 부족이 학습을 실패하게 만든다는 것을 증명합니다. 이를 해결하기 위해 그들은 ProPINN이라는 새로운 구조를 발명했습니다. 지점들을 고립된 섬으로 취하는 대신, ProPINN은 지점들을 이웃 그룹으로 묶고, 결정을 내리기 전에 그들이 "생각"(수학적으로는 그래디언트/경사값)을 공유하도록 강제합니다. 이 단순한 변화는 정보의 초고속도로 역할을 하여, 올바른 솔루션이 가장자리로부터 중심부까지 매끄럽게 흐를 수 있게 합니다. 테스트 결과, 이 새로운 방법은 단순히 실패를 해결하는 데 그치지 않고, 이전의 최고 방법들보다 46% 더 높은 정확도로 복잡한 물리 문제를 해결했습니다. 그러면서도 더 빠르게 실행되고 더 적은 컴퓨터 자원을 사용했습니다.

갇힌 학생 이야기

ProPINN의 마법을 이해하려면 먼저 "갇힌 학생" 문제를 살펴봐야 합니다. 물리 방정식을 푸는 세계에는 컴퓨터를 가르치는 두 가지 주요 방법이 있습니다. 수년 동안 사용된 오래된 방식은 지도 위에 격자를 그리고 모든 칸에 대한 답을 하나씩 계산하는 것과 같습니다. 신뢰할 수 있지만 느립니다. 새로운 방식은 **물리 정보 신경으로 네트워크(PINNs)**를 사용합니다. PINN을 데이터뿐만 아니라 물리 법칙 자체를 통해 학습하는 신경망(AI의 한 종류)이라고 생각하십시오. 당신은 AI에게 "너는 이 규칙들을 따라야 해"라고 말하고, AI는 솔루션을 추측하려고 노력합니다.

문제는 AI가 오직 시작 시점(초기 조건)과 가장자리(경계 조건)에서만 정답을 직접 전달받는다는 점 때문에 발생합니다. 나머지 공간, 즉 광활한 내부 영역에 대해서는 AI가 오직 물리 법칙만을 사용하여 스스로 답을 찾아내야 합니다. 논문은 표준적인 설정에서 AI가 내부 공간의 모든 지점을 별개의 고립된 학생처럼 취급한다고 주장합니다. AI가 한 지점을 바탕으로 자신의 "두뇌"(매개변수)를 업데이트할 때, 그것은 이웃 지점들에게 실질적인 도움이 되지 않습니다. 이는 만약 당신이 숫자 5에 대한 수학적 기술을 배웠는데, 그 지식이 숫자 6을 이해하는 데 전혀 도움이 되지 않는 것과 같습니다. 지점들이 너무 고립되어 있기 때문에, 가장자리로부터 오는 "올바른" 정보가 중간까지 도달하지 못합니다. AI는 국소적인 함정에 빠지게 되며, 비록 틀린 답일지라도 규칙을 만족시키는 가장 쉬운 방법인 '모든 곳에서 답이 0'이라고 추측하며 멈춰버리곤 합니다.

연결의 "강성(Stiffness)"

논문의 저자들은 왜 이러한 고립이 발생하는지 조사하기로 했습니다. 그들은 **유한 요소법(Finite Element Method, FEM)**이라는 오래되고 신뢰받는 방법을 살펴보았습니다. FEM에서는 컴퓨터가 문제를 연결된 삼각형이나 사각형의 메쉬(mesh)로 나눕니다. 핵심적인 차이점은 FEM에서 한 지점의 값은 수학적으로 이웃과 연결되어 있다는 것입니다. 한 지점을 밀면 이웃들도 즉시 그 영향을 받습니다. 이는 마치 연결된 스프링 웹과 같아서, 하나를 당기면 전체 웹이 흔들리는 것과 같습니다.

연구진은 질문했습니다. "왜 신경망에는 이런 스프링 같은 연결이 없는가?" 그들은 표준적인 PINN에서 인접한 지점 사이의 연결이 믿기 힘들 정도로 약하다는 것을 증명했습니다. 그들은 이 연결을 측정하는 새로운 방법인 **그래디언트 상관관계(gradient correlation)**를 도입했습니다. "그래디언트"를 AI가 더 나은 답을 얻기 위해 자신의 두뇌를 움직이고자 하는 방향이라고 상상해 보십시오. 만약 두 이웃의 그래디언트가 같은 방향을 가리킨다면, 그들은 "상관관계"가 있으며 협력하고 있는 것입니다. 만약 서로 반대 방향을 가리킨다면, 그들은 서로 싸우고 있는 것입니다.

논문은 놀라운 사실을 증명합니다. 표준적인 PINN에서 인접한 지점들의 그래디언트는 마치 서로 직교(90도 각도)하는 것처럼 완전히 다른 방향을 가리키는 경우가 많습니다. 이는 바로 옆에 있는 지점들에 대해 AI가 동시에 두 가지 상충하는 것을 배우려고 노력하고 있음을 의미합니다. 이러한 의견 불일치가 바로 "전파 실패"의 근본 원인입니다. 올바른 경계로부터 오는 정보는 중간 경로가 상충하는 신호들의 혼란스러운 덩어리로 인해 차단됩니다.

ProPINN의 솔루션: 이웃 감시단

그렇다면 이웃과 대화하지 않는 학생을 어떻게 고칠 수 있을까요? 단순히 더 열심히 대화하라고 말하는 것이 아니라, 교실의 구조를 바꿔야 합니다. 저자들은 이웃들이 서로 협력하도록 강제하도록 설계된 새로운 구조인 ProPINN을 제안합니다.

ProPINN이 어떻게 작동하는지 재미있는 비유를 들어 설명하겠습니다:
표준적인 PINN은 들판에 서서 각자 종이 한 장을 들고 있는 사람들의 집단과 같습니다. 그들은 퍼즐을 풀라는 명령을 받았지만, 자신의 종이만 볼 수 있습니다. 그들은 혼란스럽고 갇혀 있습니다.
ProPINN은 규칙을 바꿉니다. 퍼즐을 풀기 전에, 각 사람에게 "이웃 키트(neighborhood kit)"를 제공합니다.

1. 미분 섭동(Differential Perturbation): AI는 하나의 지점을 가져와서 여러 방향으로 약간씩 이동시킨 몇 개의 "유령(ghost)" 버전을 만듭니다 (마치 같은 지점을 약간 다른 각도에서 보는 것과 같습니다).
2. 공유 투영(Shared Projection): 이 모든 지점(원본과 유령들)은 공통된 언어로 변환하는 공유 "번역기"에 입력됩니다.
3. 다중 영역 혼합(Multi-Region Mixing): 이것이 마법 같은 단계입니다. AI는 원본 지점과 유령 지점의 정보를 가져와서 이들을 섞고 평균을 냅니다. 이는 이제 방 중간에 있는 학생이 결정을 내리기 전에 자신 주변의 모든 사람의 생각을 들을 수 있게 되는 것과 같습니다.

인접한 지점들의 그래디언트("생각")를 혼합함으로써, ProPINT는 AI가 단 하나의 지점에 대해서만 고립되어 학습하지 않도록 보장합니다. 대신 전체 영역에 대해 일관된 패턴을 학습합니다. 이는 이웃 사이에 강력한 "강성(stiffness)" 또는 연결을 만들어내며, 이는 마치 구형 FEM 방식의 스프링과 같습니다. 이제 경계로부터 오는 "올바른" 감독 정보가 혼합된 그래디언트를 통해 매끄럽게 흘러들어와, 길을 잃지 않고 내부까지 도달할 수 있습니다.

결과: 더 빠르고, 더 똑똑하며, 더 정확하게

이 논문은 단순히 이론만을 이야기하지 않습니다. 그들은 ProPINN을 가장 까다로운 물리 문제들에 대해 테스트했습니다. 그들은 다음과 같은 문제들을 테스트했습니다:

• 대류(Convection): 열이나 유체가 공간을 빠르게 가로질러 이동하는 시뮬레이션.
• 반응-확산(Reaction-Diffusion): 화학 물질이 어떻게 섞이고 반응하여 복잡한 패턴을 만드는지 모델링.
• 유체 역학(Fluid Dynamics): 실린더 주변의 소용돌이치는 혼돈스러운 공기의 움직임(유명한 카르만 와류 거리)과 토러스(도넛 모양) 내부의 물의 흐름 시뮬레이션.

이 테스트에서 표준적인 PINN은 종дя히 큰 오류를 내거나 잘못된 솔루션에 갇히는 등 처참하게 실패하는 경우가 많았습니다. 어텐션 메커니즘(언어 모델의 트랜스포머와 유사하게 지점들이 서로 대화하게 하는 고급 기술)을 사용하려는 고급 모델들조차 고전했습니다. 그들은 너무 느리고 때로는 불안정했습니다.

하지만 ProPINN은 빛을 발했습니다.

• 정확도: 두 번째로 우수한 모델과 비교했을 때 평균 **46%**의 오차를 줄였습니다. 1D-파동 방정식과 같은 특정 작업에서는 성능이 70% 이상 향상되었습니다.
• 속도: 영역을 혼합하느라 더 많은 작업을 수행함에도 불구하고, ProPINN은 트랜스포머 기반 모델보다 실제로는 2~3배 더 빨랐습니다. 이는 복잡한 계산이 필요한 무거운 어텐션 메커니즘 대신 단순하고 효율적인 혼합 레이어를 사용하기 때문입니다.
• 안정성: 다른 모델들이 멈추거나 "NaN(숫자가 아님)" 오류를 냈던 가장 혼란스러운 유체 시뮬레이션에서도 ProPINN은 매끄럽게 작동을 유지했습니다.

저자들은 또한 모델이 커짐에 따라 이 방법이 어떻게 작동하는지도 보여주었습니다. 표준적인 PINN은 층을 더 많이 쌓을수록(더 깊어질수록) 성능이 저하되는 경향이 있지만, ProPINN은 오히려 성능이 좋아져 효과적으로 확장될 수 있음을 보여주었습니다.

이것이 왜 중요한가

이 논문은 단순히 물리 문제를 풀기 위해 "다양한 기술을 시도하는 것"을 넘어선 중요한 의미를 갖습니다. 이 논문은 이러한 AI 모델들이 왜 실패하는지에 대한 근본적인 이유, 즉 이웃 간의 물리적 연결이 부족하다는 점을 식별해 냈습니다. 물리적 힘이 실제로 전달되는 방식(메쉬의 스프링처럼)을 모방하여 구조를 수정함으로써, ProPINN은 이러한 신경망의 진정한 잠재력을 끌어올립니다.

이는 때때로 스마트한 기계를 더 똑똑하게 만드는 최선의 방법이 더 크게 만들거나 더 많은 데이터를 주는 것이 아니라, 그것이 스스로와 어떻게 연결되는지를 바꾸는 것임을 상기시켜 줍니다. ProPINN은 이웃들이 서로의 짐을 나누도록 하는 단순한 변화만으로도, 전례 없는 속도와 정확도로 가장 복잡한 물리 방정식들을 해결할 수 있음을 보여줍니다. 더 나은 비행기를 설계하거나, 날씨 패턴을 예측하거나, 새로운 재료를 시뮬레이션하는 데 있어, 이 새로운 접근 방식은 과학적 컴퓨팅의 미래를 향한 신뢰할 수 있는 길을 제시합니다.