Separable neural architectures as a primitive for unified predictive and generative intelligence

Each language version is independently generated for its own context, not a direct translation.

이 논문은 인공지능 (AI) 의 새로운 '레고 블록'을 소개합니다. 바로 **분리 가능한 신경 아키텍처 (SNA, Separable Neural Architecture)**입니다.

기존의 AI 모델들은 거대한 덩어리 (Monolithic) 로 만들어져 복잡한 일을 처리하지만, 마치 거대한 돌덩이를 다듬어 조각하는 것처럼 비효율적이고 무거웠습니다. 반면, 이 논문이 제안하는 SNA 는 복잡한 현상을 작은 부품 (원자) 들로 나누어 조립하는 방식입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.

1. 핵심 아이디어: "거대한 벽돌 vs. 레고 블록"

기존 AI (거대한 벽돌):
기존의 AI 는 마치 거대한 돌벽을 쌓는 것과 같습니다. 벽돌 하나하나가 커서 무겁고, 벽을 조금만 수정하려면 전체를 다시 쌓아야 할 수도 있습니다. 물리 법칙이나 언어 같은 복잡한 규칙을 암기하듯 학습하지만, 그 규칙이 어떻게 작동하는지 '이해'하지는 못합니다.
새로운 AI (SNA, 레고 블록):
이 논문이 제안하는 SNA 는 레고 블록과 같습니다. 복잡한 구조를 작은 블록 (원자, Atom) 들로 쪼개고, 그 블록들을 어떻게 연결할지 (상호작용) 만 정하면 됩니다.
- 장점: 블록이 작고 가벼워서 학습이 빠르고, 필요한 부분만 교체하거나 다시 조립하기 쉽습니다.
- 핵심: 세상의 많은 현상 (날씨, 언어, 금속 구조 등) 은 겉보기엔 복잡해 보이지만, 사실은 몇 가지 기본 요소들이 조합된 '분리 가능한 구조'를 가지고 있습니다. SNA 는 이 구조를 찾아내어 효율적으로 학습합니다.

2. SNA 가 해결하는 3 가지 주요 문제 (실제 사례)

이 논문은 SNA 가 네 가지 다른 분야에서 어떻게 작동하는지 보여줍니다.

① "예측과 역발상의 마법사" (KHRONOS)

상황: 금속을 녹여 3D 프린팅할 때, 열의 흐름을 알면 금속의 강도가 어떻게 변할지 예측할 수 있습니다. 하지만 반대로 "강도가 이 정도가 되게 하려면 열을 어떻게 흘려야 할까?"라고 역으로 물어보면 기존 AI 는 답을 못 합니다.
SNA 의 해결: KHRONOS 라는 모델은 SNA 를 이용해 매우 얇고 가벼운 지도를 그립니다.
- 비유: 기존 AI 가 거대한 도서관에서 책을 하나하나 찾아보는 반면, KHRONOS 는 책의 목차를 보고 바로 페이지를 찾아갑니다.
- 결과: 강도를 예측하는 것은 물론, 원하는 강도를 만들기 위한 열의 흐름 (역방향) 을 수십 밀리초 만에 찾아냅니다. 파라미터 수가 기존 모델보다 1 만 분의 1 수준으로 줄었습니다.

② "수학으로 물리 법칙을 배우는 학생" (VSNA)

상황: 유체 역학이나 열 전달 같은 복잡한 물리 방정식 (PDE) 을 풀려면 컴퓨터가 엄청난 계산을 해야 합니다.
SNA 의 해결: SNA 를 '시험지 풀이 공간'처럼 사용합니다.
- 비유: 기존 방법은 방 전체의 모든 점을 하나하나 계산하는 반면, SNA 는 방의 '흐름'과 '패턴'을 파악하여 전체를 한 번에 설명합니다.
- 결과: 6 차원이라는 엄청난 복잡도를 가진 물리 현상을, 기존 방법보다 훨씬 적은 계산량으로 정확하게 시뮬레이션할 수 있습니다.

③ "마이크로 구조를 디자인하는 건축가" (Janus)

상황: 가볍고 튼튼한 신소재 (메타물질) 를 만들려면, 미세한 구조를 설계해야 합니다. 하지만 원하는 성질을 가진 구조를 찾아내는 것은 매우 어렵습니다.
SNA 의 해결: Janus 는 SNA 를 이용해 원하는 성질을 입력하면, 그에 맞는 미세 구조를 자동으로 만들어냅니다.
- 비유: "이 다리는 왼쪽은 단단하고 오른쪽은 유연해야 해"라고 말하면, Janus 는 그 요구사항에 맞춰 내부 구조를 자동으로 설계해 줍니다.
- 결과: 기존 방식보다 훨씬 빠르고 정확하게, 물리 법칙을 위반하지 않는 이상적인 구조를 찾아냅니다.

④ "혼돈을 언어로 번역하는 통역사" (Leviathan)

상황: 난기류 (Turbulence) 나 날씨 같은 '카오스' 현상은 예측하기 매우 어렵습니다. 아주 작은 오차가 시간이 지나면 큰 차이로 벌어지기 때문입니다. 기존 AI 는 이런 현상을 예측하다 보면 결국 엉뚱한 방향으로 치우쳐 버립니다 (비물리적인 drift).
SNA 의 해결: Leviathan 은 난기류를 언어처럼 다룹니다.
- 비유: 기존 AI 는 "다음 단어는 A 일 것이다"라고 딱 정해놓고 예측하다가 틀리면 끝장입니다. 하지만 Leviathan 은 "다음 단어는 A, B, C 일 확률이 각각 이렇게 있다"라고 확률 분포로 예측합니다.
- 핵심: SNA 는 물리 상태의 '이웃 관계'를 보존합니다. 즉, 물리적으로 비슷한 상태는 AI 내부에서도 서로 가깝게 배치됩니다. 덕분에 장기 예측에서도 현실적인 흐름을 유지하며, 엉뚱한 방향으로 사라지지 않습니다.

3. 요약: 왜 이것이 중요한가?

이 논문의 결론은 매우 명확합니다.

"인공지능은 거대한 덩어리로 만드는 것이 아니라, 세상의 구조 (분리 가능성) 를 이해하고 작은 부품으로 조립할 때 가장 강력해진다."

효율성: 적은 계산량으로 더 정확한 결과를 냅니다.
유연성: 예측 (미래를 알기) 과 생성 (원하는 것을 만들기) 을 동시에 잘합니다.
신뢰성: 물리 법칙을 위반하지 않는 현실적인 결과를 제공합니다.

결국 이 기술은 AI 가 단순히 데이터를 외우는 것을 넘어, 세상의 이치 (물리, 언어, 구조) 를 이해하고 활용하는 진정한 지능으로 나아가는 중요한 첫걸음이 될 것입니다.

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem)

단일화 아키텍처의 한계: 트랜스포머 (Transformer) 나 합성곱 신경망 (CNN) 과 같은 기존 모델은 강력하지만, 시스템의 내재된 분해 가능한 구조를 명시적으로 활용하지 않아 비효율적이거나 물리 법칙을 위반할 수 있습니다.
분리 가능성의 오해: 분리 가능성은 시스템 자체의 속성이 아니라, 시스템을 표현하는 **좌표계 (coordinates) 또는 표현 (representations)**에 의해 발현되는 경우가 많습니다.
예측과 생성의 불일치:
- 물리 시스템: 카오스적인 시공간 역학에서는 결정론적 점별 (pointwise) 예측이 장기적으로 비물리적인 드리프트 (drift) 를 유발합니다. 확률적 (distributional) 모델링이 필요합니다.
- 언어 모델: 언어 생성은 autoregressive(자기회귀) 방식이지만, 물리 상태의 연속성과는 다른 이산적 토큰 처리 방식을 사용합니다.
고차원 문제: 고차원 PDE(편미분방정식) 해법이나 역문제 (inverse problem) 해결 시 차원의 저주 (curse of dimensionality) 와 계산 비용이 큰 문제가 됩니다.

2. 방법론 (Methodology)

A. 분리 가능한 신경 아키텍처 (SNA) 의 정의

SNA 는 고차원 매핑을 저차원 학습 가능 구성 요소인 **'원자 (atoms)'**와 **상호작용 객체 (interaction object)**로 분해하여 정의합니다.

수식적 표현: 상호작용 차수 $k$ 와 텐서 랭크 $r$ 을 제어하여 표현력을 조절합니다.
$f(x) = \rho \left( \sum_{j=1}^r c^{(j)} \prod_{i=1}^d \psi^{(j)}_i(x_i) \right)$
여기서 $\psi$ 는 1 차원 서브-원자 (예: B-스플라인), $c$ 는 가중치, $\rho$ 는 활성화 함수입니다.
포괄성: 일반화된 가법 모델 (GAM), 2 차 모델, 텐서 분해 (CP, Tucker 등) 모델을 하나의 형식주의로 통합합니다.
수학적 보장: CP 분해 기반 SNA 는 유니폼 노름 (infinity norm) 에 대해 밀집 (dense) 성을 가지며, 임의의 연속 함수를 근사할 수 있음을 수학적으로 증명합니다.

B. 주요 응용 모델 (4 가지 도메인)

논문은 SNA 를 다양한 형태로 적용하여 검증했습니다.

KHRONOS (자율 예측 및 역문제 해결):
- 역할: 독립적인 모델로 작동.
- 특징: 입력 공간에 대한 매끄러운 (smooth) 분리 가능한 보간 함수를 생성. 수백 개의 파라미터만으로도 높은 정확도를 달성하며, 역방향 (generative inversion) 추론이 용이함.
- 적용: Inconel 718 합금의 열 이력 (thermal history) 에서 기계적 특성 (항복 강도, 인장 강도) 예측 및 역으로 열 이력 복원.
VSNA (변분 학습, Variational SNA):
- 역할: PDE 해를 위한 Galerkin 시험 공간 (trial space) 으로 사용.
- 특징: 데이터가 아닌 지배 연산자 (governing operator) 에서 직접 학습. 고차원 시공간 - 매개변수 (spatiotemporal-parametric) 필드를 단일 글로벌 표현으로 학습.
- 적용: 6 차원 대류 - 확산 (advection-diffusion) PDE 해결.
Janus (생성적 역문제, Generative Inversion):
- 역할: 복합 학습 시스템의 구성 모듈.
- 특징: 다중 스케일 메타물질의 역동질화 (inverse homogenization) 문제 해결. SNA 헤드를 사용하여 잠재 공간 (latent space) 에서 물성치를 예측하고, 이를 역으로 미세 구조를 생성.
- 적용: 캔틸레버 빔의 목표 강도 분포에 맞는 3D 메타물질 생성.
Leviathan (확률적 시퀀스 모델링):
- 역할: 복합 학습 시스템 (SNA + Transformer).
- 특징: 난류 (turbulence) 와 같은 카오스 시스템을 언어 생성과 구조적으로 유사하게 취급. 분리 가능한 임베딩을 통해 물리 상태의 이웃 관계를 보존하는 연속 토큰 임베딩을 생성.
- 적용: 2 차원 비압축성 난류의 장기 예측. 결정론적 오퍼레이터의 '비물리적 드리프트'를 방지하고 확률적 분포를 학습.

3. 주요 결과 (Key Results)

KHRONOS (재료 과학):
- 기존 CNN 기반 모델 (수백만~~천만 파라미터) 대비 **4~~5 차수 적은 파라미터 (최대 240 개)**로 동등하거나 더 높은 정확도 ( $R^2 \approx 0.76$ ) 달성.
- 역문제 (역방향 생성) 수행 시, CPU 환경에서 50ms 이내로 수백 개의 가능한 열 이력 시나리오를 생성.
VSNA (수치 해석):
- 6 차원 PDE 문제에서 기존 FEM(유한요소법) 대비 수천 배 적은 파라미터로 동일한 오차 수준 달성.
- 파라미터 수와 오차 간의 효율적 프론티어 (efficient frontier) 를 보이며, 차원의 저주를 극복함.
Janus (메타물질 설계):
- 목표 강도 분포를 가진 메타물질 생성 시, FFT 검증된 강도 오차가 평균 0.1% 수준으로 매우 정밀함.
- 기존 MLP 대비 역문제 해결 시 42~441% 향상된 성능을 보임.
Leviathan (난류 모델링):
- 장기 예측 안정성: 20 스텝 이상의 autoregressive rollout 시, 기존 결정론적 모델 (DeepONet, FNO 등) 은 비물리적 평균 상태 (mean state) 로 붕괴되지만, Leviathan 은 난류의 heavy-tailed 분포와 와류 (vortex) 구조를 유지.
- 임베딩 구조: Leviathan 의 임베딩 공간은 저차원 매니폴드 (85% 분산 설명) 를 형성하는 반면, 일반 트랜스포머는 등방성 구름 (isotropic cloud) 형태를 보여 물리 구조를 포착하지 못함.
- 언어 모델링 (Pile 데이터셋) 에서도 파라미터 대비 성능이 우수함을 입증.

4. 기여 및 의의 (Significance)

통일된 프레임워크: SNA 는 예측 (predictive) 과 생성 (generative), 그리고 변분 (variational) 학습을 하나의 수학적 원리로 통합합니다.
도메인 중립성 (Domain-Agnostic): 물리 법칙 (난류, 열전달), 재료 설계, 자율 주행, 언어 모델링 등 이질적인 도메인에서 동일한 아키텍처 원리가 유효함을 입증했습니다.
물리 인식 (Physics-Aware) 인덕티브 바이어스:
- 분리 가능성 (Separability) 이 시스템의 좌표 표현에 내재되어 있음을 강조합니다.
- 특히 Leviathan 을 통해, 카오스 시스템의 예측을 '확률적 시퀀스 모델링'으로 접근할 때 **이웃 관계 보존 (neighbourhood preservation)**이 결정적임을 보였습니다. 이는 기존 언어 모델의 이산적 토큰화 방식의 한계를 지적하고, 물리 기반 토큰화의 필요성을 제기합니다.
효율성과 해석 가능성:
- 극도로 적은 파라미터로 고차원 문제를 해결하며, 역문제 해결 시 해석적 미분 (analytic derivatives) 이 가능하여 최적화가 용이합니다.
- 복합 아키텍처 (SNA + Transformer 등) 를 통해 계산 효율성과 구조적 충실도 (structural fidelity) 를 동시에 확보했습니다.

결론

이 논문은 **분리 가능한 신경 아키텍처 (SNA)**가 단순한 모델링 기법을 넘어, 물리 법칙과 데이터 기반 학습을 연결하는 **근본적인 원시적 요소 (primitive)**임을 증명합니다. 이는 고차원, 카오스적, 그리고 생성적 문제를 해결하는 데 있어 단일화 (monolithic) 된 모델의 한계를 극복하고, 구조적 인덕티브 바이어스를 통해 더 효율적이고 물리적으로 타당한 지능 시스템을 구축할 수 있는 새로운 패러다임을 제시합니다.