GoodRegressor: A Hierarchical Inductive Bias for Navigating High-Dimensional Compositional Space

이 논문은 고차원 조성 공간에서 물리적 통찰력을 유지하면서도 최첨단 블랙박스 모델과 견줄 만한 예측 성능을 달성하기 위해, 계층적 인덕티브 바이어스와 깊이 제어를 기반으로 한 새로운 심볼릭 회귀 프레임워크 'GoodRegressor'를 제안합니다.

핵심

1. 문제 상황: "흑상자" vs "투명한 유리상자"

과학자들은 새로운 배터리나 초전도체를 만들 때, 수많은 원소들을 섞어보며 실험합니다. 이때 AI 를 쓰면 예측 속도가 빨라지지만, 두 가지 큰 문제가 있습니다.

• 흑상자 (Black-box) AI: (예: 딥러닝) 정답은 아주 잘 맞지만, "왜 이걸 정답으로 봤는지" 전혀 설명해 주지 않습니다. 마치 마법처럼 결과가 나오는데, 그 비법을 알려주지 않는다면 과학자들은 그 결과를 신뢰하거나 새로운 원리를 발견하기 어렵습니다.
• 유리상자 (White-box) AI: (예: 기존 단순 모델) "왜" 그런 결과가 나왔는지 식으로 설명해 주지만, 정확도가 낮습니다. 복잡한 과학 현상은 단순한 공식으로 설명할 수 없기 때문입니다.

핵심 질문: "정확도도 높으면서, 동시에 그 이유도 설명해 주는 AI 는 없을까?"

2. 해결책: "GoodRegressor" (좋은 회귀 모델)

이 논문이 제안한 GoodRegressor는 **"레고 블록을 쌓아 올리는 방식"**으로 문제를 해결합니다.

🧱 비유: 레고로 복잡한 구조물 만들기

상상해 보세요. 과학적 현상은 레고 블록 (원소들의 특성) 들이 서로 얽혀서 만들어낸 복잡한 구조물입니다.

1. 단순한 접근 (기존 모델): 레고 블록을 그냥 나열하거나, 아주 단순하게 쌓기만 합니다. (정확도 부족)
2. 무작위 접근 (기존 AI): 레고 블록을 무작위로 던져서 맞추는 식입니다. (정답은 맞을지 모르지만, 왜 맞았는지 모름)
3. GoodRegressor 의 접근:
   • 계층적 쌓기 (Hierarchical): 먼저 기본 블록을 쌓고, 그 위에 더 작은 블록을 얹고, 다시 그 위에 복잡한 장식을 올리는 식으로 단계별로 (Depth) 구조를 만듭니다.
   • 규칙적인 탐색: 무작위로 던지는 게 아니라, **"사전순 (Lexicographic)"**으로 정해진 규칙에 따라 모든 가능한 조합을 체계적으로 찾아봅니다.
   • 적당한 깊이 찾기: 너무 얕게 쌓으면 복잡한 현상을 못 잡지만, 너무 깊게 쌓으면 오히려 소음까지 포함해서 엉뚱한 결론을 냅니다. GoodRegressor 는 **"이 시스템에 딱 맞는 최적의 깊이"**를 찾아냅니다.

3. 주요 발견: "적당한 깊이"가 다릅니다

이 모델은 세 가지 다른 소재 (산소 이온 전도체, NASICON, 초전도체) 를 테스트했는데, 놀라운 사실을 발견했습니다.

• 소재마다 '최적의 깊이'가 다릅니다:
  • 어떤 소재는 얕은 층만 쌓아도 정답이 나옵니다. (단순한 구조)
  • 어떤 소재는 중간 깊이에서 가장 잘 작동합니다.
  • 어떤 소재는 깊고 복잡한 층을 쌓아야만 정답이 나옵니다. (매우 복잡한 상호작용)
• 의미: 이는 마치 **"각 과학 현상마다 고유한 '난이도'와 '구조'가 있다"**는 것을 의미합니다. GoodRegressor 는 이 난이도를 자동으로 감지해서, 그 시스템에 맞는 가장 적절한 복잡도로 모델을 만듭니다.

4. 왜 이것이 중요한가요? (실제 효과)

이 모델은 기존의 유명한 AI 들 (랜덤 포레스트, XGBoost 등) 보다 정확도도 더 높거나 비슷하면서, 동시에 **사람이 읽을 수 있는 수식 (공식)**을 뽑아냅니다.

• 예시: "산소 이온이 잘 이동하려면, 원자 사이의 거리가 이 정도고, 전하의 불균형이 이 정도일 때 가장 좋다"라는 구체적인 물리 법칙을 찾아냈습니다.
• 결과: 과학자들은 AI 가 찾아낸 공식을 보고, **"아, 그래서 이 소재가 좋은 거구나!"**라고 이해하고, 더 좋은 새로운 소재를 설계할 수 있게 됩니다.

5. 결론: AI 는 이제 '예측'을 넘어 '이해'를 돕는다

이 논문은 **"인공지능은 단순히 정답을 맞추는 도구가 아니라, 자연의 복잡한 법칙을 해독하는 열쇠가 되어야 한다"**는 메시지를 전달합니다.

한 줄 요약:

GoodRegressor는 복잡한 과학 현상을 분석할 때, **"너무 단순하지도, 너무 복잡하지도 않은 딱 맞는 깊이"**로 레고 블록을 쌓아, 정확한 예측과 함께 그 이유를 설명해 주는 새로운 과학용 AI 입니다.

이 기술이 발전하면, 우리가 아직 발견하지 못한 새로운 배터리나 초전도체를 AI 가 "이런 원리로 만들면 됩니다"라고 제안해 줄 날이 곧 올 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 해석 가능성과 성능의 트레이드오프: 과학적 머신러닝 (Scientific AI) 은 종종 예측 성능을 희생하여 구조적 투명성 (해석 가능성) 을 얻거나, 그 반대의 상황에 직면합니다.
  • 블랙박스 모델 (Black-box): 신경망, 랜덤 포레스트 등은 높은 예측 정확도를 보이지만, 물리적 통찰력을 제공하는 명시적 함수 형태를 제공하지 않아 내부 메커니즘이 불투명합니다.
  • 화이트박스 모델 (White-box): 선형 모델이나 기존 심볼릭 회귀 (Symbolic Regression) 는 해석이 가능하지만, descriptors(기술자) 간의 심층적인 비선형 상호작용 (entanglement) 을 포착하기에는 구조적 가정이 너무 제한적입니다.
• 고차원 조합 공간의 탐색 난제: 재료 과학 등 많은 과학 시스템은 고차원적인 조성 (composition) 상호작용에 의해 지배됩니다. 기술자 간의 계층적 비선형 상호작용을 허용하면 모델의 표현력이 높아지지만, 탐색 가능한 조합 공간이 기하급수적으로 증가하여 (실제 사례에서 약 $10^{457}$개 구조까지 도달) 계산적으로 처리하기 어려워집니다.
• 핵심 문제: 거대한 조합 공간 내에서 어떻게 명시적인 구조적 편향 (inductive bias) 을 적용하여 계산적 제약 조건 하에서 탐색 가능한 방식으로 물리적 통찰력을 유지하며 최적의 모델을 찾을 것인가?

2. 제안 방법론: GoodRegressor (Methodology)

저자는 GoodRegressor라는 새로운 계층적 심볼릭 회귀 프레임워크를 제안합니다. 이는 명시적인 깊이 제어 (depth control) 를 가진 계층적 귀납 편향 (hierarchical inductive bias) 을 설계 원칙으로 삼습니다.

• 계층적 깊이 제어 (Hierarchical Depth Control):
  • 상호작용 깊이 (interaction depth) 를 명시적인 구조적 축으로 정의합니다. 이는 신경망의 층 (layer) 깊이와 유사하게 작용하며, 기술자들이 얼마나 복잡하게 얽혀 있는지를 통제합니다.
  • 사전적 순서 확장 (Lexicographically-ordered expansion): 무작위 돌연변이 (stochastic mutation) 에 의존하는 기존 방법 (PySR, $\Phi$-SO 등) 과 달리, GoodRegressor 는 기술자 상호작용을 체계적이고 사전적 순서로 정렬된 다단계 구성을 통해 생성합니다.
• 알고리즘 워크플로우:
  1. Run-through (Jungle): CPU 코어에 분산하여 사전적 순서로 조합을 샘플링합니다. 각 코어는 유효한 통계적 조건 (F-test, t-test) 을 만족하는 최선의 모델을 찾습니다.
  2. Swap: 가장 유의미하지 않은 변수를 제거하고 비활성 변수로 교체하여 국소 최적화를 수행합니다.
  3. Transit: 활성 변수에 스칼라 변환 (로그, 지수, 삼각함수 등 109 가지 변환) 을 적용하여 비선형 효과를 포착합니다.
  4. Pick: 가장 좋은 모델을 선택한 후, 활성 변수 수를 하나 줄이되 ($n_t \to n_t-1$), 기존 기술자, 상호작용 항, 변환된 항의 합집합으로 구성된 확장된 후보 풀에서 다시 탐색합니다. 이를 통해 변수 수는 줄지만 표현력은 증가하는 심볼릭 계층이 형성됩니다.
  5. Bagging: 다양한 데이터 분할로 위 과정을 반복하여 앙상블 모델을 생성하고, 이를 적층 (stacking) 하여 최종 합의 모델 (consensus model) 을 도출합니다. 이는 과적합을 방지하고 재현성을 높입니다.

3. 주요 기여 (Key Contributions)

• 명시적 깊이 제어의 도입: 심볼릭 회귀에서 '상호작용 깊이'를 단순한 하이퍼파라미터가 아닌, 과학적 가설 생성의 구조적 문법 (structural grammar) 으로 재정의했습니다.
• 계산적 실용성 확보: $10^{457}$에 달하는 이론적 탐색 공간을 사전적 순서 분산 탐색과 깊이 제한을 통해 현실적인 계산 자원 내에서 탐색 가능하게 만들었습니다.
• 상호작용 깊이의 진화적 분석: 단순히 최적 모델을 찾는 것을 넘어, 시스템마다 다른 '최적의 상호작용 깊이 창 (optimal interaction depth window)'이 존재함을 발견했습니다. 이는 데이터셋의 계층적 복잡성을 진단하는 지표가 됩니다.

4. 실험 결과 (Results)

논문은 세 가지 고복잡도 재료 시스템 (산소 이온 전도체, NASICON, 초전도 산화물) 을 테스트베드로 사용하여 성능을 검증했습니다.

• 예측 성능:
  • 산소 이온 전도체 ($E_a$, $A$): GoodRegressor 는 Ridge, XGBoost, LightGBM 등 최첨단 블랙박스 모델보다 높은 $R^2$ (0.726) 을 기록하며, 기존 심볼릭 회귀 (SISSO, PySR 등) 는 계산 자원 부족이나 성능 저하로 실패한 경우에서도 우수한 성능을 보였습니다.
  • NASICON (Na-ion 전도도): $R^2$ 0.862 로 최상의 성능을 보였으며, 기존 심볼릭 방법 (PySR) 과 유사한 성능을 내는 것으로 보아 이 시스템은 상대적으로 얽힘이 적은 구조임을 시사합니다.
  • 초전도 산화물 ($T_c$): 블랙박스 모델과 동등한 성능 ($R^2$ 0.536) 을 내면서 명시적 함수 형태를 유지했습니다.
• 상호작용 깊이의 비단조적 행동 (Non-monotonic Behavior):
  • 모든 시스템에서 예측 성능은 상호작용 깊이가 증가함에 따라 단순히 좋아지는 것이 아니라, 특정 깊이 구간에서 최적화되었다가 과도한 복잡성으로 인해 다시 떨어지는 비단조적 (non-monotonic) 패턴을 보였습니다.
  • 시스템별 특징:
    • 산소 이온 전도체: 깊이에 매우 민감하며, 좁은 최적 창 ($n_t < 20$) 을 가짐 (강한 계층적 얽힘).
    • NASICON: 깊이에 둔감하며, 넓은 최적 영역을 가짐 (약한 기술자 결합).
    • 초전도 산화물: 넓은 최적 피크를 보이며, 상호작용을 제거하면 성능이 크게 저하됨 (강하지만 부분적으로 중복된 얽힘).
• 재현성 및 물리적 통찰:
  • 앙상블 모델은 높은 재현성 ($r=0.980$) 을 보였으며, 새로운 재료 (예: La-Si-Al-O apatite, Zr-free NASICON, Hg/Ag 치환 초전도체) 를 성공적으로 예측하여 실험적 검증 가능성을 제시했습니다.

5. 의의 및 결론 (Significance)

• 해석 가능한 AI 의 새로운 설계 원칙: GoodRegressor 는 "해석 가능성"과 "고차원 복잡성"을 동시에 해결할 수 있는 프레임워크를 제시합니다. 이는 단순한 알고리즘 경쟁을 넘어, 귀납 편향 (inductive bias) 의 설계가 과학적 AI 의 핵심임을 보여줍니다.
• 과학적 데이터의 구조적 진단 도구: '상호작용 깊이'는 모델 선택을 위한 하이퍼파라미터를 넘어, 과학 시스템의 계층적 복잡성이 어떻게 조직화되어 있는지를 진단하는 구조적 프로브 (structural probe) 역할을 합니다.
• 영향: 이 연구는 재료 과학뿐만 아니라 화학, 생물학 등 복잡한 물리 현상을 다루는 모든 분야에서, 블랙박스 모델의 예측력과 화이트박스 모델의 해석력을 통합하는 새로운 패러다임을 제시합니다.

요약하자면, 이 논문은 GoodRegressor를 통해 고차원 조합 공간에서 계층적 깊이 제어를 적용함으로써, 블랙박스 모델에 버금가는 예측 성능을 유지하면서도 물리적 메커니즘을 명확히 설명할 수 있는 해석 가능한 과학적 AI를 실현했습니다.