🤖 machine learning

Solver-Integrated Adversarial Attacking and Training of Neural Operators

이 논문은 일반화 및 강건성 지표를 재정의하는 솔버 통합형 뉴럴 오퍼레이터 프레임워크를 소개하고, 그에 상응하는 적대적 공격 및 학습 방법을 개발하며, 수치 솔버의 더 깊은 통합이 PDE 벤치마크에서 모델의 일반화 능력과 강건성을 모두 유의미하게 향상시킨다는 것을 입증한다.

원저자: Yifei Sun

게시일 2026-06-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yifei Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 거장을 모방하도록 학생을 가르치기

당신이 아주 똑똑하지만 경험이 부족한 학생(뉴럴 오퍼레이터, Neural Operator)에게 날씨를 예측하는 법을 가르치고 있다고 상상해 보세요. 당신에게는 날씨를 계산하는 데 완벽하지만, 단 한 번의 예보를 실행하는 데도 몇 시간이 걸리는 슈퍼컴퓨터(수치 솔버, Numerical Solver)가 있습니다. 학생은 매우 빠릅니다. 순식간에 답을 내놓을 수 있죠. 하지만 학생은 슈퍼컴퓨터만큼 정확해지도록 학습해야 합니다.

보통 우리는 과거의 날씨 데이터를 학생에게 보여주고, 그 학생의 답이 그 특정 날짜에 대한 슈퍼컴퓨터의 답과 일치하는지 확인하며 학습시킵니다.

문제점:
이 논문은 이것만으로는 충분하지 않다고 주장합니다. 만약 날씨 조건이 미세하게 변한다면 어떻게 될까요? 현실 세계에서는 바람이 아주 조금 더 세게 불면, 폭풍의 움직임도 조금 달라집니다. 슈퍼컴퓨터(거장)는 이 새롭고 약간 달라진 폭풍을 정확하게 계산해 낼 것입니다. 하지만 학생은 혼란에 빠져 완전히 다른 결과를 예측하거나, 심지어 바람이 바뀌었음에도 불구하고 예전의 폭풍을 예측할 수도 있습니다.

이 논문은 다음과 같은 질문을 던집니다: 어떻게 하면 학생이 단순히 정답을 암기하는 것이 아니라, 조건이 변할 때 거장과 함께 움직이는 법을 배우게 할 수 있을까?

핵심 아이디어: "솔버 통합형(Solver-Integrated)" 접근 방식

저자들은 학생을 테스트하고 훈련하기 위한 새로운 방법인 **솔버 통합형 적대적 훈련(Solver-Integrated Adversarial Training)**을 소개합니다.

1. "적대적 공격" (스트레스 테스트)

컴퓨터 과학에서 "적대적 공격(Adversarial Attack)"이란 시스템을 망가뜨리려는 장난꾸러기를 의미합니다.

기존 방식: 장난꾸러기는 입력을 약간 변형하여 학생을 혼란시키려 하지만, 이때 "정답(Ground Truth)"은 그대로 유지된다고 가정합니다. 이는 마치 학생에게 "바람 속도를 1% 바꾸면 폭풍이 어떻게 변하니?"라고 물으면서, 답은 이전과 똑같은 폭사여야 한다고 기대하는 것과 같습니다. 이는 날씨 예측에 있어 잘못된 방식입니다!
새로운 방식 (솔버 통합형): 장난꾸러기는 바람의 속도를 바꿀 뿐만 아니라, 동시에 슈퍼컴퓨터(거장)에게 요청하여 새로운 올바른 폭풍이 어떤 모습인지 즉각적으로 계산하게 합니다. 그런 다음, 학생의 답이 이 새로운 정답과 일치하는지 확인합니다.

비유:
무용 강사(솔버)와 학생(뉴럴 오퍼레이터)을 상상해 보세요.

기존 공격: 강사가 음악 템포를 약간 바꿉니다. 학생은 이전과 똑같은 스텝을 밟으려고 노력합니다. 강사는 말합니다. "틀렸어! 너는 스텝을 바꾸지 않았잖아!"
새로운 공격: 강사가 템포를 바꿉니다. 동시에 강사는 새로운 올바른 동작을 즉시 추기 시작합니다. 학생은 자신의 동작이 강사의 새로운 동작과 일치하는지에 따라 테스트를 받습니다. 만약 학생이 예전의 동작을 고수한다면, 그는 탈락입니다.

이 논문은 이러한 "솔버 통합형" 공격이 학생이 통과하기 훨씬 더 어렵다는 것을 보여주며, 이는 학생의 진정한 이해도를 측정하는 더 나은 테스트임을 의미합니다.

2. "적대적 훈련" (워크아웃)

학생을 어떻게 무너뜨릴 수 있는지 알게 되었다면, 이제 그것을 이용해 학생을 훈련시킬 수 있습니다. 이것을 **적대적 훈련(Adversarial Training)**이라고 합니다.

과정:
1. 학생이 문제를 풀려고 시도합니다.
2. "장난꾸러기"(새로운 솔버 통합형 방식을 사용하여)는 학생을 실패하게 만드는 최악의 미세한 입력 변화를 찾아냅니다.
3. 학생은 바로 그 까다로운 문제를 푸는 연습을 강제로 수행하게 됩니다.
4. 이 과정을 반복합니다.

비유:
무술 도장을 생각해보세요.

표준 훈련: 움직이지 않는 샌드백을 치는 연습을 합니다. 힘은 길러지겠지만, 움직이는 상대는 다룰 줄 모를 수 있습니다.
적대적 훈련: 당신의 약점을 찾아내어 그곳을 타격하도록 특별히 훈련된 스파링 파트너와 대결합니다.
솔버 통합형 훈련: 당신의 스파링 파트너는 단순히 때리기만 하는 것이 아니라, 당신이 변화하는 상황에 어떻게 반응해야 하는지 배우도록 강요하는 그랜드마스터입니다. 만약 당신이 비틀거리면, 그들은 즉시 완벽한 카운터 동작을 보여줍니다.

무엇을 발견했는가?

연구진은 세 가지 유명한 물리 문제(파이프를 흐르는 유체, 평평한 표면 위의 바람, 소용돌이치는 물)를 통해 이를 테스트했습니다.

더 나은 강건성(Robustness): "솔버 통합형" 방식으로 훈련된 학생들은 변화를 훨씬 더 잘 다루었습니다. 입력을 미세하게 조정하더라도, 그들의 답은 슈퍼컴퓨터의 답과 근접하게 유지되었습니다.
더 나은 일반화(Generalization): 이 학생들은 한 번도 본 적 없는 문제(연습하지 않은 폭풍 패턴 등)를 해결하는 데 더 뛰어난 능력을 보였습니다.
"깊은" 통합의 중요성: 논문은 슈퍼컴퓨터가 훈련 루프에 얼마나 깊이 관여하느냐(공격 과정 중에 새로운 답을 계산하는 것)에 따라 결과가 더 좋아진다는 것을 발견했습니다. (슈퍼컴퓨터가 정적인 답만 제공하는) 얕은 방식은 효과가 덜했습니다.

한계점 (비용)

여기에는 트레이드오프(Trade-off)가 존재합니다.

기존 방식: 빠르고 저렴합니다.
새로운 방식: 느리고 비용이 많이 듭니다. 컴퓨터가 학생을 테스트하거나 훈련할 때마다 매번 느린 "마스터 솔버"를 실행해야 하기 때문에 더 많은 시간과 컴퓨터 메모리가 필요합니다.

저자들은 이것이 큰 대가라는 점을 인정하지만, 결과는 물리 법칙을 위한 신뢰할 수 있는 AI 모델을 만들기 위해 이 추가적인 비용을 지불할 가치가 있음을 보여줍니다.

한 문장 요약

이 논문은 AI 모델이 정적인 답을 단순히 암기하는 것이 아니라 역동적으로 적응하도록 하기 위해, 질문과 함께 정답도 함께 변하는 "함정 질문"을 활용하여 물리 시뮬레이션을 모방하도록 가르치는 방법을 다룹니다.

기술 요약: 솔버 통합 적대적 공격 및 신경 연산자 학습

문제 정식화
뉴럴 연산자(예: Fourier Neural Operator, DeepONet)는 입력 함수(예: 초기 조건, 계수)를 해 함수로 매핑하는 빠른 데이터 기반 수치 솔버의 대리 모델 역할을 한다. 이러한 모델들은 효과적이지만, 분류 문제에서의 전통적인 적대적 강건성(adversarial robustness)과 비교했을 때 연산자 학습 설정에서의 일반화 능력과 강건성은 여전히 명확히 정의되지 않은 상태이다.

PDE 연산자 학습에서 중요한 차이점은 "그라운드 트루스(ground truth)"가 고정된 라벨이 아니라 수치 솔버 $G$ 의 출력이라는 점이다. 전통적인 회귀나 분류에서는 적대적 공격이 입력 섭동(perturbation) 하에서도 그라운드 트루스가 일정하게 유지된다고 가정한다. 그러나 PDE 설정에서는 입력 함수 $x$ 를 섭동시키면 본질적으로 실제 해 $G(x)$ 도 변화한다. 따라서 모델 $F_\theta$ 는 고립된 상태에서 강건할 것(즉, 출력이 변하지 않을 것)을 기대받는 것이 아니라, 모델과 솔버 사이의 불일치인 오차 연산자 $E_\theta = F_\theta - G$ 가 강건해야 한다. 기존 방법들은 이러한 동적인 그라운드 트루스를 고려하지 못하는 경우가 많으며, 솔버의 출력을 고정된 라벨로 취급하거나 공격 생성 시 솔버의 그래디언트를 무시하곤 한다.

방법론

1. 일반화 및 강건성의 정식화
저자들은 모델-솔버 오차 연산자 $E_\theta$ 의 관점에서 일반화와 강건성을 정의한다:

일반화: 고정된 입력에 대한 오차 연산자의 노름(norm)으로 정적으로 정의된다: $L_{gen}(x) = \|F_\theta(x) - G(x)\|_Y$ .
강건성: 입력 섭동에 따라 오차 연산자의 출력이 어떻게 증폭되는지로 동적으로 정의된다. 논문은 세 가지 국소 지표를 제안한다:
- Jacobian 연산자 노름: 오차 연산자 미분의 유도 노름, $\|DE_\theta[x]\|$ .
- 유한 적대적 공격 손실 증가량: 노름 제한 섭동 구(ball) 내에서의 최대 오차 손실 증가.
- Jacobian-Error 지표: $\|g_\theta(x)\|_X$ 로 정의되는 계산 효율적인 프록시이며, 여기서 $g_\theta(x) = DE_\theta[x]^* e_\theta[x]$ 이다. 이 지方は 오차 필드와 국소 Jacobian을 결합하며, 소규모 예산 극한에서의 유한 예산 공격 방향과 밀접하게 일치한다.

2. 솔버 통합 적대적 공격
본 논문은 표준적인 공격 목표(예: 모델 출력 변화 극대화 또는 고정된 그라운드 트루스와의 비교)가 부적절하다고 지적하는데, 이는 섭동 하에서의 진정한 모델-솔버 불일치를 반영하지 못하기 때문이다. 저자들은 솔버 통합 정도에 따른 공격 목표의 계층 구조를 제안한다:

$L_1$ (모델 전용): 모델 출력의 변화를 극대화함 ( $\|F_\theta(x+\delta) - F_\theta(x)\|$ ).
$L_2$ (고정된 그라운드 트루스): 깨끗한(clean) 솔버 출력에 대한 오차를 극대화함 ( $\|F_\theta(x+\delta) - G(x)\|$ ).
$L_3$ (전체 솔버 통합): 섭동된 솔버 출력에 대한 오차를 극대화함 ( $\|F_\theta(x+\delta) - G(x+\delta)\|$ ).

핵심 기여는 $L_3$ 목표이며, 이는 수치 솔버 $G$ 가 미분 가능해야 하며 공격 루프 내에 통합되어야 함을 요구한다. 이를 통해 공격은 솔버를 통한 그래디언트($DG $)를 계산할 수 있으며, 결과적으로 섭동$ \delta$가 모델과 실제 섭동된 입력의 해 사이의 발산을 극대화하도록 최적화된다. 또한 논문은 손실 지형(loss landscape)의 기하학적 특성(Burgers의 경우 넓고, Navier-Stokes의 경우 좁음)에 적응하는 최적화 전략(예: "replace" vs "add" 업데이트)을 상세히 설명한다.

3. 솔버 통합 적대적 훈련
$L_3$ 공격을 기반으로, 저자들은 다음과 같은 min-max 문제로 작동하는 적대적 훈련 프레임을 제안한다:
$\min_\theta \mathbb{E}_{x \sim \mu_X} \left[ \max_{\|\delta\| \le \epsilon} \|F_\theta(x+\delta) - G(x+\delta)\|^2 \right]$
이 파이프라인에서, 현재 모델은 $L_3$ 손실을 극대화하여 적대적 샘플을 생성하기 위해 고정된다. 이렇게 생성된 샘플들은 솔버에 의해 재라벨링된(re-labelled) 솔버 출력과 쌍을 이루어 모델을 업데이트하는 데 사용된다. 이 과정은 수치 솔버가 교사(teacher) 역할을 하고 뉴럴 연산자가 학생(student) 역할을 하는 "교사-학생" 증류(distillation) 과정처럼 작동하며, 뉴럴 연산자가 섭동된 입력 전반에 걸쳐 솔버의 충실한 행동적 쌍둥어가 되도록 학습시킨다.

주요 기여

새로운 강건성 정의: 모델 단독의 안정성이 아닌 모델-솔버 불일치에 기반한 연산자 학습의 일반화 및 강한 건성 정식화.
솔버 통합 공격 대상: PDE 설정에서 적대적 공격의 가장 정확한 타겟으로서 $L_3$ 손실(전체 솔버 통합)을 식별하였으며, 솔버의 섭동 반응을 무시하거나( $L_1, L_2$ ) 고정된 라벨을 사용하는 공격은 차선책임을 입증함.
적대적 훈련 프레임워크: 온라인으로 솔버 재라벨링된 적대적 배치를 생성하는 방법을 제공하여, 수동 샘플 선택 없이도 이동된 분포(shifted distributions)에 대한 일반화와 섭동에 대한 강건성을 모두 개선함.
지표 분석: Jacobian-error 지표가 유한 예산 공격 성능의 실용적이고 가벼운 프록시임을 입증하였으며, 표준 스펙트럼 노름이 PDE 연산자 강건성을 측정하기에는 불충분함을 보여줌.

실험 결과
본 프레임워크는 세 가지 정형 PDE 벤치마크(1D Burgers, 2D Darcy Flow, 2D Navier-Stokes)에서 평가되었다.

공격 유효성: 전체 $L_3$ 목표를 사용하는 공격은 $L_1, L_2$ , 물리 잔차(physics-residual), 또는 사전 정의된 딕셔너리 기반 공격보다 일관되게 훨씬 높은 모델-솔버 손실 증가를 달ей했다. $L_3$ 공격은 또한 더 높은 주파수의 섭동을 생성하여 특정 모델-솔버 불일치를 드러냈다.
훈련 성능:
- 일반화: $L_3$ 적대적 훈련을 거친 모델은 무작위 섭동이나 비통합 손실을 사용한 베이스라인 모델 및 다른 모델들에 비해 이동된 입력 분포(예: 다른 상관 길이, 커널 파라미터 또는 경계 조건)에서 우수한 성능을 보였다.
- 강건성: $L_3$ 훈련 모델은 가장 작은 공격 손실 증가와 가장 낮은 Jacobian-error 노름을 나타내어 더 강력한 강건성을 입증했다.
- 효율성: 솔버 통합이 (솔버의 순방향 및 역방향 패스를 포함하므로) 계산 비용을 증가시키지만, 이 방법은 휴리스틱 샘플링 방식에 비해 더 정보가 풍부한 샘플을 생성하고 강건한 솔루션으로 더 빠르게 수렴한다.

의의 및 주장
본 논문은 기존의 수치 솔버를 "신뢰할 수 있는 오라클(trusted oracle)"로 활용하는 강건한 연산자 훈련을 위한 일반적인 프레임워크를 제공한다고 주장한다. 공격과 훈련 루프에 솔버를 직접 통합함으로써, 이 방법은 어려운 샘플을 자동으로 선택하고 뉴럴 연산자의 동작을 솔버의 물리 법칙과 일치시켜, 수동 개입이나 수작업으로 제작된 이동 데이터셋의 필요성을 줄인다.

저자들은 특히 시간 종속 PDE의 경우 솔버의 긴 롤아웃(rollout)을 미분하는 데 상당한 GPU 메모리가 필요하여 발생하는 계산 비용이 주요 한계임을 인정한다. 향후 연구로서 이러한 비용을 완화하기 위해 계층적 접근 방식(예: 암시적 신경 롤아웃)을 탐구할 수 있다고 제안한다. 본 논문은 과학적 머신러닝의 모든 강건성 문제를 해결한다고 주장하는 것이 아니라, 솔버 통합이 연산자 학습 설정에서 진정한 강건성을 정의하고 달성하기 위한 필수 요소임을 확립하는 데 목적이 있다.