A general approach for running Python codes in OpenFOAM using an embedded pybind11 Python interpreter

기술 요약: 임베디드 pybind11 Python 인터프리터를 사용하여 OpenFOAM에서 Python 코드를 실행하는 일반적인 접근 방식

문제 정의

전통적인 계산 역학과 머신러닝(ML)의 교차점은 Python 기반 절차와 C++ 기반 솔버인 OpenFOAM 사이의 원활한 인터페이스에 대한 수요를 창출했습니다. Python은 빠른 프로토타이핑, 가독성, 그리고 방대한 과학 및 ML 도구 생태계(예: TensorFlow, Keras, scikit-learn)에 대한 접근성을 제공하지만, OpenFOAM은 계산 효율성을 위해 C++로 구축되었습니다.

이 간극을 메우기 위한 기존 방법들은 종 often Python 코드나 모델을 C++로 변환할 것을 요구하며, 이는 Python의 주요 장점인 코딩 단순성을 상쇄합니다. 현재의 접근 방식은 다음과 같습니다:

• 전/후처리 도구: PyFoam 및 fluidfoam과 같은 라이브러리는 케이스 조작 및 플로팅을 처리하지만, Python을 솔버 루프 내로 통합하지는 못합니다.
• 코드 변환: frugally-deep과 같은 도구를 통해 신경망을 C++로 변환하거나 TensorFlow C++ API에 직접 연결하는 방식입니다. 이러한 방법은 복잡한 컴파일 설정과 소스 수준의 통합을 요구하므로 진입 장벽을 만듭니다.
• 표현식 파서(Expression Parsers): swak4Foam과 같은 도구는 어느 정도의 Python 실행을 허용하지만, 종종 더 낮은 수준의 인터페이스나 특정 파서에 의존합니다.

복잡한 작업(예: 경계 조건, 솔버 프로토타이핑, ML 기반 구성 법칙)을 위해 코드 변환 없이 "순수" Python 코드를 OpenFOAM 내부에서 직접 실행할 수 있는 표준적이고 일반적인 방법론이 부족한 실정입니다.

방법론

저자들은 pybind11 라이브러리를 사용하여 OpenFOAM 애플리케이션 내에 Python 인터프리터를 직접 임베딩하는 일반적인 접근 방식을 제안합니다. 이 방법은 Python 코드를 C++로 변환하지 않고도 OpenFOAM이 Python 함수와 스크립트를 호출하고, 데이터를 전송하며, 결과를 검색할 수 있게 해줍니다.

핵심 구현 단계

1. 통합: pybind11 헤더 전용 라이브러리를 설치하고(예: Conda를 통해), 필요한 Python 헤더 및 라이브러리를 포함하도록 Make/options 파일을 수정하여 OpenFOAM 빌드 시스템에 연결합니다. TensorFlow와 같은 Python 모듈과의 명령줄 인자 충돌을 방지하기 위해 setRootCase.H에 대한 특정 수정이 필요합니다.
2. 인터프리터 초기화: py::initialize_interpreter()를 사용하여 OpenFOAM 코드 내(예: 솔버 생성자 또는 createFields.H)에서 Python 인터프리터를 한 번 초기화합니다.
3. 데이터 전송 메커니즘:
   • Scope 객체: py::object scope를 생성하여 Python 네임스페이스를 관리함으로써, C++ 변수를 Python으로 주입하거나 그 반대로 수행할 수 있도록 합니다.
   • Pass-by-Copy (복사 전달): 데이터를 OpenFOAM 컨테이너(예: Field, List)에서 std::vector로 변환한 다음, 이를 py::array(NumPy 배열)로 캐스팅하여 Python으로 전달합니다. 결과는 다시 C++ 타입으로 캐스팅됩니다. 이는 기본 타입과 다차원 배열 모두를 지원합니다.
   • Pass-by-Reference (참조 전달): 대규모 데이터셋 전송 시 발생하는 오버헤드를 피하기 위해, 저자들은 Python에서 ctypes를 활용합니다. OpenFOAM 필드의 메모리 주소와 크기를 Python에 전달하면, Python은 C++ 메모리 상에 직접 NumPy 배열 뷰를 생성합니다. Python에서의 수정 사항은 데이터 복제 없이 즉시 OpenFOMF에 반영됩니다.
4. 실행: py::eval_file을 사용하여 런타임에 Python 스크립트를 로드하고, py::exec를 통해 특정 함수를 실행합니다.

주요 기여 및 테스트 케이스

본 논문은 세 가지 상호 보완적인 테스트 케이스를 통해 이 방법론을 검증합니다.

1. Python 기반 속도 프로파일 경계 조건:

   • 런타임 Python 스크립트에 의해 속도 프로파일이 정의되는 커스로 경계 조건(pythonVelocity)을 생성했습니다.
   • 스크립트는 면 중심 좌표와 시간을 수신하여 속도를 계산하고 이를 OpenFOAM으로 반환합니다.
   • 결과: 클래식 캐비티(cavity) 튜토리얼에 성공적으로 적용되어 해석적 속도 프로파일을 재현했습니다.

2. Python 기반 열전달 프로토타이핑 솔버:

   • 빠른 프로토타이핑을 입증하기 위해 laplacianFoam 솔버의 래퍼(wrapper)를 개발했습니다.
   • 지배 방정식(Laplace 방정식)은 Python으로 완전히 구현된 간단한 명시적 유한 차분법을 사용하여 해결되었습니다.
   • 결과: Python 솔버는 네이티브 C++ laplacianFoam과 일치하는 온도장을 생성하였으며, 이는 Python으로 솔루션 전략을 프로토타이핑하는 것의 타당성을 보여주었습니다.

3. 머신러닝을 이용한 필드 계산 (Solids4foam):

   • 변형 텐서로부터 응력 텐서를 계산하기 위해 solids4foam의 기계적 구성 법칙을 구현했습니다.
   • 비교: 다음 7가지 접근 방식을 테스트했습니다:
     1. 네이티브 C++ (참조값).
     2. Python의 해석적 표현식.
     3. Keras Sequential API를 통한 신경망(NN).
     4. Keras Functional API를 통한 NN.
     5. TensorFlow eager execution이 비활성화된 NN.
     6. 순수 NumPy로 변환된 NN.
     7. Numba JIT 컴파일이 적용된 NumPy로 변환된 NN.
   • 데이터 전송: 각 접근 방식은 "cell-by-cell" 전송과 "전체 필드(entire field)" 전송, 그리고 "pass-by-copy"와 "pass-by-reference" 모두에 대해 테스트되었습니다.

결과 및 성능 분석

연구는 효율성 및 구현 전략에 대한 중요한 통찰을 제공했습니다.

• 정확도: 모든 Python 기반 접근 방식(해석적 및 ML)은 네이티브 C++ 참조 케이스와 구별할 수 없는 결과를 생성했으며, von Mises 응력 및 변위 크기에서 무시할 수 있는 수준의 오차를 보였습니다.
• 데이터 전송 전략:
  • Cell-by-Cell vs. 전체 필드: 데이터를 전체 필드로 전달하는 것이 cell-by-cell 전송보다 훨씬 빠릅습니다. 해석적 Python 방법의 경우 전체 필드 접근 방식이 약 3배 더 빨랐으며, 신경망의 경우 그 차이가 수십 배에 달했습니다.
  • Copy vs. Reference: 메모리 주소를 사용하는 pass-by-reference가 pass-by-copy보다 상당한 속도 향상을 제공했습니다. pass-by-reference를 사용한 해석적 Python 방법은 네이티브 C++ 솔버와 거의 동일한 실행 시간을 달양했습니다.
• 오버헤드:
  • ML 오버head: 신경망은 고정된 오버헤드(인터프리터 및 모델 로딩)를 발생시킵니다. 격자 수가 적은 경우(1,000 cells), 이 오버헤드는 상당했습니다(>600%). 격자 수가 많은 경우(400,000 cells), Keras 기반 모델의 오버헤드는 약 18%로 감소했습니다.
  • 최적화: pass-by-reference는 가장 성능이 좋은 신경망(Base Keras)의 오버헤드를 미세 격자에서 4% 미만으로 줄였습니다.
• 구현 효율성:
  • Analytical-Python 접근 방식이 가장 효율적이었으며, C++ 대비 단 ~8%(pass-by-copy) 또는 ~1%(pass-by-reference)의 오버헤드만을 추가했습니다.
  • Pure NumPy/Numba: 예상과 달리, 이 문맥에서는 Keras 모델을 순수 NumPy로 변환하거나 Numba를 사용하는 것이 네이티브 TensorFlow/Keras 구현보다 성능 이점을 제공하지 않았으며, 어떤 경우에는 더 느렸습니다.

의의 및 주장

본 논문은 이 접근 방식이 코드 변환 없이 Python을 OpenFOAM에 통합하는 간단한(straight-forward) 방법을 제공하며, Python 개발의 단순성을 유지하면서도 OpenFOable의 강력한 프레임워크를 활용할 수 있다고 주장합니다.

• 타당성: 저자들은 경계 조건, 솔버 알고리즘, ML 기반 구성 법칙을 포함한 복잡한 작업을 OpenFOAM 소스에 대한 최소한의 수정만으로 Python에서 구현할 수 있음을 입증했습니다.
• 효율성: 연구는 가장 계산 비용이 적은 접근 방식이 데이터를 **참조 형태의 전체 필드(entire fields by reference)**로 전달하는 것임을 결론지었습니다. 이 방법을 사용하면 피드포워드 신경망의 오버헤드를 몇 퍼센트 수준으로 낮출 수 있어 실제 생산 환경에서 사용이 가능합니다.
• 현재 대안의 한계: 본 논문은 cell-by-cell 전송이 가능하지만 대규모 필드에는 매우 비효적임을 언급합니다. 또한, Python 모델을 C++로 변환하려는 노력(예: frugally-deep)은 빠른 프로토타이핑이라는 목표와 상충됩니다.
• 향후 전망: 저자들은 이 접근 방식이 표준 OpenFOAM MPI를 통해 병렬로 실행된다고(각 프로세서가 로컬 인터프리터를 보유함) 밝히며, 탄소성(elasto-plasticity) 문제와 같은 계산 역학 분야에서 ML의 활용을 확장하는 데 유용할 것으로 기대합니다.

이 연구는 C++ 솔버를 대체하려는 것이 아니라, 특정 솔버 구성 요소에 대해 Python 생태계를 활용할 수 있도록 하는 유연한 가교 역할을 하는 것으로 자리매김하고 있습니다.