Enabling stable preservation of ML algorithms in high-energy physics with petrifyML

본 논문은 고에너지 물리학 머신러닝 알고리즘의 안정적인 보존과 향후 재현성을 보장하기 위해 해당 알고리즘의 구성을 산업 표준 ONNX 형식 또는 네이티브 Python 및 C++ 코드로 변환하도록 설계된 petrifyML 패키지를 소개합니다.

핵심

당신이 우주를 이해하는 데 도움을 주는 혁신적인 새로운 요리를 개발한 셰프라고 상상해 보세요. 당신은 그 레시피를 현재 주방 직원들(특정 소프트웨어 버전) 만이 읽을 수 있는 매우 구체적이고 복잡한 수첩에 적어 두었습니다.

이제 10 년 또는 20 년 후, 주방이 변한다고 상상해 보세요. 직원들은 떠나고, 소프트웨어는 업데이트되며, 그 특정 수첩은 읽을 수 없는 낱말의 나열이 됩니다. 만약 다른 사람이 당신의 결과를 검증하기 위해 그 요리를 만들고자 한다면, 그들은 할 수 없습니다. 그들은 레시피를 잃어버린 것입니다.

이것이 고에너지 물리학 (HEP) 연구자들이 **머신러닝 (ML)**과 마주하는 문제입니다. 그들은 입자 가속기에서 얻은 데이터를 분석하기 위해 복잡한"레시피"(알고리즘) 를 사용합니다. 오랫동안 이러한 레시피는 내부 도구에 불과했습니다. 하지만 이제 레시피 그 자체가 결과가 되었습니다. 만약 미래에 그 레시피를 읽을 수 없다면, 과학은 검증될 수 없습니다.

이제 petrifyML이 등장합니다.

petrifyML 이란 무엇인가요?

petrifyML을 마법 같은 번역기이자 시간 캡슐 기계라고 생각하세요. 이 기계의 임무는 복잡하고 취약하며 소프트웨어에 종속된 레시피들을 두 가지 형태로 변환하는 것입니다:

1. 보편적 언어 (ONNX): 이는 전 세계의 모든 주방, 과거, 현재, 미래가 모두 이해하기로 합의한 형식으로 레시피를 번역하는 것과 같습니다. 이는 머신러닝 세계의"PDF"입니다.
2. 일반 영어 (네이티브 코드): 또한 레시피를 특수 소프트웨어 없이도 실행 가능한 단순하고 사람이 읽을 수 있는 지침 (C++ 또는 Python 코드) 으로 다시 작성할 수 있습니다. 이는 컴퓨터가 없어도 누구나 읽을 수 있는 종이에 레시피를 적는 것과 같습니다.

어떻게 작동하나요?

해당 논문은 과학자들이 현재 모델을 훈련시키기 위해 다양한"주방 도구"(TMVA, scikit-learn, lwtnn 과 같은 소프트웨어 패키지) 를 사용한다고 설명합니다. 이러한 도구들은 종종 서로 다른 방언을 사용하거나 미래에 사라질 수 있는 무겁고 복잡한 장비에 의존합니다.

petrifyML은 가교 역할을 합니다:

• 번역기: 특정 도구 중 하나로 훈련된 모델을 보편적인 ONNX 형식으로 변환합니다. 이를 통해 원래 도구가 사라지더라도 표준적이고 현대적인 도구를 사용하여 모델을"조리"(실행) 할 수 있음을 보장합니다.
• 서기: 부스팅 의사결정나무와 같은 단순한 모델의 경우, 단순히 번역하는 것을 넘어 전체 논리를 일반 텍스트 코드로 다시 작성합니다. 이는 복잡한 기계식 시계를 종이 위에 모든 기어와 스프링을 하나씩 그려내는 것과 같습니다. 더 이상 시계가 필요하지 않습니다. 재조립하려면 그림만 있으면 됩니다. 이는 특정 소프트웨어 업데이트 없이도 모델이 영원히 정확히 동일하게 작동하도록 보장합니다.

왜 이것이 중요한가요?

해당 논문은 몇 가지 주요 이점을 강조합니다:

• "내 기계에서는 작동합니다"라는 말의 종말: 일반적으로 새 컴퓨터에서 오래된 모델을 실행하려고 하면 소프트웨어 버전이 맞지 않아 고장 납니다. petrifyML은 이러한 종속성을 제거합니다.
• 미래 대비: 모델을 ONNX나 일반 코드로 변환함으로써 과학자들은 수십 년 후에도 자신의 작업을 재해석할 수 있도록 보장합니다. 이는 썩을 수 있는 플로피 디스크가 아닌 산성 프리 종이 또는 보편적인 디지털 표준에 문서를 보존하는 것과 같습니다.
• 효율성: 논문은 이 도구를 테스트한 결과, 빠르고 컴퓨터 메모리를 많이 사용하지 않는다고 밝혔습니다. 변환된 파일은 종종 원본보다 작아 저장 및 공유가 용이합니다.

"검증"확인

저자들은 다음과 같이 조심스럽게 말합니다:"번역된 레시피만 제공하는 것으로는 충분하지 않습니다. 맛이 같은지 확인해야 합니다."
따라서 petrifyML에는 내장된"맛보기"기능이 포함되어 있습니다. 모델을 변환할 때 자동으로 새 버전을 실행하고 기존 버전과 비교하여 동일한 결과를 생성하는지 확인하는 스크립트를 생성합니다. 아주 작은 차이라도 있으면 사용자는 무언가 잘못되었음을 알게 됩니다.

요약

petrifyML은 입자 물리학의"레시피"가 시간 속에 사라지는 것을 막기 위해 설계된 도구입니다. 복잡하고 소프트웨어에 종속된 머신러닝 모델을 보편적인 표준 형식이나 단순하고 사람이 읽을 수 있는 코드로 변환합니다. 이는 오늘날 이루어진 과학적 발견들이 50 년 후의 과학자들이 당시 존재하는 기술에 관계없이 검증하고 이해하며 신뢰할 수 있도록 보장합니다.

기술 요약

기술 요약: petrifyML 를 통한 고에너지 물리학의 ML 알고리즘 안정적 보존 활성화

문제 제기
고에너지 물리학 (HEP) 의 머신러닝 (ML) 은 보정 및 재구성을 위한 내부 도구에서 물리 데이터 분석의 중심이 되는 비모수적 구성 요소로 진화했습니다. 이러한 전환은 새로운 물리 모델에 대한 민감도를 향상시키지만, 과학적 재현성에 중대한 도전을 제기합니다. 현재 ML 알고리즘은 일반적으로 버전 불안정성, 무거운 의존성 (특히 ROOT 프레임워크), 그리고 형식 비호환성의 문제를 겪는 Python 기반 도구 (예: TMVA, scikit-learn, lwtnn) 를 사용하여 훈련되고 배포됩니다.

기존 보존 전략은 다음과 같은 한계에 직면해 있습니다:

• Pickle/Joblib 파일: 버전 의존성이 매우 높고 시간이 지남에 따라 불안정하며, 완전한 컨테이너화 없이는 장기 보존에 적합하지 않습니다.
• ONNX 형식: 산업 표준이지만, 많은 HEP 전용 도구 (TMVA, lwtnn, MVAUtils) 는 ONNX 로의 변환을 기본적으로 지원하지 않습니다. 또한, 번거로운 컨테이너화 없이는 ONNX 실행 환경의 장기적 안정성이 보장되지 않습니다.
• 네이티브 코드: 인간이 읽을 수 있는 C++ 또는 Python 으로 변환하면 의존성을 제거할 수 있지만, 파일 크기 제약으로 인해 종종 소규모 모델에 국한됩니다.

HEP 전용 ML 구성을 안정적이고 의존성이 없거나 산업 표준 형식으로 변환하는 "알고리즘 보존의 사슬"에 중요한 공백이 존재합니다.

방법론
저자들은 이 공백을 메우도록 설계된 Python 패키지이자 명령줄 도구 세트인 petrifyML을 제시합니다. 이 도구는 일반적인 HEP 프레임워크의 ML 구성을 ONNX 형식 또는 네이티브 C++/Python 코드로 변환합니다.

패키지는 모듈화되어 있으며, 특정 변환 작업에 따라 pip 를 통해 의존성을 설치합니다:

1. 부스팅 의사결정나무 (BDTs):
   • scikit-learn: .pkl 또는 .job 파일을 네이티브 C++ 및 Python 으로 변환합니다.
   • TMVA: XML 파일을 네이티브 C++ 및 Python 으로 변환합니다 (이 변환을 위해 ROOT 파일은 직접 지원되지 않음).
   • MVAUtils: ROOT 기반 MVAUtils 파일 (xgboost 또는 lgbm 에서 유래) 을 ONNX 로 변환합니다. 이는 전체 ROOT 설치가 필요 없이 파일을 구문 분석하는 uproot 라이브러리를 활용합니다.
2. 신경망 (NNs):
   • TMVA (MLPs): TMVA XML 파일을 읽어서 TensorFlow/Keras 에서 아키텍처와 가중치를 재구성한 후 tf2onnx 를 사용하여 ONNX 로 내보냅니다.
   • lwtnn: ATLAS 트리거에 사용되는 lightweightneuralnetwork JSON 파일을 ONNX 로 변환합니다. 현재 레이어 유형 (Dense, Normalization, Softmax) 과 활성화 함수 (Relu, Sigmoid, Elu, Tanh) 의 부분 집합을 지원합니다.

주요 기능 및 검증

• 메타데이터 유지: petrifyML 은 훈련 설정 및 정규화 매개변수를 보존하려고 시도하지만, 입력/출력 형식 능력에 의해 제한됩니다.
• 검증 스크립트: 이 도구는 선택적으로 변환된 모델의 출력과 원본 구현체의 출력을 비교하는 검증 스크립트를 생성합니다. 비교는 모델의 컷 - 값 통계에 따라 스케일링된 무작위 생성 입력을 사용하여 수행됩니다.
• 버전 관리: ONNX 변환의 경우 사용자는 특정 OnnxRuntime 버전과의 호환성을 보장하기 위해 --opset 및 --ir-version 을 지정할 수 있으며, 이는 빠르게 진화하는 ONNX 표준과 관련된 잠재적 문제를 해결합니다.
• 네이티브 코드 생성: BDT 의 경우 이 도구는 의존성이 없는 인간이 읽을 수 있는 C++ 또는 Python 코드를 생성하여 소규모 모델에 대해 "영구적인 그대로의 성능"을 보장합니다.

결과 및 벤치마킹
저자들은 Intel Core i7-14700 CPU 를 사용하여 lwtnn, MVAUtils, scikit-learn, TMVA 모델을 포함한 1,230 개의 모델 세트로 petrifyML 을 벤치마킹했습니다.

• 변환 성능:

  • 메모리 사용량: lwtnn/ONNX 변환의 경우 몇 MB 에서부터 125,000 개의 트리를 가진 대규모 MVAUtils xgboost 숲의 경우 약 3.5 GB 까지 다양합니다. 대부분의 변환은 200 MB 미만을 요구합니다.
  • 시간: 변환 시간은 크게 다릅니다. lwtnn 에서 ONNX 로는 약 0.04 초가 소요되는 반면, 대규모 MVAUtils xgboost 숲은 4 분 이상 소요될 수 있습니다. 동일한 환경에서의 연속적인 변환은 캐시된 모듈 가져오기로 인해 훨씬 빠릅니다.
  • 파일 크기: 변환된 파일은 일반적으로 소형입니다. ONNX 파일은 원본보다 최대 80% 작습니다 (고도로 최적화된 MVAUtils 파일은 예외로 크기가 3 배 증가할 수 있음). TMVA BDT 의 네이티브 C++/Python 파일은 5,000 에서 41,000 줄 사이이지만 원래 XML 형식보다 공간 효율성이 더 높습니다.

• 추론 성능:

  • 정확도: 변환된 ONNX 모델은 원본과 비교하여 상대 출력 오차가 $10^{-6}$ 미만입니다. 네이티브 코드 변환은 완벽하게 일치합니다.
  • 메모리: 추론은 일반적으로 100 MB 미만이 필요합니다. 네이티브 C++ BDT 는 Python 또는 원본 구현체보다 메모리 효율이 훨씬 높습니다.
  • 속도: 추론 시간은 일반적으로 짧습니다 (<0.1 초). BDT 의 네이티브 C++ 추론은 종종 원본 모델보다 빠르며, Python 추론은 더 느립니다. 모든 방법의 절대 속도를 고려할 때 상대적인 속도 차이는 무시할 만합니다.

의의 및 주장
이 논문은 petrifyML 을 모든 정보가 이용 가능한 경우 네이티브 내보내기 방법을 대체하는 것이 아니라, 네이티브 내보내기가 불가능하거나 원본 훈련 환경이 손실된 경우 모델을 보존하기 위한 필수 솔루션으로 위치시킵니다.

• 재현성: 이 도구는 ML 알고리즘을 특정 툴킷 버전이나 무거운 ROOT 프레임워크에 덜 의존하는 형식 (ONNX 또는 네이티브 코드) 으로 변환함으로써 HEP ML 알고리즘의 장기적 보존을 가능하게 합니다.
• 접근성: lwtnn JSON 또는 TMVA XML 과 같은 HEP 전용 형식을 ONNX 로 변환함으로써, 이 도구는 이러한 모델이 원래 HEP 전용 라이브러리를 지원하지 않을 수 있는 Python 및 재해석 프레임워크 (예: Rivet, CheckMATE2) 에서 사용되도록 허용합니다.
• 실용성: 저자들은 이 도구가 많은 재해석 도구에 대한 ROOT 의존성의 "해결 불가능한 문제"를 성공적으로 해결하며, 일반 텍스트 코드로 저장하는 것이 비실용적인 대규모 BDT 숲을 보존하기 위한 경량 대안을 제공한다고 주장합니다.

이 논문은 petrifyML 이 장기적으로 ML 기반 실험 연구가 해석 가능하고 재현 가능하도록 보장하는 메커니즘을 제공하는 "재해석 가능한 ML 에 대한 레 쇼슈 가이드라인"을 향한 실용적인 단계라고 결론지었습니다.