OmniLearned: A Foundation Model Framework for All Tasks Involving Jet Physics

이 논문은 10 억 개 이상의 제트 입자 데이터로 학습된 새로운 아키텍처와 소프트웨어를 갖춘 'OmniLearned' 프레임워크를 소개하며, 토크크 태그링, b-태깅, 이상 탐지 등 다양한 제트 물리 작업에서 기존 최첨단 성능을 달성하여 충돌기 실험의 발견 잠재력을 확장한다고 주장합니다.

핵심

1. 배경: 왜 이 연구가 필요한가요?

비유: "수천 가지 요리를 배우려면 재료가 너무 많아요"

• 제트 (Jet) 란? 입자 가속기 (LHC 등) 에서 양성자를 충돌시키면, 쿼크나 글루온 같은 작은 입자들이 튀어 나오는데, 이들이 뭉쳐서 만들어내는 '입자 구름'을 제트라고 합니다. 이는 마치 폭죽이 터졌을 때 퍼지는 불꽃이나, 커피에 우유를 섞었을 때 생기는 소용돌이와 비슷합니다.
• 문제점: 과학자들은 이 제트들을 분석해서 "이게 힉스 입자에서 나온 건가?", "그냥 보통의 입자인가?"를 구별해야 합니다. 하지만 각기 다른 목적 (예: 상단 쿼크 찾기, 새로운 입자 찾기) 마다 별도의 AI 를 훈련시키려면 엄청난 양의 데이터가 필요합니다. 마치 요리를 배울 때, 스테이크 요리만 배우려면 소고기만, 파스타만 배우려면 밀가루만 따로 준비해야 하는 것처럼 비효율적입니다.

2. 해결책: '오미러너드 (OmniLearned)'라는 만능 요리사

비유: "모든 재료를 맛본 뒤, 어떤 요리든 척척 해내는 셰프"

이 논문은 **'오미러너드 (OmniLearned)'**라는 새로운 AI 모델을 소개합니다. 이전 버전인 '오미러인 (OmniLearn)'을 업그레이드한 것입니다.

• 방식: 이 AI 는 먼저 **10 억 개 (1 Billion)**나 되는 다양한 제트 데이터를 통째로 공부합니다. (이전 모델은 1 억 개였으니 10 배나 더 많이 배운 셈입니다.)
• 학습 내용: 단순히 "이건 A 형이고 저건 B 형이야"라고 외우는 게 아니라, 제트라는 현상의 근본적인 원리와 패턴을 이해합니다.
• 결과: 이렇게 '기초 체력'을 다진 뒤에는, 아주 적은 데이터만으로도 특정 요리 (특정 물리 현상 분석) 를 완벽하게 해낼 수 있습니다.

3. 이 모델의 3 가지 핵심 업그레이드

이 모델이 더 강력해진 이유는 세 가지 비유로 설명할 수 있습니다.

1. 더 넓은 시야 (아키텍처 개선):
   • 이전 모델은 제트 안의 입자들 사이의 관계를 단순하게만 봤다면, 새로운 모델은 **"이 입자와 저 입자가 어떻게 상호작용하는지, 질량은 어떤지, 거리는 얼마나 되는지"**를 물리 법칙에 맞춰 더 정교하게 계산합니다. 마치 요리사가 단순히 재료를 섞는 게 아니라, 열과 시간의 관계를 정확히 계산하는 것과 같습니다.
2. 엄청난 훈련 데이터 (10 억 개 제트):
   • 이 모델은 다양한 실험실 (ATLAS, CMS, H1 등) 의 데이터를 모두 섞어서 10 억 개나 되는 제트를 훈련했습니다. 이는 **"전 세계의 모든 요리 레시피를 다 맛본 후, 어떤 손님 주문이 들어와도 척척 해내는 상태"**가 된 것입니다.
3. 열린 주방 (소프트웨어 공개):
   • 연구팀은 이 모델을 누구나 쓸 수 있도록 모든 데이터와 코드를 공개했습니다. 이제 다른 과학자들도 이 '만능 요리사'를 빌려와서 자신만의 실험을 할 수 있습니다.

4. 실제로 어떤 일을 해냈나요? (성공 사례)

이 모델은 세 가지 주요 임무에서 최고의 성과를 냈습니다.

• 임무 1: 상단 쿼크 (Top Quark) 찾기
  • 상황: 제트 뭉치 속에서 '상단 쿼크'라는 특정 입자가 만든 제트를 찾아내는 것.
  • 결과: 기존 최고의 AI 들보다 훨씬 정확하게 찾아냈습니다. (배경 잡음을 30% 만 남기고 상단 쿼크를 100% 찾아내는 수준)
• 임무 2: 'b' 쿼크 식별 (b-tagging)
  • 상황: ATLAS 실험 데이터에서 'b'라는 특정 입자를 찾아내는 것.
  • 결과: 기존에 사용하던 최신 기술보다 50% 이상 성능이 향상되었습니다. 마치 안경을 더 선명하게 써서 멀리 있는 작은 글씨를 더 잘 읽는 것과 같습니다.
• 임무 3: 새로운 물리 현상 찾기 (이상 탐지)
  • 상황: 우리가 아직 모르는 새로운 입자가 섞여 있는지, 데이터 속에서 '이상한 점'을 찾는 것.
  • 결과: 이 모델은 새로운 입자를 직접 찾아내지 않아도, "이 데이터는 우리가 아는 일반적인 패턴과 달라요!"라고 경고할 수 있습니다. 마치 요리사가 "이 요리에 이상한 맛이 나요. 뭔가 새로운 재료가 섞인 것 같아요!"라고 직감적으로 알아채는 것과 같습니다.
  • 특히, **실제 실험 데이터 (CMS 데이터)**에서 상단 쿼크를 다시 찾아내는 데 성공했는데, 이는 기초 모델이 실제 실험 환경에서도 잘 작동함을 증명한 역사적인 순간입니다.

5. 결론: 왜 이것이 중요한가요?

이 연구는 **"하나의 거대한 AI 가 모든 물리 실험의 기초가 될 수 있다"**는 것을 증명했습니다.

• 과거: 새로운 실험을 할 때마다 0 부터 AI 를 만들어야 했음 (시간과 비용 낭비).
• 현재와 미래: 이 '오미러너드'라는 기초 모델을 사용하면, 새로운 실험이 나오더라도 적은 비용과 시간으로 즉시 분석을 시작할 수 있습니다.

마치 레고 블록을 처음부터 하나하나 만들어야 했던 과거와 달리, 이제 완성된 고품질 레고 세트를 받아서 원하는 모양 (새로운 물리 현상 발견) 을 빠르게 조립할 수 있게 된 것입니다. 이는 미래의 입자 물리학 발견 속도를 획기적으로 높여줄 것으로 기대됩니다.

기술 요약

논문 요약: 제트 물리학을 위한 모든 작업을 위한 기초 모델 프레임워크 (OmniLearned)

1. 연구 배경 및 문제 제기 (Problem)

• 제트 (Jet) 의 복잡성: 고에너지 쿼크와 글루온에서 생성된 제트는 강입자 충돌 실험에서 ubiquitously(보편적으로) 나타나며, 그 내부의 복사 패턴은 제트의 기원과 강한 상호작용의 특성을 담고 있습니다.
• 기존 방법론의 한계: 기존에는 물리적으로 영감을 받은 관측량을 사용하거나, 각 특정 작업 (예: 탑 쿼크 식별, b-태깅, 이상 탐지 등) 마다 별도의 최신 머신러닝 모델을 훈련시켰습니다. 그러나 각 작업마다 고품질의 훈련 데이터 (특히 완전 시뮬레이션 데이터) 를 확보하는 것은 계산 비용이 매우 크고 어렵습니다.
• 기초 모델 (Foundation Model) 의 필요성: 대규모 데이터로 표현력을 학습한 후 다양한 하위 작업에 미세 조정 (fine-tuning) 하는 기초 모델 접근법이 필요하지만, 기존 입자물리학의 기초 모델 연구들은 주로 토큰화된 자기지도 학습 (self-supervised learning) 에 집중하여 데이터의 연속성과 시뮬레이션에서 얻은 레이블 정보를 충분히 활용하지 못했습니다.

2. 방법론 (Methodology)

이 논문은 기존 'OmniLearn' 모델을 대폭 업그레이드한 'OmniLearned' 프레임워크를 제안합니다.

• 대규모 데이터셋 (10 억 개 제트):
  • JetClass, JetClass2, Aspen Open Jets, ATLAS Top Tagging, H1 DIS, CMS QCD/BSM 등 다양한 소스의 데이터를 통합하여 총 10 억 개 이상의 제트로 사전 학습 (pre-training) 을 수행했습니다.
  • 총 210 개의 클래스 (200 개 제트 맛/flavor, 10 개 데이터셋별 샘플) 를 포함하며, 레이블이 없는 실험 데이터도 샘플 분류 작업을 통해 활용합니다.
• 모델 아키텍처 개선 (PET v2):
  • 입력 특징 (Input Features): 입자의 운동량 ($\log p_T, \log E$) 과 제트 축과의 각도 차이 ($\Delta\eta, \Delta\phi$) 만을 최소한의 입력으로 사용하며, 전처리 표준화를 제거하여 효율성을 높였습니다.
  • 추가 정보 인코딩: 입자 식별 (PID) 과 정점 (Vertex) 정보를 임베딩 블록을 통해 처리하며, 데이터에 따라 선택적으로 로드하거나 무시할 수 있도록 유연성을 확보했습니다.
  • 국소 주의 (Local Attention): k-최근접 이웃 (k-NN) 을 기반으로 물리 법칙에 영감을 받은 상호작용 항 (불변 질량, $\Delta R$ 등) 을 포함하고, 단순 평균 대신 학습 가능한 가중치 평균 (Transformer 기반) 을 사용하여 국소 상관관계를 더 정밀하게 포착합니다.
  • 전역 주의 (Global Attention): 물리 기반 상호작용 항을 어텐션 행렬의 편향 (bias) 으로 추가하고, 안정성을 높이기 위해 학습 가능한 하이퍼볼릭 탄젠트 함수를 레이어 정규화 대신 사용합니다.
  • 작업 특화 헤드 (Task Heads): 분류 (Classification) 와 생성 (Generation) 작업을 동시에 수행합니다. 분류를 위해 5 개의 학습 가능한 토큰을 도입하여 제트 정보를 다각도로 요약합니다.
• 손실 함수 및 생성 모델:
  • 분류 손실 (Cross-Entropy) 과 생성 손실을 결합합니다.
  • 기존 확산 모델 (Diffusion) 의 속도 예측을 Flow Matching 목적 함수로 변경하여 생성 품질과 수렴 속도를 개선했습니다.
  • 레이블이 없는 데이터에 대해서는 데이터셋별 샘플 분류 작업을 추가하여 손실 함수에 통합했습니다.

3. 주요 기여 (Key Contributions)

1. OmniLearned 프레임워크 출시: 아키텍처 개선, 10 억 개 이상의 제트 데이터셋 활용, 그리고 모든 데이터셋과 모델에 접근할 수 있는 잘 문서화된 소프트웨어 패키지를 제공합니다.
2. 범용성 입증: 단일 기초 모델이 탑 쿼크 태깅, b-태깅, 이상 탐지 등 서로 다른 물리 작업에서 모두 최첨단 (State-of-the-Art, SOTA) 성능을 달성함을 보였습니다.
3. 전송 학습 (Transfer Learning) 효율성: 사전 학습된 모델을 미세 조정하면 처음부터 훈련하는 것보다 훨씬 적은 데이터와 계산 자원으로 더 높은 성능을 얻을 수 있음을 입증했습니다.
4. 실제 실험 데이터 적용: CMS 오픈 데이터를 이용한 이상 탐지 (Anomaly Detection) 를 통해 기초 모델이 실제 실험 환경에서도 유효함을 처음 보였습니다.

4. 실험 결과 (Results)

• 탑 쿼크 태깅 (Top Quark Tagging):
  • 커뮤니티 벤치마크 데이터셋에서 OmniLearned (특히 Large 모델) 는 기존 SOTA 모델 (ParticleNet, ParT, LorentzNet 등) 을 능가했습니다.
  • 신호 효율 30% 기준 배경 제거율 (Background Rejection) 에서 기존 모델 대비 현저히 우수한 성능을 보였습니다.
• b-태깅 (b-tagging, ATLAS 데이터):
  • ATLAS 의 공개 시뮬레이션 데이터를 사용하여 b-쿼크, c-쿼크, 경입자 (light), 타우 (tau) 제트를 분류했습니다.
  • OmniLearned 는 ATLAS 의 기존 GN2 모델보다 b-태깅에서 50% 이상, c-태깅에서 30~50% 향상된 배경 제거율을 기록했습니다.
  • 생성 헤드를 트랙 분류 작업에 재사용 (Repurposing) 하여 추가적인 보조 작업 (Track Origin Prediction) 을 수행함으로써 성능을 더욱 향상시켰습니다.
• 이상 탐지 (Anomaly Detection, CMS 데이터):
  • CMS 2016 데이터를 사용하여 0.1% 비율로 포함된 탑 쿼크 제트를 '이상 (Anomaly)'으로 탐지하는 실험을 수행했습니다.
  • 전략 1 (Cathode 스타일): 생성 모델을 배경 추정과 분류기를 결합하여 사용. 미세 조정된 OmniLearned 는 처음부터 훈련한 모델보다 훨씬 높은 통계적 유의성 (Significance) 을 보이며 탑 쿼크를 성공적으로 재발견했습니다.
  • 전략 2 (직접 분류): 사전 학습된 클래스 (3-prong decay 등) 를 직접 이상 점수 (Anomaly Score) 로 활용. 추가 미세 조정 없이도 탑 쿼크 신호를 명확히 식별했습니다.

5. 의의 및 전망 (Significance)

• 패러다임 전환: 제트 물리학에서 개별 작업별 모델 훈련에서 대규모 기초 모델 기반의 범용 프레임워크로의 전환을 주도합니다.
• 자원 효율성: 고비용인 완전 시뮬레이션 데이터의 필요성을 줄이고, 미세 조정을 통해 기존 모델 대비 훨씬 적은 자원으로 SOTA 성능을 달성할 수 있음을 보여줍니다.
• 미래 발견 가능성: 과거, 현재, 미래의 충돌기 실험 (LHC 등) 에서 새로운 물리 현상 (New Physics) 을 발견할 수 있는 잠재력을 크게 확장합니다.
• 확장성: 제트 물리학을 넘어 전체 이벤트 토폴로지나 다른 충돌 시스템, 심지어 천체물리학 (Gaia 데이터 등) 으로도 방법론과 사전 학습 가중치를 확장할 수 있는 가능성을 제시합니다.

이 논문은 OmniLearned가 제트 물리학의 새로운 표준 도구로 자리 잡을 수 있음을 강력하게 시사하며, 오픈 소스 소프트웨어와 대규모 데이터셋을 공개함으로써 커뮤니티 전체의 연구 속도를 가속화할 것으로 기대됩니다.