⚛️ 고에너지 실험

SuperJEPA: Pretraining with a Supervision-Augmented Joint-Embedding Predictive Architecture for High Energy Physics

이 논문은 지도 학습 목적 함수로 증강된 결합 임베딩 예측 아키텍처인 SuperJEPA를 소개하며, 이는 대규모 레이블링된 시뮬레이션 데이터셋이 이미 가용하게 확보되어 있는 고에너지 물리학 맥락에서도 다양한 모델 크기와 데이터셋 규모에 걸쳐 향상된 다운스트림 제트 태깅 성능을 입증한다.

원저자: Dylan Sheldon Rankin, Ho Fung Tsoi

게시일 2026-10-28

📖 4 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Dylan Sheldon Rankin, Ho Fung Tsoi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

고에너지 입자 물리학의 입자 충돌 실험에서 과학자들은 입자들이 실시간으로 충돌하는 모습을 지켜보는 것이 아니라, 그 여파를 관찰합니다. 양성자들이 빛의 속도에 가깝게 서로 충돌할 때, 이들은 '제트(jet)'라고 불리는 새로운 입자들의 분출물로 부서집니다. 이 제트는 원래의 충돌을 만들어낸 근본적인 힘과 입자에 대한 단서를 담고 있는 충돌의 지문입니다. 충돌에서 무슨 일이 일어났는지 이해하기 위해 연구자들은 이 제트들을 범주별로 분류해야 하며, 이 과정을 '제트 태깅(jet tagging)'이라고 합니다. 수십 년 동안 컴퓨터에게 이 분류 작업을 가르치는 표준적인 방법은 이미 정답이 알려진 수백만 개의 시뮬레이션 사례를 보여주는 것이었습니다. 물리학자들은 이러한 라벨이 붙은 시뮬레이션을 완벽한 정확도로 생성할 수 있기 때문에, 인공지능을 훈련시키는 가장 강력한 방법은 단순히 이러한 라벨링된 사례를 최대한 많이 입력하여 컴퓨터가 암기하듯 규칙을 배우게 하는 것이라고 전통적으로 믿어 왔습니다.

하지만 새로운 접근 방식은 라벨링된 데이터가 지능을 위한 유일한 경로라는 생각에 도전합니다. 최근 펜실베이니아 대학교의 연구진은 컴퓨터가 볼 수 있는 것을 바탕으로 그림의 누락된 부분을 예측하는 방식—즉, 보이지 않는 부분을 추론하는 방식—이 충분한 라벨링 데이터가 존재할 때조차 성능을 개선할 수 있는지 탐구했습니다. 그들은 기존의 라벨링 훈련과 예측 과제를 결합한 'SuperJEPA'라는 방법을 개발했습니다. 연구진은 이 하이브리드 접근 방식이 모델이 입자 제트에 대한 더 나은 표현(representation)을 학습하도록 하여, 다양한 테스트에서 더 정확한 분류를 이끌어냈다는 것을 발견했습니다. 이 결과는 완벽한 라벨이 존재하는 분야에서도, 컴퓨터에게 퍼즐의 빠진 조각을 맞히도록 요구하는 것이 전체 그림을 더 깊이 이해하는 데 도움이 될 수 있음을 시사합니다.

연구진은 먼저 열 가지 유형의 입자 상호작용으로부터 추출된 수백만 개의 사례를 포함하는 거대한 시뮬레이션 입자 제트 데이터셋을 가져왔습니다. 그들은 제트를 보고 어떤 입자가 이를 생성했는지 식별하도록 설계된 컴퓨터 모델을 구축했습니다. 새로운 방법을 테스트하기 위해, 그들은 훈련 과정을 두 부분으로 나누었습니다. 첫째, 모델에게 제트의 상당 부분이 숨겨진 상태로 보여주는 기술을 사용했습니다. 모델은 보이는 입자들을 보고 숨겨진 입자들의 특성을 예측해야 했습니다. 이는 모델이 단순히 최종 정답을 암기하는 것이 아니라, 제트의 근본적인 구조를 파악하고 입자들이 서로 어떻게 연관되어 있는지를 이해하도록 강제했습니다. 둘째, 이 예측 과제를 전체 제트를 보여주고 정답 라벨을 알려주는 전통적인 방식과 결합했습니다.

그들은 이 결합된 접근 방식인 SuperJEPA를 라벨링된 데이터로만 훈련된 표준 모델과 비교 테스트했습니다. 연구진은 수십만 개에서 이천만 개에 이르는 다양한 양의 훈련 데이터와 다양한 크기의 컴퓨터 모델을 대상으로 이 테스트를 수행했습니다. 모든 시나리오에서 SuperJEPA 모델은 표준 모델보다 뛰어난 성능을 보였습니다. 특히 개선 효과는 모델이 초기 훈련 중에 보지 못했던 유형의 입자를 식별하도록 요청받았을 때 가장 두드러졌습니다. 예를 들어, 특정 네 가지 입자 유형에 대해 훈련된 후 열 가지 유형을 식별하도록 했을 때, SuperJEPA 모델은 보지 못한 새로운 범주를 인식하는 능력이 현저히 높았습니다. 이는 예측 과제가 모델로 하여금 단순한 암기보다 더 유연한 이해력을 갖게 하여, 새로운 상황에 더 쉽게 적응할 수 있도록 도왔음을 시사합니다.

연구진은 모델의 내부 설정이 고정된 상태와 최종 테스트 단계에서 변경될 수 있는 상태일 때 각각 모델이 어떻게 작동하는지도 살펴보았습니다. 두 경우 모두 예측 방식이 적용된 모델이 더 우수한 성능을 보였습니다. 연구진은 모델이 입자에 대한 정보를 입자 유형별로 구분하기 쉬운 방식으로 조직화한다는 것을 관찰했습니다. 표준 모델은 서로 다른 제트에 대해 유사한 형태의 내부 표현을 생성하는 경향이 있었던 반면, SuperJEPA 모델은 겉보기에 매우 유사한 제트라 할지라도 각 유형에 대해 뚜렷한 패턴을 만들어냈습니다. 이러한 미세한 차이를 찾아내는 능력은 훈련된 것과 다른 에너지 수준이나 입자 수를 가진 데이터셋에서 모델을 테스트할 때 결정적인 역할을 했습니다.

가장 흥ante로운 발견 중 하나는 훈련 데이터의 양이 모델을 훈련하는 최적의 방법에 어떤 영향을 미치는지였습니다. 연구진이 훈련 데이터와 매우 다른 데이터셋에 대해 모델을 테스트했을 때, 예측 과제와 라벨링 과제 사이의 균형이 가장 적절하다는 것을 발견했습니다. 그러나 훈련 데이터와 테스트 데이터가 매우 유사할 때는 라벨링 데이터에 더 강한 비중을 두는 것이 최선의 결과를 냈습니다. 이는 이상적인 훈련 전략이 모델이 새로운 상황에 얼마나 일반화되어야 하는지에 따라 달라짐을 나타냅니다. 또한 연구진은 이 방법이 적은 양의 훈련 데이터에서도 잘 작동한다는 점을 언급하며, 예측 과제가 모델이 더 적은 사례로부터 더 효율적으로 학습하도록 돕는다는 것을 시사했습니다.

이 연구는 입자 물리학의 모든 문제를 해결했다고 주장하거나, 라벨링된 데이터가 더 이상 유용하지 않다고 말하는 것이 아닙니다. 대신, 이미 강력한 방법론을 보유한 분야에 정교한 도구를 제공하는 것입니다. 이 연구는 훈련 과정에 예측적 추론의 층을 추가함으로써 모델의 성능을 극한까지 끌어올려 더욱 견고하고 다재다능하게 만들 수 있음을 보여줍니다. 이는 입자 충돌 실험이 그 어느 때보다 많은 데이터를 생산하고 있는 상황에서 특히 중요합니다. 컴퓨터가 이 복잡한 입자 분출물을 분류하는 방식을 개선함으로써, 과학자들은 고에너지 충돌의 노이즈 속에 숨겨진 희귀하고 미묘한 새로운 물리학의 신호를 발견할 수 있기를 기대할 수 있습니다. 이 연구 결과는 고에너지 물리학 분야의 차세대 인공지능 도구를 개발하기 위한 명확한 경로를 제시하며, 완벽한 라벨이 존재하는 세상에서도 '예측'이라는 행위가 여전히 강력한 스승이 될 수 있음을 증명합니다.

기술 요약: 고에너지 물리학을 위한 SuperJEPA

문제 정의
자연어 및 컴퓨터 비전 분야의 파운데이션 모델은 다음 토큰 예측(next-token prediction)과 같은 자기 지도 학습(self-supervised learning, SSL) 목적 함수가 방대한 양의 레이블 없는 데이터로부터 강력한 표현(representation)을 생성할 수 있음을 입증했습니다. 그러나 고에너지 물리학(HEP), 특히 충돌 물리학(collider physics)은 이와 다릅니다. 이 분야는 대량의 고충실도(high-fidelity) 레이블 데이터 시뮬레이션을 이미 보유하고 있습니다. 따라서 이 분야는 제트 태깅(jet tagging)과 같은 작업을 위해 역사적으로 지도 학습 기반의 사전 학습(supervised pretraining)에 의존해 왔습니다. 기존의 HEP 연구들은 이미 정확한 레이블 데이터가 풍부한 환경에서 SSL이 지도 학습 기반 사전 학습보다 유의미한 성능 향상을 가져올 수 있는지 증명하는 데 어려움을 겪었습니다. 본 연구가 다루는 핵심 질문은 레이블 데이터가 이미 풍부한 환경에서도 자기 지도 학습 목적 함수가 지도 학습 기반 사전 학습을 개선할 수 있는가 하는 점입니다.

방법론: SuperJEPA
저자들은 공동 임베딩 예측 아키텍처(Joint-Embedding Predictive Architecture, JEPA)와 지도 학습 목적 함수를 결합한 방법인 SuperJEPA(Supervision-Augmented Joint-Embedding Predictive Architecture)를 소개합니다. 이 아키텍처는 네 가지 주요 구성 요소로 이루어져 있습니다:

인코더(Encoder): 트랜스포머 기반 인코더가 제트 구성 성분(jet constituents)을 처리합니다. EMA(Exponential Moving Average) 교사 네트워크나 그래디언트 정지(stop-gradients)를 사용하는 이전의 HEP JEPA 구현과 달리, SuperJEPA는 컨텍스트(context) 뷰와 타겟(target) 뷰 모두에 대해 단일한 완전 학습 가능 인코더를 사용합니다. 다양한 특징 집합을 가진 데이터셋(예: JetClass vs. JetNet)을 처리하기 위해, 인코더는 특정 특징 그룹을 학습 중 마스킹하는 특징 그룹 임베딩 기법을 사용하여 견고성을 확보합니다.
전처리 및 마스킹(Preprocessing and Masking): 제트 구성 성분들을 Cambridge/Aachen 알고리즘을 사용하여 서브제트(subjets)로 재클러스터링합니다. 각 제트에 대해 "타겟" 영역(서브제트의 부분 집합)을 마스킹하고, 남은 "컨텍스트"를 입력으로 사용합니다. 타겟 비율은 제트의 횡운동량(transverse momentum)의 특정 부분을 포함하도록 선택됩니다.
예측기(Predictor): 트랜스포머 디코더는 오직 컨텍스트 표현만을 사용하여 마스킹된 타겟 구성 성분의 표현을 예측합니다. 결정적으로, 예측기는 타겟 구성 성분의 위치, 특징 또는 개수에 대한 정보를 받지 않으며, 오직 컨텍스트로부터 숨겨진 구조를 추론해야 합니다. 출력값은 순서가 없는 벡터의 집합입니다.
손실 함수(Loss Functions): 전체 사전 학습 손실( $\mathcal{L}_{total}$ $L_{t o t a l}$ )은 세 가지 구성 요소의 가중치 합입니다:
- 예측 손실 ( $\mathcal{L}_{pred}$ ): 예측된 타겟 표현은 데이터의 순서가 없는 특성을 처리하기 위해 최적 운송(optimal transport, Sinkhorn matching)을 사용하여 실제 타겟 표현(프로젝터를 통해 투영됨)과 일치시킵니다.
- SIGReg 손실 ( $\mathcal{L}_{SIGReg}$ ): 투영된 토큰의 잔차(residual)에 적용되는 정규화 항으로, EMA 교사 네트워크 없이도 표현 붕괴(representation collapse)를 방지합니다.
- 분류 손실 ( $\mathcal{L}_{CE}$ ): 지도 학습을 강제하기 위해 [CLS] 토큰에 적용되는 표준 크로스 엔트로피 손실입니다. 이 항의 가중치는 하이퍼파라미터 $\alpha$ 에 의해 제어됩니다.

모델은 JetClass 데이터셋(총 1억 2,500만 개의 제트, 그 중 일부 서브셋 사용)에서 사전 학습됩니다. 사전 학습 후에는 예측기, 프로젝터 및 분류 헤드를 폐기합니다. 그 후 인코더는 가중치를 고정하거나 미세 조정(fine-tuning)하여 다운스트림 작업(JetClass, JetNet, Top Tagging)에 대해 평가됩니다.

주요 기여

새로운 아키텍처: 이는 HEP에 교사 없는(teacher-free) LeJEPA 형식을 적용한 첫 사례입니다. 안정성을 위해 단일 인코더와 SIGReg을 사용하여 EMA 교사 네트워크의 복잡성을 피했습니다.
지도 학습 증강(Supervision Augmentation): 본 논문은 예측 자기 지도 학습과 지도 분류를 상호 배타적인 것으로 취급하는 대신, 이를 결합한 하이브리드 학습 목적 함수를 제안하고 검증합니다.
특징 견고성(Feature Robustness): 고차원 데이터셋(JetClass)에서 학습된 모델이 저차원 데이터셋(JetNet, Top Tagging)으로 일반화될 수 있도록 특징 그룹 드롭아웃(feature-group dropout)을 포함한 특정 메커니즘을 구현했습니다.

결과
저자들은 다양한 모델 크기(Small: 3 블록, 128 dim; Medium: 4 블록, 256 dim)와 사전 학습 데이터셋 크기(40만, 400만, 2,000만 개의 제트)에 대해 SuperJEPA를 평가했습니다.

성능 향상: SuperJEPA는 다양한 제트 태깅 작업에서 동등한 수준의 지도 학습 전용 베이스라인을 일관되게 능가했습니다. 이러한 이점은 고정된 인코더와 미세 조정된 인코더 모두에서 관찰되었습니다.
하이퍼파라미터 민감도: 지도 학습 손실의 가중치( $\alpha$ $α$ )는 성능에 상당한 영향을 미쳤습니다.
- JetClass 데이터셋(사전 학습과 다운스트림 작업이 일치하는 경우)에서는 가장 강한 지도 학습( $\alpha=1.0$ )이 최상의 결과를 냈습니다.
- JetNet 데이터셋(모멘텀 스케일과 특징이 JetClass와 크게 다른 경우)에서는 더 약한 지도 학습( $\alpha=0.1$ )이 일반적으로 더 나은 성능을 보였으며, 이는 최적의 균형이 사전 학습과 다운스트림 작업 간의 도메인 변화(domain shift)에 따라 달라짐을 시사합니다.
일반화: SuperJEPA 모델은 입자 임베딩에 어텐션 풀링(attention-pooling) 메커니즘을 사용할 때, 지도 학습 모델에 비해 사전 학습 중에 보지 못한 클래스(예: leptonic top quarks)를 구분하는 능력이 향상되었습니다.
표현(Representations): 입자 임베딩( $z_i$ ) 분석 결과, SuperJEPA 모델은 지도 학습 모델이 상대적으로 덜 구조화된 임베딩을 생성하는 것과 달리, 입자 토큰에서 더 구조적이고 클래스 의존적인 변동성을 유지하고 있음을 보여주었습니다. 그러나 전역 [CLS] 임베딩은 두 방법 모두에서 유사한 클래스 분리 능력을 보여주었습니다.

의의 및 주장
본 논문은 예측 자기 지도 학습이 지도 학습 목적 함수를 대체하는 것이 아니라 보완하는 방식으로 사용된다면, 대량의 시뮬레이션 샘플이 존재하는 경우에도 여전히 유익하다는 점을 주장합니다. 결과는 "다음 토큰 예측" 스타일의 목적 함수가 인코더가 순수 분류가 놓칠 수 있는 제트 내부의 구조적 관계를 학습하는 데 도움이 된다는 것을 시사합니다.

저자들은 자신의 결과가 2,000만 개의 제트까지의 데이터셋에 대해서는 유효하지만, 이 결론이 수억 또는 수십억 개의 데이터셋으로 확장 가능한지에 대해서는 추가 연구가 필요하다고 조심스럽게 언급했습니다. 또한 자기 지도 학습과 지도 학습 사이의 최적의 균형이 데이터셋에 따라 다르다는 점을 인정하며, 현재의 연구가 제트 태깅에 집중되어 있어 입자 식별(particle identification) 및 이벤트 분류(event classification)는 향후 연구 과제로 남겨두었다고 밝혔습니다. 이 연구는 향후 대규모 입자 물리학 파운데이션 모델에 예측 자기 지도 학습을 포함시켜야 할 동기를 부여합니다.

유사한 논문