jBOT: Semantic Jet Representation Clustering Emerges from Self-Distillation

이 논문은 CERN의 LHC 제트(jet) 데이터를 활용하여 입자 수준과 제트 수준의 자기 증류(self-distillation)를 결합한 jBOT 학습법을 제안하며, 이를 통해 레이블 없는 데이터에서도 의미론적 클러스터링이 나타나 이상 탐지 및 분류 성능을 향상시킬 수 있음을 보여줍니다.

핵심

1. 배경: "우주라는 거대한 퍼즐 조각들"

유럽 입자 물리 연구소(CERN)의 거대 강입자 가속기(LHC)는 엄청난 에너지를 충돌시켜 아주 작은 입자들을 만들어냅니다. 이때 입자들이 흩어지면서 **'제트(Jet)'**라고 불리는 입자 뭉치들을 만드는데, 이 제트는 마치 **'부서진 도자기 파편'**과 같습니다.

물리학자들의 숙제는 이 파편들을 보고 "이게 원래 어떤 도자기(입자)였을까?"를 맞히는 것입니다. 하지만 파편이 너무 많고 복잡해서 맞히기가 매우 어렵습니다.

2. 기존의 방식: "정답지만 보고 공부하는 학생" (지도 학습)

기존의 AI 방식은 선생님이 모든 파편에 "이건 A 도자기 파편이야", "이건 B 도자기 파편이야"라고 **정답(Label)**을 일일이 알려주며 공부시키는 방식이었습니다. 하지만 정답을 다 알려주려면 사람이 엄청나게 고생해야 하고, 정답이 없는 새로운 형태의 파편이 나타나면 AI는 당황해서 아무것도 못 합니다.

3. jBOT의 방식: "스스로 관찰하며 패턴을 익히는 천재 탐정" (자기주도 학습)

이번 논문에서 제안한 jBOT은 공부 방식이 완전히 다릅니다. 정답을 알려주지 않고, 그냥 수많은 파편 사진만 잔뜩 보여줍니다. 대신 AI에게 다음과 같은 **'훈련 게임'**을 시킵니다.

• 숨은 그림 찾기 (Masking): 파편 사진의 일부를 가려놓고, "가려진 부분이 원래 어떤 모양이었을까?"를 스스로 추측하게 합니다.
• 거울 놀이 (Augmentation): 파편을 살짝 돌리거나 모양을 조금 변형시켜서 보여준 뒤, "모양은 바뀌었지만 이건 결국 같은 파편이지?"라고 스스로 깨닫게 합니다.

이렇게 정답 없이 스스로 패턴을 파악하다 보면, AI는 어느 순간 **"아, 이 파편들은 결이 비슷하네? 이건 아마 비슷한 종류일 거야!"**라며 스스로 파편들을 비슷한 것끼리 모으기 시작합니다(이것을 논문에서는 **'의미론적 클러스터링'**이라고 부릅니다).

4. jBOT이 가져온 놀라운 결과

1. "공부 효율이 엄청나요!" (Classification):
   정답을 아주 조금만 알려줘도(데이터의 10%만 사용해도), 처음부터 정답만 보고 공부한 AI보다 훨씬 똑똑하게 파편의 정체를 맞힙니다. 기초 체력이 튼튼해졌기 때문이죠.

2. "이상한 놈을 귀신같이 찾아내요!" (Anomaly Detection):
   평범한 파편들만 가지고 공부를 시켰더니, 나중에 전혀 생뚱맞게 생긴 파편이 나타나면 **"어? 이건 내가 배운 패턴이랑 완전히 다른데? 뭔가 새로운 거야!"**라고 즉각 반응합니다. 이는 새로운 물리 법칙을 발견하는 데 결정적인 역할을 할 수 있습니다.

---

요약하자면!

jBOT은 마치 **"정답지 없이도 수만 개의 퍼즐 조각을 관찰하는 것만으로, 조각들의 모양과 결을 스스로 파악해내는 똑똑한 탐정 AI"**입니다.

이 기술 덕분에 과학자들은 정답이 없는 미지의 영역(새로운 입자나 물리 현상)을 탐험할 때, AI의 도움을 받아 훨씬 빠르고 정확하게 우주의 비밀을 풀 수 있게 되었습니다.

기술 요약

[기술 요약] jBOT: 자기 증류(Self-Distillation)를 통한 의미론적 제트 표현 클러스터링의 발현

1. 문제 배경 (Problem Statement)

고에너지 물리학(HEP)의 핵심 과제 중 하나는 LHC(대형 강입자 충돌기) 실험에서 발생하는 **제트(Jet)**의 기원을 식별하는 것입니다. 제트는 수많은 입자가 복잡한 구조(substructure)를 이루며 뭉쳐 있는 형태이기 때문에, 이를 정확히 분류(Jet Tagging)하는 것은 표준 모델 측정 및 새로운 물리 현상 발견에 매우 중요합니다.

기존의 머신러닝 방식은 주로 **지도 학습(Supervised Learning)**에 의존해 왔으나, 이는 다음과 같은 한계가 있습니다:

• 레이블 의존성: 고품질의 레이블이 달린 데이터(시뮬레이션 또는 실제 실험 데이터)를 대량으로 확보하는 데 비용과 노력이 많이 듭니다.
• 데이터 효율성: 레이블이 적은 상황에서는 모델의 성능이 급격히 저하됩니다.
• 이상 탐지(Anomaly Detection)의 어려움: 알려지지 않은 새로운 물리 현상을 찾기 위해서는 레이블이 없는 데이터로부터 일반적인 특징을 추출하는 능력이 필요합니다.

2. 방법론 (Methodology: jBOT)

본 논문은 컴퓨터 비전 분야의 iBOT 프레임워크를 제트 데이터에 맞게 변형한 **jBOT(Jet Bidirectional Transformer)**를 제안합니다. 핵심은 자기 증류(Self-distillation) 기반의 자기 지도 학습(SSL)입니다.

A. 데이터 증강 (Augmentations)

제트의 물리적 특성을 보존하면서 학습을 돕기 위해 세 가지 증강 기법을 사용합니다:

1. Uniform Rotation: 제트 축을 중심으로 입자들을 균일하게 회전.
2. Gaussian Smearing: 입자의 위치에 가우시안 노이즈 추가.
3. Collinear Splitting: 횡운동량($p_T$)을 보존하며 입자를 분할.

B. 아키텍처 (Architecture)

• Transformer Encoder: 입자들을 토큰화하여 처리하는 ViT(Vision Transformer) 스타일의 인코더를 사용합니다.
• [CLS] Token: 제트 전체의 전역적 문맥(Global context)을 응축하기 위해 특수 토큰을 추가합니다.
• Teacher-Student 구조: 학생(Student) 네트워크가 교사(Teacher) 네트워크의 출력을 예측하도록 학습합니다. 교사의 가중치는 학생 가중치의 지수 이동 평균(EMA)으로 업데이트되어 학습의 안정성을 높이고 정보 붕괴(Collapse)를 방지합니다.

C. 학습 목적 함수 (Loss Functions)

1. 입자 수준 목적 (Particle-level objective): 학생 네트워크의 일부 입자 토큰을 마스킹(Masking)하고, 교사 네트워크가 예측한 원래 입자의 표현을 맞추도록 합니다 (Momentum-aware masking 적용).
2. 제트 수준 목적 (Jet-level objective): 서로 다른 증강 뷰(View) 간의 [CLS] 토큰 표현을 일치시켜 전역적 특징을 학습합니다.
3. KoLeo Regularizer: 임베딩 공간에서 데이터가 고르게 퍼지도록 하여 표현의 다양성을 확보합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 의미론적 클러스터링의 발현 (Emergent Semantic Clustering)

레이블을 전혀 사용하지 않고 자기 지도 학습만 수행했음에도 불구하고, 학습된 임베딩 공간에서 서로 다른 제트 클래스(q, g, W, Z, t)가 자연스럽게 군집(Cluster)을 형성함을 t-SNE 시각화를 통해 증명했습니다.

B. 하위 작업 성능 (Downstream Tasks)

1. 분류 (Classification):
   • 레이블 효율성: 레이블이 10%만 있는 상황에서도, 처음부터 지도 학습으로 학습한 모델보다 jBOT을 미세 조정(Fine-tuning)한 모델의 성능이 더 높았습니다.
   • 성능 향상: 전체 데이터를 사용했을 때도 지도 학습 모델보다 높은 정확도와 AUC를 기록했습니다.
2. 이상 탐지 (Anomaly Detection):
   • 배경 데이터(QCD 제트: q, g)로만 학습시킨 후, 학습에 사용되지 않은 신호(W, Z, t)를 탐지하는 실험을 수행했습니다.
   • k-NN, Cosine Similarity, GMM 등 다양한 거리 기반 메트릭을 사용하여 탐지했을 때, 기존의 재구성 기반 오토인코더(Autoencoder) 모델들과 대등하거나 더 뛰어난 성능(AUC)을 보였습니다.

4. 의의 (Significance)

• 파운데이션 모델로의 가능성: jBOT은 제트 데이터에 대한 '파운데이션 모델(Foundation Model)' 구축을 위한 유망한 방법론을 제시했습니다.
• 데이터 활용 극대화: 레이블이 없는 방대한 양의 실험 데이터를 활용하여 물리적 특징을 학습할 수 있음을 보여주었습니다.
• 범용성: 제트 분류뿐만 아니라, 새로운 물리 현상을 찾는 이상 탐지 작업에서도 강력한 도구가 될 수 있음을 입증했습니다.

---

요약 결론: jBOT은 자기 증류 기법을 통해 제트의 복잡한 구조를 스스로 학습하며, 이를 통해 레이블이 부족한 상황에서도 높은 분류 성능을 보이고, 레이블 없는 데이터만으로도 효과적인 이상 탐지가 가능함을 보여준 혁신적인 연구입니다.