🤖 인공지능

RINO: Renormalization Group Distillation with No Labels

RINO는 제트 형성의 다중 척도 재규격화 군 구조를 활용하여 라벨이 없는 QCD 데이터로 모델을 사전 학습함으로써, 기존 방법들과 비교하여 우수한 분포 외(out-of-distribution) 분류 성능과 데이터 효율성을 달성하는 고에너지 물리학을 위한 새로운 자기 지도 학습 프레임워크를 도입한다.

원저자: Zichun Hao, Raghav Kansal, Abhijith Gandrakota, Chang Sun, Haoyang Li, Zihan Zhao, Ngadiuba Jennifer, Javier Duarte, Maria Spiropulu

게시일 2026-10-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zichun Hao, Raghav Kansal, Abhijith Gandrakota, Chang Sun, Haoyang Li, Zihan Zhao, Ngadiuba Jennifer, Javier Duarte, Maria Spiropulu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

우주의 가장 깊은 비밀을 탐구하는 고에너지 물리학 실험실에서, 과학자들은 입자들을 빛의 속도에 가깝게 충돌시킵니다. 그 목표는 우주가 어떻게 작동하는지 설명할 수 있는 희귀하고 무거운 입자들을 포착하는 것입니다. 그러나 이러한 충돌은 수천 개의 더 작은 입자들이 뿜어져 나오는 혼란스러운 분무를 만들어내며, 분류하기가 매우 어려운 복잡한 데이터 구름을 생성합니다. 이를 이해하기 위해 연구자들은 특정 패턴을 인식하도록 훈련된 강력한 컴퓨터 프로그램에 의존하는데, 이는 마치 군중 속에서 특정 얼굴을 찾아내는 법을 배우는 보안 요원과 같습니다. 하지만 근본적인 문제가 있습니다. 이 프로그램들은 대개 컴퓨터 시뮬레이션에 기반하여 훈련된다는 점입니다. 이 시뮬레이션은 실제 세상이 어떠할지에 대한 우리의 최선의 추측이지만, 결코 완벽할 수는 없습니다. 시뮬레이션은 입자들이 상호작용하는 방식과 검출기가 이를 기록하는 방식의 미세한 세부 사항들을 놓치곤 합니다. 불완전한 시뮬레이션으로 훈련된 모델을 실제 충돌기의 실제 데이터에 적용하면, 종종 정확도의 상당 부분을 잃으며 비틀거리게 됩니다. 이 불완전한 시뮬레이션 훈련장과 실제 실험 전장 사이의 간극은 인공지능이 물리학에서 성취할 수 있는 바를 오랫동안 제한해 왔습니다.

연구팀은 이제 이 간극을 메우기 위해, 컴퓨터에게 보는 법을 가르치기 위해 완벽한 시뮬레이션에 의존할 필요가 없는 새로운 방법을 제안했습니다. 레이블(정답)이 지정된 희귀 입자의 사례들에 의존하는 대신, 그들은 방대한 양의 레이블이 없는 일반적인 입자 충돌 데이터를 사용하여 시스템을 가르쳤습니다. 그들은 쿼크나 글루온이 충돌에서 튕겨 나와 다른 입자들의 샤워로 부서질 때 형성되는 "제트(jet)"라고 불리는 특정한 유형의 입자 분무에 집중했습니다. 이 제트들은 독특한 다층 구조를 가지고 있습니다. 나무가 줄기, 가지, 잔가지를 가지고 있듯이, 제트 또한 핵심부, 하위 가지, 그리고 미세한 세부 사항들을 가지며, 이 모든 것들은 서로 다른 해상도 수준에서 존재합니다. 연구자들은 이 자연스러운 계층 구조가 스승의 역할을 할 수 있다는 것을 깨달았습니다. 그들은 RINO(Renormalization Group DIstillation with NO Labels, 레이블 없는 재규격화 그룹 증류)라고 불리는 방법을 개발했습니다. 이 접근 방식은 동일한 제트를 다양한 세부 수준에서 동시에 다룸으로써, 컴퓨터가 그 제트가 실제로 무엇인지 알 필요 없이, 대상을 넓게 보았을 때와 자세히 관찰했을 때가 어떻게 다른지를 이해하도록 강제합니다.

이 새로운 방법의 핵심은 컴퓨터가 데이터를 바라보는 방식에 있습니다. 레이블 없이 제트에 대해 기계에게 가르치려 했던 이전의 시도들에서, 연구자들은 사진을 자르거나 회전시키는 것과 유사하게 동일한 이미지의 다른 버전을 만들기 위해 무작위적인 기법들을 사용하곤 했습니다. 하지만 제트는 사진이 아니라 고정된 형태가 없는 움직이는 점들의 집합입니다. 대신 RINO 팀은 클러스터링(clustering, 군집화)이라는 물리적 과정을 사용하여 그들의 '시점'을 만들었습니다. 하나의 제트를 가져와서 가장 단단하게 결합된 쌍부터 시작하여 바깥쪽으로 그룹화하는 과정을 상상해 보십시오. 이 그룹화 과정을 서로 다른 단계에서 멈춤으로써, 연구자들은 동일한 제트에 대한 일련의 시점들을 생성할 수 있었습니다. 하나는 입자들의 미세하고 정밀한 분무를 보여주는 것이고, 다른 것들은 동일한 제트를 몇 개의 거칠고 큰 덩어리로 보여주는 것입니다. 이러한 서로 다른 시점들은 동일한 물리적 대상을 서로 다른 척도의 해상도로 나타냅니다. 시스템은 그 후 '스승'과 '학생' 설정을 사용합니다. 학생은 제트를 가장 상세한 형태로 보고, 스승은 동일한 제트를 더 거칠고 단순화된 형태로 봅니다. 학생은 스승이 보는 것을 예측하는 과제를 수행하며, 얼마나 많은 세부 사항이 보이는지와 관계없이 일관되게 유지되는 근본적인 구조를 인식하는 법을 배웁니다.

이 접근 방식은 컴퓨터가 입자의 진정한 본질을 인식하도록 가르치는 데 놀라울 정도로 효과적이었습니다. 연구진이 시스템을 테스트했을 때, 레이블이 지정된 데이터의 아주 적은 부분만을 사용하여 훈련했음에도 불구하고 탑 쿼크(top quark)와 같은 희귀하고 무거운 입자를 높은 정확도로 식별할 수 있음을 발견했습니다. 실제로, 사용 가능한 레이블 데이터의 단 1%만을 사용하여 훈련된 이 시스템은 100%의 레이블 데이터를 사용하여 훈련된 전통적인 시스템만큼의 성능을 보였습니다. 이는 이 방법이 제트의 필수적인 물리학을 매우 잘 포착하여, 학습을 위해 방대한 양의 특정 사례를 필요로 하지 않는다는 것을 시사합니다. 더욱이, 이 시스템은 강력한 일반화 능력을 보여주었습니다. 이전에 본 적 없는 유형의 입자 붕괴인 4개의 쿼크로 분해되는 힉스 입자(Higgs boson)에 대해 테스트했을 때, 시스템은 재훈련 없이도 다른 방법들보다 현저히 나은 성능을 보였습니다. 이는 시스템이 단순히 특정 사례를 암기하는 것이 아니라, 입자 분무가 형성되는 일반적인 규칙을 학습했음을 나타냅니다.

이 방법의 성공은 또한 이러한 컴퓨터 모델들이 어떻게 학습하는지에 대한 중요한 사실을 밝혀냈습니다. 연구진은 최상의 성능이 모델을 시점의 척도에 대해 완전히 무관하게 만드는 것이 아니라, 모델이 척도감을 유지할 수 있도록 허용할 때 온다는 것을 발견했습니다. 즉, 시스템은 모든 시점이 동일하게 보이도록 강제하는 대신, 거친 수준에서 제트가 미세한 수준에서와 다르게 보인다는 사실을 기억할 수 있을 때 가장 잘 작동했습니다. 이러한 통찰은 대상이 어떻게 보여지는지에 따라 모델의 이해가 완전히 독립적이어야 한다고 여겼던 해당 분야의 기존 가정들에 도전하는 것입니다. 서로 다른 척도 사이의 관계를 보존함으로써, 모델은 더 견고해졌으며 흔한 배경 소음과 희귀하고 흥미로운 신호를 더 잘 구별할 수 있게 되었습니다. 이 연구 결과는 인공지능을 데이터 자체의 근본적인 물리적 구조에 기반하게 함으로써, 과학자들이 실험 물리학의 무질서하고 불완전한 현실에 적용할 수 있는 훨씬 더 신뢰할 수 있는 도구를 구축할 수 있음을 시사합니다. 이 작업은 불완전한 시뮬레이션에 대한 의존도를 낮추고, 연구자들이 실제 우주를 바라볼 때 자신들의 도구를 더 신뢰할 수 있게 함으로써, 새로운 물리학을 발견하기 위한 머신러닝의 유망한 길을 제시합니다.

기술 요약: RINO – 레이블 없는 재정규화 그룹 증류 (Renormalization Group Distillation with NO Labels)

문제 정의

고에너지 물리학(HEP)에서 지도 학습 기반 머신러닝 모델은 제트 태깅(jet tagging)과 같은 작업을 수행하기 위해 레이블이 지정된 몬테카를로(MC) 시뮬레이션에 의존합니다. 그러나 이러한 시뮬레이션은 실제 검출기 데이터를 완벽하게 재현하지 못하며, 이로 인해 상당한 도메인 시프트(domain shift)가 발생합니다. 시뮬레이션으로 학습된 모델을 실제 데이터에 적용할 경우 성능이 20~40%까지 저하될 수 있습니다. 자기 지도 학습(Self-Supervised Learning, SSL)은 레이블이 없는 실제 데이터로 사전 학습을 수행할 수 있는 경로를 제시하지만, 기존 방법론들은 컴퓨터 비전(예: 이미지 크롭)이나 자연어에서 유래한 귀납적 편향(inductive biases)에 의존하는 경우가 많으며, 이는 가변 길이의 포인트 클라우드 형태인 입자 제트(particle jets)에는 자연스럽게 적용되지 않습니다. 또한, 기존의 많은 물리 기반 SSL 방법들은 단일 물리적 스케일에서 작동하며, 제트 형성에 내재된 근본적인 다중 스케일 구조를 간과합니다.

방법론: RINO 프레임워크

저자들은 양자 색역학(QCD) 제트 형성의 고유한 다중 스케일 재정규화 그룹(RG) 구조를 활용하는 SSL 프레임워크인 RINO(Renormalization Group DIstillation with NO Labels)를 제안합니다.

1. 물리 정보 기반 뷰 구축 (Physics-Informed View Construction)

RINO는 인위적인 데이터 증강 대신, 제트의 묘사 해상도를 변화시킴으로써 동일한 제트의 "뷰(views)"를 생성합니다. 이는 QCD 파톤 샤워(parton shower, RG 흐름)를 근사적으로 역전시키는 $k_T$ 클러스터링 알고리즘을 사용하여 수행됩니다. 클러스터링 시퀀스를 서로 다른 서브제트(subjet) 개수( $N$ )에서 멈춤으로써, 미세한 미클러스터링 입자 구름부터 적은 수의 서브제트를 가진 거친 표현( $N \in \{2, 3, 4, 6, 8, 16\}$ )에 이르기까지 일련의 운동학적 묘사를 생성합니다. 이러한 뷰들은 물리적으로 의미 있는 거친 격자화(coarse-graining) 단계에 해당합니다.

2. 자기 증류 아키텍처 (Self-Distillation Architecture)

RINO는 교사-학생(teacher-student) 자기 증류 프레임워크(DINO에서 영감)를 채택합니다.

교사(Teacher): 중간 규모의 뷰( $N \in \{6, 8, 16\}$ )를 입력받습니다.
학생(Student): 거친 표현( $N \in \{2, 3, 4\}$ )과 미클러스터링(uncl.) 상태를 포함한 전체 스펙트럼의 뷰를 입력받습니다.
목적 함수: 학생은 다음의 복합 손실 함수를 통해 교사의 표현을 일치시키도록 학습됩니다.
- $L_{DINO}$ : 붕괴(collapse)를 방지하기 위해 Sinkhorn–Knopp 중심화를 사용하여 뷰 계층 간의 표현을 정렬합니다.
- $L_{iBOT}$ : 마스킹된 입자의 교사 표현을 학생이 예측하는 마스크 입자 예측 작업입니다.
- $L_{KoLeo}$ : 하이퍼스피어 상에서 다양성을 위해 임베딩을 정규화하는 미분 엔트로피 추정기입니다.
업데이트 메커니즘: 교사의 파라미터는 학생 파라미터의 지수 이동 평균(EMA)을 통해 업데이트됩니다.

3. 학습 프로토콜

신호 데이터는 희소하고 배경(background)이 지배적인 실제 배포 조건을 시뮬레이션하기 위해 다음과 같이 구성합니다.

사전 학습(Pretraining): JETCLASS 데이터셋에서 모든 신호 클래스(top quark, W/Z boson, Higgs boson 등)를 제외한 QCD 제트만을 사용하여 수행됩니다.
미세 조정(Finetuning): 더 작은 규모의 JETNET 데이터셋을 사용하여 수행됩니다(제한된 레이블 시뮬레이션 데이터 시뮬레이션).
평가(Evaluation): JETNET과 분포 차이가 있는 타겟 분포로서의 대규모 JETCLASS 데이터셋 내 신호 클래스에 대해 분포 외(OOD) 전이를 평가합니다.

주요 기여

제트를 위한 최초의 다중 스케일 SSL: RINO는 $k_T$ 클러스터링 스케일에 따라 제트 표현을 정렬하는 최초의 SSL 프레임워크로, 제트 형성의 RG 흐름 구조를 활용합니다.
현실적인 통제된 비교: 본 프레임워크는 오직 QCD 배경 데이터로만 사전 학습되어(실제 충돌기 데이터 모사), 기존 SSL 연구들이 신호 데이터에 치우쳐 있던 문제를 해결했습니다.
귀납적 편향의 절제 연구(Ablation): 본 연구는 다중 스케일 뷰 구축과 SSL 목적 함수(대조 학습 vs 자기 증류)의 기여도를 분리하여, 백본(backbone)에서 스케일 의존적 구조를 보존하는 것이 성능에 결정적임을 밝혀냈습니다.

실험 결과

논문은 최상위 쿼크 제트 태깅(hadronic $t \to bqq$ )을 주요 다운스트림 작업으로 사용하여 RINO를 지도 학습 및 최근 SSL 베이스라인(JetCLR, MPMv1, MPMv2, OmniJet- $\alpha$ )과 비교 평가합니다.

OOD 성능: 미세 조정을 위한 전체 레이블 데이터셋이 있을 때, RINO는 가장 강력한 SSL 베이스라인인 MPMv1보다 5.9%, 제로샷 지도 학습보다 7.8% 향상된 OOD 분류 정확도를 보였습니다.
데이터 효율성: RINO는 레이블된 데이터의 단 **1%**만으로 미세 조정을 수행했을 때, 전체 JETNET 데이터셋을 사용한 완전 지도 학습의 성능과 일치하는 성능을 달립다.
교차 토폴로지 일반화: 재학습 없이, RINO는 보지 못한 힉스 보존 붕괴 채널 $H \to 4q$ 에 대한 AUC를 가장 강력한 SSL 베이스라인보다 4.1% 개선했습니다. 이는 3-prong top-quark 제트로만 미세 조정되었음에도 불구하고 4-prong 토폴로지에 일반화할 수 있음을 보여줍니다.
도메인 시프트 지표: RINO는 미세 조정 도메인과 평가 도메인 사이의 분포 시프트가 현저히 낮았습니다. 베이스라인 대비 **3배 작은 1-Wasserstein 거리(W1)**와 **6~7배 작은 제곱 최대 평균 불일치(MMD $^2$ )**를 기록했습니다.
절제 연구 통찰:
- 표준 증강을 $k_T$ 뷰로 대체할 경우 표준 JetCLR 대비 **+11.4%**의 이득을 얻었습니다.
- iBOT 전용 베이스라인에 교차 스케일 자기 증류를 추가하면 **+14.0%**의 이득을 얻었습니다.
- 다중 스케일 뷰와 자기 증류의 결합(RINO)은 다중 스케일 뷰와 대조 학습의 결합(JetCLR-scale)보다 8.6% 더 우수한 성능을 보였습니다.
- 스케일 인식(Scale-Awareness): 분석 결과, RINO의 백본은 스케일 의존적 구조를 유지하는 반면(다른 방법들의 스케일 불변 백본과 대조됨), 투영 헤드(projection head)가 이를 차단하여 불변성을 달성함을 확인했습니다. 이러한 스케일 정보의 보존이 성능 격차의 핵심 동력으로 식선되었습니다.

의의 및 주장

본 논문은 도메인 불가지론적 증강을 넘어, 물리적 구조(RG 흐름)를 활용하여 SSL 뷰를 구축하는 것이 유효함을 입증합니다. 배경 데이터가 지배적인 QCD 데이터로 사전 학습함으로써, RINO는 불완전한 신호 시뮬레이션에 대한 의존도를 줄이고 희귀 신호 클래스로의 강력한 전이를 달えます. 이 연구는 백본에서 스케일 의존적 구조를 보존하면서 투영 헤드를 통해 불변성을 달성하는 것이, 백본 자체에 직접적으로 스케일 불변성을 강제하는 것보다 HEP의 OOD 일반화에 더 우월한 전략임을 강조합니다.

저자들은 한계점으로, 평가가 실제 데이터 검증이 아닌 시뮬레이션 간의 프록시(JETNET 대 JETCLASS)에 의려하고 있다는 점과, $k_T$ 귀납적 편향이 트랙 수준의 특징에 의해 주도되는 플레이버 태깅(flavor-tagging) 작업보다는 다중 프롱(multi-prong) 하부 구조 작업에 더 유익하다는 점을 언급했습니다.