기술 요약: 판다 외교 (Panda Diplomacy)

문제 정의

입자 및 핵물리학 분야의 파운데이션 모델은 주로 검출기 특정 아키텍처와 사전 학습 목적 함수에 의해 제약을 받아왔습니다. 기존 방식은 일반적으로 단일 센싱 모달리티(예: 액체 아르곤 시한 투영 검출기(LArTPC), 콜라이더 TPC, 또는 워터 체렌코프 검출기)에 결속된 특화된 표현형이나 작업별 목표에 의존합니다. 이러한 특수성은 기하학적 구조, 센싱 메커니즘 및 물리적 구조가 크게 다른 서로 다른 실험 설정 간의 학습된 표현 재사용을 제한합니다. 최근 연구에서 단일 검출기 유형에 대한 센서 수준의 파운데이션 모델을 입증하기는 했으나, 최소한의 아키텍처 변경만으로 질적으로 다른 입자 검출기 전반에서 효과적으로 작동할 수 있는 통합된 표현 학습 메커니즘이 존재하는지는 미지수로 남아 있었습니다.

방법론

저자들은 세 가지 서로 다른 검출기 모달리티에 적용할 수 있도록 설계된 업데이트된 백본 아키텍처 및 통합 사전 학습 프레임워크인 Panda V2를 소개합니다:

1. 액체 아르곤 시한 투영 검출기 (LArTPC) (PILArNet-M 데이터셋).
2. 콜라이더 TPC (sPHENIX TPC, TPCpp-10M 데이터셋).
3. 워터 체렌코프 검출기 (Super-Kamiokande 유사, WAND 데이터셋).

아키텍처 (Panda V2 인코더)

모델은 Point Transformer V3 및 LitePT를 기반으로 한 4단계 포인트 네이티브 인코더를 사용합니다. 주요 아키텍처 특징은 다음과 같습니다:

• 희소 3D 컨볼루션 (Sparse 3D Convolutions): 높은 공간 해상도에서 사용됩니다.
• 로컬 셀프 어텐션 (Local Self-Attention): 더 거친 스케일에서 채택됩니다.
• 처리 흐름: 네트워크는 네이티브 복셀화를 처리하고, 2배 비율로 풀링(pooling)하며, 동일 해상도에서 컨볼루션을 어텐션으로 전환하고, 다시 4배 비율로 풀링한 후 최종 어텐션 단계로 마무리됩니다.
• 다중 스케일 특징: 특징들은 업샘플링 및 결합되어 각 입력 포인트에 대한 문맥적 특징을 생성합니다.
• 매개변수 효율성: 아키텍처는 어텐션 전용 블록에서 비 잔차(non-residual) 사전 레이어 정규화를 제거하고 3D 회전 위치 임베딩(PointRoPE)을 활용합니다.

사전 학습 목적: 관측 가능한 프로토타입 자기 증류 (Observable Prototype Self-Distillation)

프레임워크는 지수 이동 평균(EMA) 교사(teacher) 모델과 학생(student) 모델이 동일하게 독립적으로 증강된 뷰(view)를 인코딩하는 자기 증류 목적 함수를 채택합니다. 학생 모델은 학습된 프로토타입 상에서 교사 모델의 할당을 예측합니다.

• 마스킹 전략: DOS(Observable Prototype Self-Distillation)를 따라, 마스킹된 측정값은 명시적으로 표현되는 대신 제거되며, 오직 관측 가능한 위치만이 증류됩니다.
• 일반화: 이 목적 함수에는 검출기 특정의 전파(propagation) 또는 재구성 규칙이 포함되지 않습니다. 강력하고 일반적인 공간 증강(회전, 이동, 지터링)이 적용됩니다.
• 하이퍼파라미터: 입력의 수치적 및 공간적 스케일과 직접 관련된 하이퍼파라미터(예: 그리드 크기, 마스크 크기)만 모달리티 간에 조정됩니다.

다운스트림 적응

다운스트림 작업은 작업당 1,000개의 레이블된 이벤트만을 사용하는 **매개변수 효율적 미세 조정(parameter-efficient fine-tuning)**을 활용합니다:

• 의미론적 분할 (Semantic Segmentation): 저계수 적응(LoRA)을 결합한 선형 분류기.
• 입자 클러스터링 (Particle Clustering): LoRA를 결 결합한 경량 2단계 그래프 신경망(GNN).
• 단일 링 워터 체렌코프 (Single-Ring Water Cherenkov): 동결된 이벤트 표현 또는 등변 좌표-특징 모멘트(equivariant coordinate-feature moments) 상의 선형 프로브.
• 다중 링 워터 체렌코프 (Multi-Ring Water Cherenks): "Panda Detector" 모듈 (DETR 스타일의 집합 예측) 및 LoRA.

주요 결과

1. 데이터 효율성 및 성능

Panda V2는 수십 배 더 많은 감독 학습을 통해 훈련된 특화된 파운데이션 모델 베이스라인과 대등하거나 이를 능가하는 성능을 보였습니다:

• LArTPC (PILArNet-M): 단 1,000개의 레이블된 이벤트만으로 Panda V2는 100만 개의 레이블된 이벤트로 훈련된 Panda V1과 대등한 입자 클러스터링 수정 랜드 지수(ARI) 0.973을 달성했습니다. 의미론적 분할의 경우, 100,000개의 이벤트로 훈련된 Panda V1에 필적하는 매크로-F1 점수 0.976에 도달했습니다.
• 콜라이더 TPC (TPCpp-10M): 1,000개의 레이블된 이벤트를 사용하여 Panda V2는 70,000개의 레이블된 이벤트로 얻은 FM4NPP의 결과인 0.945에 근접한 궤적 클러스터링 ARI 0.943을 달성했습니다. 또한 입자 식별(0.838 vs 0.713) 및 노이즈 태깅(0.942 vs 0.912) 매크로-F1 점수에서 FM4NPP를 능가했습니다.
• 워터 체렌코프 (WAND): 경량 프로브는 1,000개의 레이블을 사용하여 단일 입자 운동학(정점, 방향, 운동량)을 재구성합니다. fiTQun 및 APFit과 같은 고도로 최적화된 알고리즘보다는 성능이 낮지만, 저렴한 적응을 통해 유용한 검출기 수준의 관측량을 얻을 수 있음을 입증했습니다. 다중 링 재구성은 1-링 80.4%, 2-링 44.4%, ≥3-링 96.7%의 재현율(recall)을 보였습니다.

2. 창발적 물리 구조 (Emergent Physical Structure)

저자들은 동결된 표현이 명시적인 감독 없이도 물리적으로 의미 있는 잠재 구조를 인코딩함을 보여줍니다:

• 시간의 화살 (LArTPC): 학습된 단일 벡터를 개별 포인트 특징에 투영하면, 입력에 시간 정보가 없음에도 불구하고 입자 궤적을 따라 포인트를 정렬하여(Spearman $\rho = 0.89) 창발적인 "시간의 화살"을 복구합니다.
• 횡운동량 (sPHENIX): 잠재 방향이 궤적 곡률과 횡운동량($p_T$)을 인코딩하며, Spearman $\rho = 0.957$을 기록합니다.
• 회전 불변성: 자기 증류 목적 함수는 약한 회전 불변성을 강제하며, 회전에 따른 코사인 유사도 분포는 0.98 이상을 유지합니다.

의의 및 주장

본 논문은 센서 수준의 입자 재구성을 위한 파운데이션 모델 사전 학습에 필요한 메커니즘이 검출기 특정적이기보다는 일반적일 수 있다고 주장합니다.

• 통합 프레임워크: 단일 아키텍처와 자기 증류 목적 함수가 최소한의 변경만으로 세 가지 질적으로 다른 검출기 모달리티에서 독립적으로 사전 학습될 수 있음을 확립했습니다.
• 레이블 효율성: 이 프레임워크는 단 1,000개의 레이블된 이벤트만으로 전체 재구성(분할, 클러스터링, 속성 추출)을 지원하여, 대규모 레이블 데이터셋에 대한 의존성을 크게 줄입니다.
• 물리적 해석 가능성: 학습된 표현이 입자의 인과성("시간의 화살") 및 운동량과 같은 물리적 개념을 중심으로 자연스럽게 조직된다는 것은, 원시 센서 데이터에 대한 자기 지도 학습이 근본적인 물리 구조를 회복할 수 있음을 시사합니다.

한계 및 향후 과제

저자들은 다음과 같은 미해결 과제를 명시적으로 언급했습니다:

• 스케일링 (Scaling): 본 연구는 모델 크기, 사전 학습 데이터 양 또는 컴퓨팅 자원에 따른 스케일링 법칙을 규명하지 않았습니다.
• 전이 가능성 (Transferability): 한 유형의 검출기에서 학습된 표현이 다른 유형의 검출기로 직접 전이(교차 도메인 전이)될 수 있는지, 또는 시뮬레이션에서 실제 데이터로 전이될 수 있는지는 아직 테스트되지 않았습니다.
• 성능 격차: 워터 체렌코프 재구성에서 이 방법은 현재 고도로 최적화된 도메인 특정 알고리즘(예: fiTQun)보다 뒤처져 있으며, 이는 특정 검출기 응용 분야에서의 개선 여지를 나타냅니다.

저자들은 향후 확장 업데이트를 통해 스케일링 및 전이 가능성 문제를 다룰 계획입니다.