Protocol-Aware Tokenization and Architecture Co-Design for Wireless Packet Foundation Models

기술 요약: 무선 패킷 파운데이션 모델을 위한 프로토콜 인식 토큰화 및 아키텍처 공동 설계

문제 정의

무선 패킷 트레이스에 대한 파운데이션 모델을 구축하는 데 있어 핵심적인 과제는, 성능 향상이 모델 아키텍처(예: Transformer vs. State-Space Models)에 의한 것인지 아니면 입력 표현(토큰화)에 의한 것인지를 결정하는 것이다. 무선 패킷 데이터는 계층적 프로토콜 헤더, 타입별 필드, 상태 머신에 의해 제어되는 대화 특성을 가진 고유한 구조를 지니고 있어 일반적인 자연어와는 구별된다. BPE나 바이트 수준 인코딩과 같은 범용 토크나이저를 사용하는 기존 연구들은 이러한 구조화된 트레이스를 평면적인 텍스트로 취급하며, 이로 인해 프로토콜 필드의 경계가 파편화되고 모델이 프로토콜 명세에 이미 정의된 결정론적 구조를 재발견하기 위해 모델 용량을 낭비하게 만든다.

PLUME(Protocol Language Understanding Model for Exchanges) 프레임워크의 이전 버전은 프로토콜 인식 토크나이저와 12계층 GPT 백본을 결합하여 도입되었다. 이는 효과적이었으나, 최적의 스케일링(깊이 vs. 너비)과 State-Space Models(SSM)와 같은 근본적으로 다른 아키텍처 제품군으로의 프로토콜 인식 토크나이저 전이 가능성에 대한 의문을 남겼다.

방법론

저자들은 토큰화와 아키텍처의 효과를 분리하기 위해 통제된 체계적 조사를 수행한다. 본 연구는 7,890개의 기업용 802.11 PCAP 파일(149K 패킷, 48.9M 토큰)로 구성된 큐레이션된 코퍼스를 활용하며, 비콘(beacon) 트래픽은 HDBSCAN 및 MMR 샘플링을 통해 감소시켜 대화형 데이터에 집중한다.

실험 설계는 두 축을 가로지르는 2×2 비교를 중심으로 한다:

1. 토큰화: 프로토콜 인식(원자적 필드 이름, 타입 인식 값, 레이어 경계) vs. 범용(바이트 수준).
2. 아키텍처: Transformer (GPT) vs. State-Space Model (Mamba-2).

네 가지 주요 구성이 평가된다:

• PLUME-DEEP: 프로토콜 인식 토크나이저를 사용하는 24계층 GPT (467M 파라미터). 이 모델은 깊이가 계층적 프로토콜 데이터에 적합한 스케일링 축이라는 가설을 테스트한다.
• PLUME-MAMBA: 동일한 프로토콜 인식 토크나이저를 사용하는 12계층 Mamba-2 SSM (447M 파라미터). 이는 선형 시간 아키텍처로의 프로토콜 인식 토크나이저 전이 가능성을 테스트한다.
• NETSSM: 범용 바이트 수준 토크나이저를 사용하는 Mamba-2 SSM (170M 파라미터). 이는 SSM 백본에 미치는 토크나이저의 영향을 격리하기 위한 베이스라인 역할을 한다.
• Byte-GPT: 2×2 매트릭스를 완성하기 위해 범용 바이트 수준 토크나이저를 사용하는 GPT 모델.

모든 모델은 동일한 데이터셋을 사용하여 다음 토큰 예측(교차 엔트로피 손실) 방식으로 처음부터 학습된다. 평가는 다섯 가지 실제 실패 카테고리(예: Bad Password, EAPOL Timeout)에 대한 다음 패킷 예측 정확도를 중심으로 이루어지며, 처리량(throughput), 퍼플렉시티(perplexity), 손실(loss) 지표를 포함한다.

주요 기여

1. PLUME-DEEP: 802.11 다음 패킷 예측에서 98.2%의 top-1 정확도와 1.10의 퍼플렉시티를 달리는 467M 파라미터, 24계층 GPT이다. 이는 기존 12계층 설계 대비 32포인트의 정확도 향상을 나타낸다.
2. PLUME-MAMBA: 프로토콜 인식 토크나이저를 재사용하여 96.1%의 top-1 정확도를 달성함과 동시에, PLUME-DEEP(Transformer 변체) 대비 1.7배 높은 처리량과 2배 긴 컨텍스트 윈도우(4K vs. 8K 토큰)를 구현한 Mamba-2 SSM이다.
3. 통제된 2×2 비교: 본 연구는 프로토콜 인식 토크나이징이 주요 성능 레버이며, 아키텍처 선택은 배포를 위한 노브(knob) 역할을 한다는 점을 입증한다.
   • 동일한 Mamba 백본에서 토크나이저를 변경할 경우 32포인트의 정확도 변화가 발생한다 (64.1% vs. 96.1%).
   • 동일한 프로토콜 인식 토크나이저 하에서 아키텍처를 변경할 경우 단 2포인트의 정확도 변화만 발생한다 (98.2% vs. 96.1%).
4. 스케일링 인사이트: 본 논문은 데이터가 제한된 환경의 구조화된 프로토콜 데이터에 대해서는 깊이가 우월한 스케일링 축임을 보여준다. 깊이를 12에서 24계층으로 늘리는 것은 상당한 이득을 주는 반면, 고정된 깊이에서 너비(임베딩 차원)를 늘리는 것은 수확 체감 및 과적합으로 이어진다.

결과

• 정확도: 두 프로토콜 인식 모델 모두 범용 베이스라인을 크게 상회한다. PLUME-DEB가 정확도(98.2% top-1)에서 앞서며, PLUME-MAMBA는 96.1%를 달성한다. 범용 베이스라인(NETSSM 및 Byte-GPT)은 65% top-1 정확도 미만에 머문다.
• 효율성: PLUME-MAMBA는 Transformer의 이차 시간 복잡도(quadratic attention) 대비 Mamba의 선택적 상태 공간 계층의 선형 시간 복잡도 덕분에 PLUME-DEEP의 9,327 tokens/s와 비교하여 16,107 tokens/second의 처리량을 달성한다.
• 컨텍스트: PLUME-MAMBA는 PLUME-DEEP(4K 토큰, 약 12개 패킷)의 두 배인 8K 토큰 컨텍스트(약 25개 패킷)를 지원하여, 엔터프라이즈 RADIUS 체인과 같은 더 긴 트랜잭션 시퀀스를 모델링할 수 있게 한다.
• 토큰화 영향: 프로토콜 인식 토크나이저는 시퀀스를 6.2배 압축하며(바이트 수준의 2,014 대비 327 tokens/packet), 토큰당 정보 엔트로피를 6.70에서 7.61 bits로 증가시킨다. 이 압축을 통해 모델은 패킷 간의 상태 머신 로직을 더욱 효과적으로 포착할 수 있다.

의의 및 주장

본 논문은 구조화된 패킷 데이터에 대해 아키텍처보다 표현(representation)이 더 중요하다고 주장한다. 핵심 통찰은 프로토콜 명세(필드 경계, 타입 정보, 레이어 계층 구조)의 결정론적 구조를 존중하는 토크나이저가 어떤 다운스트림 아키텍처라도 활용할 수 있는 귀납적 편향(inductive bias)을 제공한다는 것이다. 일단 이러한 표현이 확립되면, 백본의 선택은 근본적인 능력의 차이라기보다는 정확도(깊은 Transformer 선호)와 속도/컨텍스트(SSM 선호) 사이의 트레이드오프가 된다.

저자들은 본 연구를 도메인 네이티브 파운데이션 모델을 위한 공동 설계 템플릿으로 제시하며, "구조 인식 토크나이징 우선, 아키텍처 차순"이라는 원칙이 무선 네트워킹을 넘어 유전체학, 화학, 산업 제어 시스템과 같은 다른 계층적 도메인에도 확장될 수 있음을 시사한다. 또한, 프로토콜 시퀀스의 경우 모델의 너비를 늘리는 것보다 깊이를 늘리는 것이 더 효과적인 스케일링 전략임을 명확히 한다.