Protocol-Aware Tokenization and Architecture Co-Design for Wireless Packet Foundation Models

Resumen Técnico: Codiseño de Arquitectura y Tokenización Consciente del Protocolo para Modelos Fundacionales de Paquetes Inalámbricos

Declaración del Problema

La construcción de modelos fundacionales para trazas de paquetes inalámbricos enfrenta un desafío crítico: determinar si las mejoras de rendimiento son impulsadas por la arquitectura del modelo (por ejemplo, Transformers frente a Modelos de Espacio de Estados) o por la representación de la entrada (tokenización). Los datos de paquetes inalámbricos poseen una estructura nativa distinta al lenguaje natural, caracterizada por encabezados de protocolo por capas, campos tipados y conversaciones gobernadas por máquinas de estado. El trabajo previo utilizando tokenizadores genéricos (por ejemplo, BPE o codificaciones a nivel de bytes) trata estas trazas estructuradas como texto plano, fragmentando los límites de los campos del protocolo y obligando a los modelos a gastar capacidad redescubriendo estructuras deterministas ya definidas en la especificación del protocolo.

Las iteraciones anteriores del marco PLUME (Protocol Language Understanding Model for Exchanges) introdujeron un tokenizador consciente del protocolo acoplado a un backbone GPT de 12 capas. Aunque fue efectivo, este diseño dejó abiertas interrogantes sobre la optimización del escalado (profundidad frente a anchura) y la transferibilidad del tokenizador consciente del protocolo a familias de arquitecturas fundamentalmente diferentes, como los Modelos de Espacio de Estados (SSM).

Metodología

Los autores llevan a cabo una investigación controlada y sistemática para desentrañar los efectos de la tokenización y la arquitectura. El estudio utiliza un corpus curado de 7,890 archivos PCAP de 802.11 empresariales (149K paquetes, 48.9M de tokens), donde el tráfico de beacons se redujo mediante HDBSCAN y muestreo MMR para centrarse en datos de conversación.

El diseño experimental se centra en una comparación 2×2 a través de dos ejes:

1. Tokenización: Consciente del protocolo (nombres de campos atómicos, valores conscientes del tipo, límites de capa) frente a Genérica (a nivel de bytes).
2. Arquitectura: Transformer (GPT) frente a Modelo de Espacio de Estados (Mamba-2).

Se evalúan cuatro configuraciones principales:

• PLUME-DEEP: Un GPT de 24 capas (467M de parámetros) que utiliza el tokenizador consciente del protocolo. Este modelo pone a prueba la hipótesis de que la profundidad es el eje de escalado correcto para los datos de protocolo jerárquicos.
• PLUME-MAMBA: Un SSM Mamba-2 de 12 capas (447M de parámetros) que utiliza el mismo tokenizador consciente del protocolo. Esto pone a prueba la transferibilidad del tokenizador a una arquitectura de tiempo lineal.
• NETSSM: Un SSM Mamba-2 (170M de parámetros) que utiliza un tokenizador genérico a nivel de bytes. Este sirve como línea base para aislar el impacto de la tokenización en el backbone SSM.
• Byte-GPT: Un modelo GPT que utiliza un tokenizador genérico a nivel de bytes para completar la matriz 2×2.

Todos los modelos se entrenan desde cero utilizando la predicción del siguiente token (pérdida de entropía cruzada) sobre el mismo conjunto de datos. La evaluación se centra en la precisión de la predicción del siguiente paquete a través de cinco categorías de fallos del mundo real (por ejemplo, Bad Password, EAPOL Timeout) e incluye métricas para el rendimiento (throughput), la perplejidad y la pérdida.

Contribuciones Clave

1. PLUME-DEEP: Un GPT de 467M de parámetros y 24 capas que logra una precisión top-1 del 98.2% y una perplejidad de 1.10 en la predicción del siguiente paquete 802.11. Esto representa una ganancia de precisión de 32 puntos sobre el diseño original de 12 capas.
2. PLUME-MAMBA: Un SSM Mamba-2 que reutiliza el tokenizador consciente del protocolo, logrando una precisión top-1 del 96.1% con un rendimiento (throughput) 1.7× mayor y ventanas de contexto 2× más largas (8K frente a 4K tokens) en comparación con la variante Transformer.
3. Comparación Controlada 2×2: El estudio establece que la tokenización consciente del protocolo es el principal motor de rendimiento, mientras que la elección de la arquitectura actúa como un control de despliegue.
   • Cambiar el tokenizador (en el mismo backbone Mamba) resulta en un cambio de 32 puntos en la precisión (64.1% frente a 96.1%).
   • Cambiar la arquitectura (bajo el mismo tokenizador consciente del protocolo) resulta en un cambio de solo 2 puntos en la precisión (98.2% frente a 96.1%).
4. Perspectivas de Escalado: El documento demuestra que para datos de protocolo estructurados en un régimen de datos limitados, la profundidad es el eje de escalado superior. Aumentar la profundidad de 12 a 24 capas genera ganancias significativas, mientras que aumentar la anchura (dimensión de incrustación/embedding) a una profundidad fija conduce a rendimientos decrecientes y sobreajuste.

Resultados

• Precisión: Ambos modelos conscientes del protocolo superan significativamente a las líneas base genéricas. PLUME-DEEP lidera en precisión (98.2% top-1), mientras que PLUME-MAMBA alcanza el 96.1%. Las líneas base genéricas (NETSSM y Byte-GPT) permanecen por debajo del 65% de precisión top-1.
• Eficiencia: PLUME-MAMBA logra un rendimiento de 16,107 tokens/segundo en comparación con los 9,327 tokens/segundo de PLUME-DEEP, atribuido a la complejidad de tiempo lineal de las capas selectivas de espacio de estados de Mamba frente a la atención cuadrática de los Transformers.
• Contexto: PLUME-MAMBA soporta un contexto de 8K tokens (aprox. 25 paquetes), el doble que el de PLUME-DEEP (4K tokens, aprox. 12 paquetes), permitiendo el modelado de secuencias de transacciones más largas como cadenas RADIUS empresariales.
• Impacto de la Tokenización: El tokenizador consciente del protocolo comprime las secuencias en 6.2× (327 tokens/paquete frente a 2,014 para el nivel de bytes) y aumenta la entropía de información por token de 6.70 a 7.61 bits. Esta compresión permite al modelo capturar la lógica de la máquina de estados entre paquetes de manera más efectiva.

Significado y Reivindicaciones

El documento afirma que para los datos de paquetes estructurados, la representación importa más que la arquitectura. La idea principal es que un tokenizador que respeta la estructura determinista de las especificaciones de protocolo (límites de campo, información de tipo, jerarquía de capas) proporciona un sesgo inductivo que cualquier arquitectura descendente puede explotar. Una vez establecida esta representación, la elección del backbone se convierte en un compromiso entre precisión (favoreciendo Transformers profundos) y velocidad/contexto (favoreciendo SSMs), en lugar de una diferencia fundamental de capacidad.

Los autores posicionan este trabajo como un modelo de codiseño para modelos fundacionales nativos del dominio, sugiriendo que el principio de "primero la tokenización consciente de la estructura, luego la arquitectura" se extiende más allá de las redes inalámbricas hacia otros dominios jerárquicos como la genómica, la química y los sistemas de control industrial. El trabajo también aclara que para secuencias de protocolos, aumentar la profundidad del modelo es una estrategia de escalado más efectiva que aumentar su anchura, particularmente cuando los datos etiquetados son escasos.