What's on My Network? Using Large Language Models to Identify Real-World IoT Devices at Scale

Resumen Técnico: ¿Qué hay en mi red? Uso de modelos de lenguaje de gran escala para identificar dispositivos IoT del mundo real a escala

Declaración del problema
La proliferación de dispositivos IoT en entornos compartidos (hogares, empresas, alquileres) ha superado la capacidad de identificarlos, creando riesgos significativos para la privacidad, la seguridad y la rendición de cuentas. Los métodos de identificación existentes enfrentan limitaciones fundamentales en entornos de mundo abierto:

• El sondeo activo (p. ej., mDNS, Nmap) a menudo falla porque los dispositivos suprimen las difusiones.
• La observación pasiva depende de señales indirectas (OUIs de MAC, nombres de host DHCP, consultas DNS) que son frecuentemente dispersas, ruidosas, suplantadas o aleatorizadas.
• Los supuestos de mundo cerrado en enfoques previos de aprendizaje automático (clasificadores estadísticos, aprendizaje profundo) asumen metadatos completos e inventarios de dispositivos conocidos, fallando al manejar la "larga cola" de proveedores, variantes de firmware y estados anómalos encontrados en despliegues reales.
• El emparejamiento determinista (p. ej., Fingerbank) lucha contra el aliasing (p. ej., "Nest" vs. "Google") y las señales indirectas (p. ej., OUIs que apuntan a fabricantes de chips en lugar de marcas de consumo), logrando una precisión baja (~28%) en datos del mundo real.

El desafío central es identificar los proveedores de dispositivos a partir de metadatos de red fragmentados, ruidosos y potencialmente adversos sin depender de la cooperación activa o de un conjunto predefinido de dispositivos.

Metodología
Los autores proponen un pipeline de inferencia semántica de dos etapas que replantea la identificación de dispositivos como una tarea de modelado de lenguaje sobre metadatos de red semiestructurados.

1. Conjunto de datos y preprocesamiento
El sistema utiliza el conjunto de datos IoT Inspector, un corpus crowdsourced de 2.68M de entradas a nivel de flujo de más de 6,000 hogares. El pipeline de preprocesamiento transforma los registros de flujo brutos en 216,000 perfiles de dispositivos únicos mediante:

• La canonicalización de dominios y la fusión de entradas semánticamente equivalentes.
• La extracción de identificadores persistentes de las difusiones mDNS/SSDP mientras se eliminan campos volátiles (p. ej., números de serie).
• La normalización de cadenas de User-Agent y la agregación de flujos en firmas canónicas.
• La retención de valores faltantes para simular la dispersión del mundo real durante el entrenamiento.

2. Etapa 1: Generación de pseudo-etiquetas de alta fidelidad
Dado que más de la mitad del conjunto de datos carece de etiquetas proporcionadas por el usuario, los autores construyen un conjunto de supervisión utilizando un ensamble de LLM:

• Modelos: LLaMA 3.1 70B, GPT-4o y Gemini 1.5 Pro.
• Prompting: Se utiliza una estrategia de "Conjunto + Cadena de Pensamiento" (CoT) para generar salidas estructuradas (Tipo de Dispositivo, Proveedor) con un razonamiento explícito.
• Consolidación: Las predicciones se agregan mediante votación ponderada por Información Mutua Condicional de Proxy (Proxy CMI). Esta métrica cuantifica la fiabilidad de cada característica de entrada (p. ej., OUI vs. hostname) para un modelo específico, permitiendo al sistema seleccionar la predicción más informativa cuando los campos discrepan.
• Normalización: Los alias sinónimos (p. ej., "Nest" $\to$ "Alphabet Inc.") se normalizan usando Wikidata para reducir la fragmentación de etiquetas.
• Resultado: Esta etapa produce 216,000 pseudo-etiquetas de alta confianza a través de 2,015 proveedores.

3. Etapa 2: Ajuste de instrucciones para el despliegue
Las pseudo-etiquetas sirven como supervisión estructurada para entrenar un clasificador compacto y desplegable:

• Modelo: Un modelo LLaMA 3.1 8B cuantizado (usando QLoRA).
• Aprendizaje de currículo: El entrenamiento ocurre en dos fases para asegurar la robustez:
  • Fase I: Entrenado en un subconjunto de 35K de "alta señal" (dispositivos con hostnames claros) para establecer mapeos inequívocos.
  • Fase II: Ajustado con el corpus completo de 216K, exponiendo al modelo a proveedores de la larga cola, metadatos dispersos y entradas ruidosas.
• Enmascaramiento de pérdida: La supervisión se restringe únicamente al intervalo de la etiqueta del proveedor, evitando que el modelo aprenda patrones espurios de sus propios razonamientos generados.

Contribuciones clave

• Pipeline de inferencia semántica: La primera aplicación de LLMs ajustados por instrucciones a la identificación de dispositivos IoT, tratando los metadatos de red como contexto estructurado para el razonamiento en lugar de vectores de características fijos.
• Marco de Proxy CMI: Un método agnóstico al modelo e informacional para clasificar la fiabilidad de las características y consolidar las predicciones del ensamble sin requerir etiquetas de verdad fundamental (ground-truth).
• Estrategia de aprendizaje de currículo: Un enfoque de entrenamiento de dos fases que equilibra con éxito el aprendizaje de alta precisión con la generalización a entradas dispersas, de la larga cola y adversas.
• Despliegue de código abierto: El modelo se integra en una aplicación escalable de código abierto capaz de procesar el tráfico de redes residenciales en tiempo real.

Resultados

• Precisión: El modelo final logra una precisión Top-1 del 98.69% y una precisión macro del 90.73% a través de 2,015 proveedores en conjuntos de prueba internos.
• Generalización: En el testbed Mon(IoT)r externo (datos no vistos con deriva temporal, geográfica y de protocolo), el modelo mantiene una precisión del 92.95%, superando significativamente a los baselines como SVM (60.17%), XGBoost (67.31%) y Fingerbank (25.90%).
• Desempeño en la larga cola: La estrategia de aprendizaje de currículo mejora sustancialmente el desempeño en proveedores raros (Cola $\le$10 muestras), aumentando la precisión de 95.70% (sin currículo) a 97.74%.
• Robustez: El modelo demuestra resiliencia ante:
  • Campos faltantes: El desempeño se degrada de manera gradual cuando se enmascaran características clave (p. ej., OUI, hostname).
  • Manipulación adversa: Resiste hostnames suplantados y etiquetas de usuario engañosas al fundamentar las predicciones en la consistencia entre campos.
  • Condiciones de conjunto abierto: Identifica correctamente el 89.4% de los dispositivos pertenecientes a proveedores que están completamente ausentes del entrenamiento.
• Eficiencia: El modelo 8B ajustado logra 5.29 dispositivos/segundo con una latencia de 0.19s en una sola GPU, ofreciendo un compromiso viable entre costo y la precisión superior de los LLM comparada con los baselines ligeros.

Significancia y Reivindicaciones
El artículo afirma que los LLM ajustados por instrucciones proporcionan una base escalable, interpretable y robusta para la identificación confiable de dispositivos en entornos IoT de mundo abierto. Al cambiar del fingerprinting de mundo cerrado a la inferencia semántica, el enfoque aborda las limitaciones estructurales de los sistemas previos que dependen del emparejamiento de patrones deterministas. El sistema reconcilia con éxito metadatos fragmentados, infiere proveedores ausentes del entrenamiento y permanece robusto ante campos faltantes y manipulación adversa. Los autores posicionan este trabajo como un paso hacia el monitoreo de red transparente, permitiendo a los usuarios y administradores responder a la pregunta fundamental, "¿Qué hay en mi red?", incluso en ausencia de metadatos perfectos.