DNS-GT: A Graph-based Transformer Approach to Learn Embeddings of Domain Names from DNS Queries

Este artículo presenta DNS-GT, un modelo basado en Transformers que genera representaciones de nombres de dominio a partir de secuencias de consultas DNS mediante preentrenamiento auto-supervisado y ajuste fino, logrando un rendimiento superior en tareas de detección de intrusiones como la clasificación de dominios y la detección de botnets.

Lo esencial

¡Claro que sí! Imagina que la seguridad de una red informática es como la seguridad de un gran edificio de oficinas. Los guardias tradicionales (los sistemas antiguos) tienen una lista de "personas prohibidas" (firmas de virus conocidos). Si alguien con esa cara pasa, lo detienen. Pero, ¿qué pasa si aparece un ladrón con una máscara nueva que nadie conoce? Los guardias tradicionales no lo ven venir.

Aquí es donde entra DNS-GT, el nuevo "detective superinteligente" que proponen los autores de este artículo.

1. El Problema: El Ladrón de la Máscara Nueva

En el mundo digital, los hackers usan el sistema de nombres de dominio (DNS) para encontrar sus objetivos. Es como si un ladrón llamara a la central de correos preguntando: "¿Dónde vive el banco?".
Los métodos antiguos de Inteligencia Artificial para detectar esto tienen dos problemas:

• Necesitan mucha ayuda humana: Tienen que enseñarles manualmente qué es un ataque (como enseñar a un perro a sentarse con premios).
• No entienden el contexto: Si ven una palabra rara, la marcan como sospechosa, pero no miran qué pasó antes o después. Es como si un guardia te detuviera porque llevas una chaqueta roja, sin importar si estás en una fiesta o en un funeral.

2. La Solución: DNS-GT (El Detective que Lee Historias)

Los autores crearon un modelo llamado DNS-GT. Imagina que este modelo es un detective que no solo mira las caras, sino que lee la historia completa de lo que está pasando.

La Analogía del "Rompecabezas de Conversaciones"

Imagina que cada vez que una computadora (un "host") navega por internet, está haciendo una serie de llamadas telefónicas (consultas DNS).

• Método antiguo (Word2Vec): Era como tomar una caja llena de palabras sueltas de todas las llamadas y mezclarlas. Si la palabra "banco" aparecía mucho, la aprendían, pero no sabían si estaba hablando con un amigo o con un estafador.
• Método nuevo (DNS-GT): Este detective toma las llamadas en orden y las ve como una conversación coherente. Usa una tecnología llamada Transformer (la misma que usan los chatbots avanzados) combinada con Redes Neuronales de Grafos.

¿Qué hace el "Grafo"?
Imagina que las llamadas telefónicas son nodos en una red. El detective dibuja líneas entre las llamadas que están relacionadas. Si alguien llama a "Facebook", luego a "Instagram" y luego a "Google", el detective ve que es una persona normal conectándose a sus redes sociales. Pero si llama a "Facebook", luego a un sitio de apuestas sospechoso y luego a un servidor en un país extraño, el detective ve esas líneas rojas de conexión y dice: "¡Algo raro pasa aquí!".

3. ¿Cómo aprende el detective? (El Entrenamiento)

En lugar de enseñarle al detective con una lista de "malos" y "buenos" (lo cual es difícil y lento), lo entrenan de una forma muy inteligente llamada Aprendizaje Auto-supervisado:

1. El Juego del "Adivina la Palabra": Le muestran al detective una secuencia de llamadas, pero le borran una (la "enmascaran").
   • Ejemplo: "El usuario llamó a Google, luego a YouTube, luego a [BORRADO]".
2. El detective debe adivinar cuál era la llamada borrada basándose en el contexto de las otras.
3. Al hacer esto millones de veces con datos reales, el detective aprende el "idioma" de internet. Aprende qué combinaciones de llamadas son normales y cuáles son extrañas, sin que nadie le diga explícitamente "esto es un virus".

4. Los Resultados: ¡Funciona!

Cuando probaron a este nuevo detective:

• Detectó botnets (redes de zombies): Logró identificar cuando una computadora estaba infectada y actuando como un robot, incluso si el virus era nuevo.
• Clasificó sitios maliciosos: Fue mucho mejor que los métodos antiguos para decir si un sitio web era peligroso, porque entendía el contexto de cómo se usaba.
• Es flexible: Una vez entrenado, sirve para muchas tareas diferentes, como detectar phishing o comportamientos extraños, sin tener que volver a empezar desde cero.

En Resumen

DNS-GT es como pasar de tener un guardia que solo reconoce caras conocidas, a tener un detective privado que entiende el comportamiento humano. No solo mira qué estás haciendo, sino cómo lo haces y con quién lo haces.

• Antes: "Esa persona tiene una chaqueta roja, es sospechosa".
• Ahora (DNS-GT): "Esa persona lleva una chaqueta roja, pero está en una fiesta de disfraces y se está riendo con sus amigos. Es seguro. ¡Pero espera! Esa otra persona lleva una chaqueta roja, está en un banco, mirando por encima del hombro y llamando a un número desconocido. ¡Esa es una amenaza!"

Esta tecnología abre la puerta a sistemas de seguridad más inteligentes, rápidos y capaces de detectar amenazas que nunca antes habían visto, simplemente aprendiendo a "leer" el lenguaje de la red.

Resumen técnico

Resumen Técnico: DNS-GT

1. Problema y Motivación

Los sistemas de detección de intrusiones en redes (NIDS) son fundamentales para la ciberseguridad, combinando firmas de patrones conocidos con técnicas de detección de anomalías basadas en aprendizaje automático (ML). Sin embargo, los métodos ML existentes presentan limitaciones críticas:

• Dependencia de datos etiquetados: Requieren grandes volúmenes de datos rotulados, que son costosos de obtener y a menudo incompletos debido a preocupaciones de privacidad.
• Falta de generalización: Los modelos tradicionales a menudo no se generalizan bien a nuevas amenazas o contextos.
• Limitaciones de los métodos actuales de DNS: Aunque el tráfico DNS es abundante y rico en información, los enfoques previos para aprender representaciones (embeddings) de nombres de dominio (como Word2Vec) carecen de una comprensión profunda del contexto y la semantica entre consultas, ya que se basan en patrones de co-ocurrencia local y no capturan dependencias complejas en secuencias temporales.

El objetivo es desarrollar un modelo capaz de aprender representaciones robustas de nombres de dominio a partir de datos DNS sin etiquetas (no supervisado) y que pueda adaptarse eficazmente a tareas de seguridad específicas.

2. Metodología: DNS-GT

El autores proponen DNS-GT, un modelo novedoso basado en Transformers que integra Redes Neuronales de Grafos (GNN) para modelar el tráfico DNS.

Arquitectura y Componentes Clave:

• Enfoque de Aprendizaje: Utiliza un esquema de Pre-entrenamiento Auto-supervisado seguido de Ajuste Fino (Fine-tuning).
  • Pre-entrenamiento: Se utiliza Masked Language Modeling (MLM). El modelo intenta reconstruir nombres de dominio enmascarados en una secuencia de consultas DNS, aprendiendo así la "gramática" y el comportamiento general del tráfico DNS.
  • Ajuste Fino: El modelo pre-entrenado se adapta a tareas específicas (como clasificación de dominios o detección de botnets) utilizando datos etiquetados limitados.
• Transformers con Atención de Grafos (GAT):
  • A diferencia de los Transformers estándar (como BERT) que asumen un orden fijo y utilizan codificaciones posicionales, DNS-GT reemplaza las capas de atención estándar por bloques de Atención de Grafos Multi-cabeza (Multi-Head GAT).
  • Invarianza a Permutaciones: El modelo es equivariante a las permutaciones de las consultas en la secuencia. Esto es crucial en DNS, donde el orden exacto de las consultas puede variar debido a retardos de red o ráfagas de tráfico, pero el contexto semántico (qué host consultó qué dominios en un periodo) es lo importante.
  • Topologías Basadas en Conocimiento: Se introducen matrices de adyacencia ($A$) que definen qué nodos (consultas) deben interactuar. Esto permite restringir la atención a consultas relacionadas, ignorando el ruido (por ejemplo, tokens de relleno <PAD>).
• Representación Dual: El modelo procesa pares de tokens $(h_i, d_i)$, donde $h$ es el host y $d$ es el dominio. Utiliza un coeficiente de ponderación ($\omega$) para fusionar las representaciones, permitiendo incluso ignorar la información del host si es necesario por privacidad.

Estrategias de Secuenciación:
Para agrupar las consultas en secuencias coherentes, se evalúan tres estrategias:

1. Longitud fija: Ventana deslizante de tamaño fijo.
2. Basada en tiempo (Greedy): Agrupa consultas si el intervalo de tiempo entre ellas es menor a un umbral $\Delta_{intra}$.
3. Basada en tiempo (Clustering): Utiliza el algoritmo DBScan para agrupar consultas temporalmente cercanas, siendo más robusto a valores atípicos.

3. Contribuciones Principales

1. Arquitectura DNS-GT: Introducción de un modelo Transformer híbrido que integra GNNs para capturar dependencias contextuales en secuencias de DNS, superando las limitaciones de los modelos de palabras simples (Word2Vec).
2. Evaluación Exhaustiva: Experimentación con un conjunto de datos real de tráfico DNS que incluye más de 4,000 hosts y millones de consultas.
3. Versatilidad y Generalización: Demostración de que el modelo pre-entrenado puede transferirse eficazmente a tareas de clasificación de dominios (identificar dominios maliciosos) y detección de botnets, incluso con datos etiquetados limitados.
4. Análisis de Contexto: Evidencia de que el modelo aprende que un mismo dominio puede ser benigno o malicioso dependiendo del contexto de las consultas vecinas (ej. un dominio legítimo usado en una secuencia sospechosa).

4. Resultados Experimentales

Los experimentos se realizaron sobre un dataset de 10 días de tráfico DNS (TI-2016), utilizando 7 días para pre-entrenamiento y 3 para evaluación.

• Comparativa: DNS-GT se comparó contra modelos basados en Word2Vec (CBOW y Skip-Gram) combinados con diversos clasificadores externos (SVM, GNB, etc.) y en configuración end-to-end.
• Rendimiento en Clasificación de Dominios:
  • DNS-GT en modo end-to-end superó consistentemente a todas las líneas base.
  • En la estrategia de secuenciación por densidad (Density), DNS-GT alcanzó un AUC de 0.848 y un F1-score de 0.654, superando significativamente a Word2Vec-SkipGram (AUC 0.656) y Word2Vec-CBOW (AUC 0.779).
  • Se observó que los clasificadores externos aplicados a los embeddings de DNS-GT rindieron peor que los modelos Word2Vec + SVM, lo que sugiere que el poder de DNS-GT reside en su capacidad de usar el contexto durante la inferencia (end-to-end), no solo en las características estáticas.
• Detección de Botnets:
  • DNS-GT logró un AUC de 0.970 y una precisión del 87.7%, igualando el rendimiento de Word2Vec-SkipGram (que no tiene modelado contextual fuerte) y superando a Word2Vec-CBOW. Esto indica que el modelado contextual no degrada el rendimiento en tareas donde el contexto de otros hosts es menos relevante, pero sí mejora la detección basada en patrones de dominio.
• Estudio de Ablación:
  • Eliminar el mecanismo de atención redujo el AUC en 0.438 puntos, confirmando su importancia crítica.
  • Eliminar la información del host redujo el AUC en 0.086 puntos, mostrando una contribución positiva menor pero significativa.
• Complejidad Computacional: DNS-GT requiere más tiempo de entrenamiento y recursos computacionales debido a su arquitectura compleja (24M de parámetros vs. 15M en Word2Vec), pero ofrece una mayor precisión.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia el uso de Modelos de Lenguaje Fundacionales (Foundation Models) aplicados a la ciberseguridad.

• Independencia de Etiquetas: Al utilizar pre-entrenamiento auto-supervisado, reduce la dependencia de datos etiquetados, un cuello de botella histórico en la seguridad.
• Comprensión Contextual: Demuestra que el contexto de las consultas DNS es vital para distinguir entre comportamiento benigno y malicioso, algo que los métodos estáticos no capturan.
• Escalabilidad: La arquitectura propuesta es escalable y adaptable a diferentes tareas de seguridad (detección de phishing, túneles DNS, etc.), abriendo la puerta a sistemas de detección de intrusiones más robustos y generalizables.

En conclusión, DNS-GT establece un nuevo estándar para la representación de nombres de dominio, demostrando que la combinación de Transformers y Grafos puede extraer patrones de comportamiento complejos en el tráfico de red, mejorando la detección de amenazas avanzadas.