=== RESUMEN ===

Resumen Técnico: Enrutamiento de Políticas Profundas Consciente de la Confianza para Redes Ad Hoc de Vehículos Tácticos

1. Planteamiento del Problema

Las Redes Ad Hoc Móviles de Vehículos Tácticos (MANETs) enfrentan un doble desafío que compromete la comunicación de misión crítica:

1. Cambio Inducido por la Movilidad (Churn): Los vehículos que se desplazan a 5–30 m/s causan fallos rápidos de enlace (vidas útiles de enlace de 1–5 s), lo que obliga a los protocolos reactivos a redescubrir rutas constantemente y a los protocolos proactivos a inundar el tráfico de control.
2. Ataques al Plano de Enrutamiento: Los nodos capturados pueden manipular las métricas de enrutamiento para atraer el tráfico y luego descartar paquetes. Las amenazas específicas incluyen:
   • Blackhole (Agujero Negro): Anuncia una ruta barata (p. ej., conteo de saltos 1) y descarta todo el tráfico.
   • Sinkhole (Sumidero): Anuncia métricas infladas para atraer flujos y luego los descarta.
   • Grayhole (Agujero Gris): Descarta una fracción específica de paquetes mientras anuncia métricas honestas (sigiloso).
   • Sybil: Múltiples identidades (no evaluado en este estudio).

Las soluciones existentes no logúan abordar ambos problemas simultáneamente. El enrutamiento geográfico ignora a los adversarios; las extensiones de confianza basadas en umbrales (p. ej., Trust-AODV) asumen topologías estáticas y dependen de umbrales de exclusión de tipo "todo o nada" que son frágiles; y los enrutadores estándar de Aprendizaje por Refuerzo Profundo (DRL) optimizan el rendimiento (throughput) en entornos benignos, pero no pueden distinguir entre un nodo honesto congestionado y uno malicioso.

2. Metodología: AIRouteOpt

Los autores proponen AIRouteOpt, un marco de enrutamiento de políticas profundas consciente de la confianza que acopla la resiliencia a la movilidad y la resiliencia a los ataques al plano de enrutamiento en un único proceso de decisión.

2.1 Modelo del Sistema

• Red: $N$ vehículos en un área de $A$ km² utilizando Radios Definidas por Software (SDR) a 2.4 GHz. Los enlaces existen basados en umbrales de SNR con desvanecimiento de Rayleigh y sombreado log-normal.
• Modelo de Amenaza: Una fracción $\beta_a$ de los nodos son adversarios. Las cargas útiles están protegidas, pero las métricas de enrutamiento no están autenticadas.
• Formulación MDP:
  • Estado ($s_t$): Características por vecino incluyendo calidad de enlace (SNR, ETX), una puntuación de confianza actualizada recursivamente ($\tau_{ij}$), estimaciones de saltos y un historial de los últimos 8 eventos de enrutamiento.
  • Acción ($a_t$): Seleccionar un vecino de siguiente salto o almacenar en búfer el paquete.
  • Recompensa ($r_t$): Una función compuesta que recompensa la entrega de paquetes, penaliza la latencia y los incumplimientos de plazos (deadlines) y, crucialmente, incorpora un término de modelado de confianza continuo ($\lambda_\tau(\tau_{ia_t} - \tau_{ref})$). Este término fomenta la selección de vecinos con mayor confianza sin una exclusión rígida.

2.2 Estimador de Confianza

AIRouteOpt utiliza un estimador estándar de Promedio Móvil Exponencialmente Ponderado (EWMA) tipo Watchdog:
$$\tau_{ij}(t+1) = (1 - \eta_\tau)\tau_{ij}(t) + \eta_\tau f_{ij}(t)$$
donde $f_{ij}(t)$ es 1 si el salto siguiente del vecino fue entregado, y 0 en caso contrario. Los autores probaron una variante "compensada por canal" para reducir el peso de los fallos en enlaces débiles, pero no encontraron una ganancia significativa en su canal equipado con ARQ, optando por el estimador estándar.

2.3 Aprendizaje de la Política

La política de enrutamiento se aprende mediante Optimización de Política Próxima (PPO).

• Arquitectura: Un Perceptrón Multicapa (MLP) compartido de dos capas con 64 y 32 unidades ocultas (activación tanh).
• Salida: Una distribución softmax sobre $K+1$ acciones (vecinos + búfer), enmascarada por la disponibilidad del vecino.
• Entrenamiento: Entrenado mediante un currículo de fracciones de movilidad y ataque. La política se despliega congelada en cada vehículo.
• Complejidad: La inferencia requiere un único paso hacia adelante (~0.035 ms por decisión, 5191 parámetros), lo que la hace adecuada para hardware de clase SDR.

3. Contribuciones Teóricas

El artículo proporciona tres resultados teóricos vinculados a mediciones empíricas:

1. Concentración de Confianza (Prop. 1): El estimador de confianza se concentra alrededor de la verdadera probabilidad de reenvío del vecino ($\beta^*_j$). Los autores demuestran un límite de Hoeffding que muestra que los blackholes ($\beta^*=0$) y los nodos honestos ($\beta^* \approx 1$) son fáciles de separar, mientras que los grayholes sigilosos (p. ej., $\beta^*=0.6$) siguen siendo difíciles de distinguir de los nodos honestos con alta confianza.
2. Mejora Monotónica bajo Deriva (Thm. 1): Los autores derivan un límite para las actualizaciones de PPO en topologías no estacionarias. Demuestran que la garantía de mejora se mantiene siempre que la actualización de la política esté restringida en relación con la tasa de deriva de la topología ($\xi$).
3. Contención de Umbral (Thm. 2): Los autores demuestran que una función de recompensa de confianza suave generaliza al umbral duro. A medida que $\lambda_\tau \to \infty$, la política suave óptima converge al comportamiento de una política de umbral duro. Esto explica por qué una política aprendida puede igualar, pero no necesariamente superar, un heurístico bien ajustado.

4. Resultados Clave

Los experimentos se realizaron en un simulador basado en eventos personalizado sobre 12–30 semillas con una fracción de adversarios del 20% (70% blackhole, 30% sinkhole).

4.1 Rendimiento vs. Baselines

• La Conciencia de la Confianza es Decisiva: Bajo ataques de publicidad de métricas, los métodos conscientes de la confianza superan significativamente a los que no lo son.
  • AIRouteOpt: 63.0% de la Relación de Entrega de Paquetes (PDR).
  • Trust-AODV (Ajustado manualmente): 63.9% PDR.
  • Baselines Ciegos a la Confianza: AODV/OLSR (~44.7%), GPSR (56.3%), Q-routing (40.2%), NoTrust-PPO (45.7%).
• Significancia Estadística: La ganancia de AIRouteOpt sobre los métodos ciegos a la confianza es estadísticamente significativa ($p < 0.001$, Cohen's $d$ hasta 2.0).
• Comparación con Trust-AODV: AIRouteOpt está estadísticamente empatado con el mejor Trust-AODV ajustado manualmente. Sin embargo, AIRouteOpt logra esto sin un umbral de exclusión frágil, con un menor overhead de control (10% frente a 14–38%), y se generaliza a tamaños de red no vistos.

4.2 Sensibilidad al Tipo de Ataque

• Ataques de Publicidad (Blackhole/Sinkhole): El enrutamiento consciente de la confianza es altamente efectivo.
• Grayhole Sigiloso: Contra un grayhole que no anuncia métricas falsas pero descarta el 40% de los paquetes, la conciencia de la confianza ofrece un beneficio marginal. AIRouteOpt (68.2%) se desempeña de manera similar a AODV ciego a la confianza (72.8%) y ligeramente por debajo de Trust-AODV (73.5%). El estimador de confianza no puede distinguir de manera fiable los descartes parciales de los nodos honestos en enlaces con desvanecimiento.

4.3 Robustez y Escalabilidad

• Sensibilidad del Umbral: El rendimiento de Trust-AODV colapsa si el umbral se establece demasiado alto (excluyendo nodos honestos) o demasiado bajo. AIRouteOpt es inmune a este ajuste de hiperparámetros.
• Escalabilidad: Entrenado para $N=15$, AIRouteOpt se generaliza a $N=60$, manteniendo un rendimiento significativamente superior al de AODV.
• Latencia: AIRouteOpt mantiene la latencia de extremo a extremo dentro del plazo de 200 ms a través de velocidades de movilidad (hasta 30 m/s).

5. Significado y Reivindicaciones

El artículo afirma que la conciencia de la confianza es el factor de diseño decisivo para el enrutamiento bajo ataques de publicidad, más que el algoritmo de aprendizaje específico.

• Hallazgo Principal: Una política de confianza suave aprendida (AIRouteOpt) puede igualar el techo de rendimiento del mejor heurístico de confianza ajustado manualmente (Trust-AODV), pero elimina la fragilidad operativa de los umbrales duros.
• Valor Operativo: La ventaja de AIRouteOpt sobre Trust-AODV no es un mayor ratio de entrega de paquetes en condiciones ideales, sino:
  1. Eliminación del hiperparámetro crítico de umbral.
  2. Reducción del overhead de control.
  3. Optimización conjunta de la calidad del enlace, la confianza y el almacenamiento en búfer.
• Limitaciones: Los autores declaran explícitamente que el beneficio se limita a los atacantes de publicidad de métricas. Contra los grayholes sigilosos, el beneficio es marginal. Además, AIRouteOpt no domina estrictamente a un Trust-AODV bien ajustado en términos de PDR bruto; su superioridad reside en la robustez y la flexibilidad operativa. El estudio se basa en simulaciones y aún no ha sido validado en hardware en el bucle (hardware-in-the-loop) o en simuladores estándar como ns-3.

En conclusión, el artículo argumenta que integrar la confianza como un término de modelado de recompensa continuo dentro de un marco de política profunda proporciona una solución de enrutamiento resiliente y libre de umbrales para las redes MANET tácticas, neutralizando eficazmente los ataques de blackhole y sinkhole mientras mantiene garantías teóricas bajo la deriva de la topología.