⚡ electrical engineering

Secure Energy Efficient Wireless Transmission: A Finite v/s Infinite-Horizon RL Solution

Este artículo propone un algoritmo de aprendizaje por refuerzo de horizonte finito para la asignación conjunta de potencia de transmisión y de interferencia en redes inalámbricas de dúplex completo con recolección de energía, demostrando que supera tanto a los enfoques ávidos como a los de horizonte infinito al maximizar la eficiencia energética de la seguridad mientras reduce el tiempo de computación.

Autores originales: Shalini Tripathi, Ankur Bansal, Holger Claussen, Lester Ho, Chinmoy Kundu

Publicado 2026-01-23

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Shalini Tripathi, Ankur Bansal, Holger Claussen, Lester Ho, Chinmoy Kundu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás dirigiendo una carrera de relevos donde dos corredores, Fuente y Destino, intentan pasarse un mensaje secreto el uno al otro. Sin embargo, hay un inconveniente: un Eavesdropper (espía) acecha cerca, intentando robar el mensaje. Para detener al Eavesdropper, el corredor Destino tiene un truco especial: puede gritar un ruido fuerte y confuso (jamming/interferencia) hacia el Eavesdropper mientras escucha simultáneamente a la Fuente.

Pero este es el verdadero desafío: ambos corredores funcionan con paneles solares (Recolección de Energía/Energy Harvesting). No tienen una batería que dure para siempre; solo tienen la energía que recolectan del sol (o el viento) en ese preciso momento, almacenada en una batería pequeña y limitada. Si usan demasiada energía ahora, podrían quedarse sin nada más tarde. Si usan muy poca, el mensaje podría ser robado.

El objetivo de este artículo es descubrir la estrategia perfecta sobre cuánta potencia debe usar la Fuente para hablar y cuánta potencia debe usar el Destino para gritar (jamming), de modo que obtengan la mayor cantidad de "bits secretos" por cada gota de energía que utilizan. Esto se llama Eficiencia Energética de Secreto (SEE).

Los autores comparan tres formas diferentes de tomar estas decisiones:

1. El "Planificador que Viaja en el Tiempo" (FHJPA)

Este es la solución principal del artículo. Imagina que sabes exactamente cuánto tiempo durará la carrera (un Horizonte Finito). Puedes ver todo el cronograma de la carrera desde el principio hasta el final.

Cómo funciona: Este algoritmo trabaja hacia atrás, desde el último minuto de la carrera hasta el primero. Pregunta: "¿Si uso mucha energía ahora, tendré suficiente para los minutos cruciales del final?". Calcula el equilibrio perfecto para cada momento, sabiendo exactamente cuándo termina la carrera.
El Resultado: Esta es la estrategia más inteligente. Gana porque entiende la "fecha límite". No desperdicia energía al principio si necesita ahorrarla para el final, y no se contiene si el final está lejos.

2. El "Corredor Codicioso" (GA)

Este es un enfoque de baja complejidad. Imagina a un corredor que solo se preocupa por el siguiente paso.

Cómo funciona: En cada momento, pregunta: "¿Qué me da el mejor resultado ahora mismo?". No se preocupa por el mañana o por el siguiente minuto. Simplemente agarra la mayor recompensa inmediata.
El Resultado: Por lo general, esta es una mala idea porque podrías quedarte sin energía antes de que termine la carrera. Sin embargo, el artículo encontró un giro sorprendente: si los corredores tienen mucha energía solar (sus baterías están llenas), esta simple estrategia "codiciosa" funciona casi tan bien como la compleja. Cuando la energía es abundante, no necesitas preocuparte por ahorrarla para después, por lo que la estrategia simple es casi perfecta.

3. El "Corredor Eterno" (IHJPA)

Este enfoque asume que la carrera nunca termina (un Horizonte Infinito).

Cómo funciona: Planifica para un estado estacionario, asumiendo que la carrera continúa para siempre. Crea una estrategia que funcione bien en promedio durante un tiempo infinito.
El Resultado: Es un mal ajuste para una carrera con un plazo corto y conocido. Es como intentar planificar un presupuesto para toda una vida cuando solo tienes una semana de vida. El artículo muestra que, cuando la carrera es corta, este método tiene un desempeño deficiente porque no tiene en cuenta el "final del camino". Sin embargo, a medida que la carrera se alarga (más intervalos de tiempo), este método mejora y comienza a parecerse más al "Planificador que Viaja en el Tiempo".

Las Grandes Conclusiones

Conocer la fecha límite importa: El "Planificador que Viaja en el Tiempo" (Horizonte Finito) es el mejor porque sabe exactamente cuándo se detiene la transmisión. Optimiza el uso de la energía específicamente para esa duración.
La abundancia cambia las reglas del juego: Si la recolección de energía es alta (mucho sol), no necesitas un cerebro complejo. Una estrategia "codiciosa" simple que solo maximice el momento actual funciona casi tan bien como la compleja.
El Intercambio (Trade-off): El artículo destaca un equilibrio delicado. El "Planificador que Viaja en el Tiempo" es excelente en eficiencia (obtener más bits por cada gota de energía), pero a veces el "Corredor Codicioso" en realidad envía más bits secretos totales en general porque no tiene miedo de usar más potencia.
Velocidad vs. Inteligencia: El complejo "Planificador que Viaja en el Tiempo" es en realidad más rápido de computar (un 16.6% más rápido) que el método del "Corredor Eterno", lo que lo convierte en una opción práctica para dispositivos del mundo real.

En resumen, el artículo nos enseña que para transmisiones inalámbricas cortas y limitadas por la energía, necesitas una estrategia que conozca la fecha límite. Pero si tienes mucha energía, puedes permitirte una estrategia mucho más simple de "vivir el momento".

Resumen Técnico: Transmisión Inalámbrica Segura y Eficiente en Energía: Una Solución de RL de Horizonte Finito vs. Infinito

Planteamiento del Problema
Este artículo aborda la optimización de la seguridad y la eficiencia energética de las redes inalámbricas en sistemas equipados con capacidades de Recolección de Energía (EH, por sus siglas en inglés). Específicamente, los autores consideran un escenario que involucra un nodo fuente (S), un nodo destino dúplex completo (D) y un interceptor pasivo (E). Tanto S como D están alimentados por baterías recargables con capacidad limitada y dependen de procesos estocásticos de recolección de energía. El destino utiliza su capacidad dúplex completa para transmitir señales de interferencia (jamming), degradando así la recepción del interceptor mientras recibe simultáneamente datos de la fuente.

El desafío central es asignar conjuntamente la potencia de transmisión en la fuente ( $P_S$ ) y la potencia de interferencia en el destino ( $P_D$ ) durante una duración de tiempo finita (un número fijo de ranuras de tiempo, $K$ ). El objetivo es maximizar la Eficiencia Energética de Secreto Promedio (SEE), definida como el promedio de bits seguros transmitidos por unidad de energía consumida. El sistema está sujeto a restricciones de causalidad (la energía no puede usarse antes de ser recolectada), límites de capacidad de la batería y la naturaleza markoviana de los estados de los canales y la llegada de energía.

Metodología
El problema se formula como un Proceso de Decisión de Markov (MDP) de Horizonte Finito porque la duración de la transmisión $K$ es conocida de antemano y la dinámica del sistema (ganancias de canal y recolección de energía) evoluciona con el tiempo. Los autores proponen tres enfoques de solución distintos para comparar las estrategias de modelado de horizonte finito e infinito:

Asignación Conjunta de Potencia de Horizonte Finito (FHJPA): Esta es la solución óptima propuesta para el problema de horizonte finito. Utiliza un algoritmo de Inducción hacia Atrás (BI). El algoritmo itera desde la ranura de tiempo final ( $K$ ) hacia atrás hasta la primera ($0$), computando la función de valor y la política óptima (una tabla de búsqueda de pares de potencia) para cada estado posible. El estado incluye ganancias de canal, niveles de batería y la ranura de tiempo actual.
Algoritmo Codicioso o Greedy (GA): Una línea base subóptima de baja complejidad. En cada ranura de tiempo, el GA selecciona la asignación de potencia que maximiza la recompensa inmediata (SEE instantánea) sin considerar recompensas futuras o transiciones de estado.
Asignación Conjunta de Potencia de Horizonte Infinito (IHJPA): Un algoritmo diseñado para escenarios donde la vida útil de la red es desconocida o efectivamente infinita. Emplea la Iteración de Política (PI) para encontrar una política estacionaria que maximice la recompensa promedio a largo plazo, asumiendo un factor de descuento o una distribución geométrica del horizonte de tiempo.

Contribuciones Clave

Formulación Novedosa: El artículo presenta un marco de optimización conjunta novedoso para la potencia de transmisión e interferencia que incorpora simultáneamente las capacidades de EH tanto en los nodos fuente como en el de destino para maximizar la SEE. Los autores señalan que trabajos previos se centraron en maximizar los bits seguros totales en lugar de la SEE, o asumieron EH solo en el destino.
Análisis Comparativo de Horizontes: Este trabajo es el primero en investigar y comparar modelos de Aprendizaje por Refuerzo (RL) de horizonte finito e infinito específicamente para la maximización de la SEE en problemas de asignación conjunta de potencia.
Desarrollo de Algoritmos: Los autores proponen el algoritmo FHJPA para la optimización de horizonte finito y el algoritmo IHJPA para la optimación de horizonte infinito, proporcionando un análisis comparativo detallado frente a una línea base codiciosa.
Información sobre la Disponibilidad de Energía: El estudio proporciona información sobre cómo la disponibilidad de la energía recolectada afecta la optimalidad de las estrategias codiciosas frente a los enfoques de programación dinámica óptimos.

Resultados
El rendimiento de los algoritmos se evaluó mediante simulaciones variando parámetros tales como niveles de energía recolectada ( $E_S, E_D$ ), probabilidades de recolección ( $p, q$ ) y el número total de ranuras de tiempo ( $K$ ).

Rendimiento de FHJPA: El algoritmo FHJPA supera consistentemente tanto al GA como al IHJPA en términos de SEE Promedio. Esta superioridad se atribuye al modelado preciso del problema como un MDP de horizonte finito, el cual tiene en cuenta las restricciones de tiempo específicas y la dinámica de la batería.
Comportamiento de GA: Aunque el GA generalmente tiene un rendimiento inferior al de FHJPA, su brecha de rendimiento se reduce significamente cuando la batería del nodo fuente tiene suficiente energía (debido a una alta probabilidad de recolección o grandes unidades de energía recolectada). En estos escenarios de alta energía, la maximización codiciosa de la recompensa inmediata se vuelve casi óptima.
Comportamiento de IHJPA: El algoritmo IHJPA tiene un desempeño deficiente cuando el horizonte de tiempo $K$ es pequeño, ya que la suposición de horizonte infinito no refleja con precisión la terminación finita de la transmisión. A medida que $K$ aumenta, la precisión del modelo de horizonte infinito mejora, reduciendo la brecha de rendimiento entre FHJPA e IHJPA.
Compromisos (Trade-offs): Los resultados indican un compromiso entre la SEE Promedio y el número total de bits seguros transmitidos. El algoritmo FHJPA, al optimizar la eficiencia, puede reducir la potencia de transmisión para conservar energía, lo que resulta en menos bits seguros totales en comparación con el GA, el cual transmite agresivamente cuando la energía es abundante.
Complejidad Computacional: El algoritmo FHJPA requiere una fase de planificación con una complejidad de $O((K-1)N_S^2 N_A)$ , mientras que el GA no tiene fase de planificación. Curiosamente, el análisis del tiempo de computación muestra que el algoritmo FHJPA requiere un 16.6% menos de tiempo que el algoritmo IHJPA, lo que sugiere que para problemas de horizonte finito, el enfoque de inducción hacia atrás es más eficiente computacionalmente que la iteración de política para horizontes infinitos en este contexto específico.

Significancia y Reivindicaciones
El artículo afirma que para las redes inalámbricas con duraciones de transmisión finitas conocidas y restricciones de recolección de energía, el modelado de horizonte finito es superior al de horizonte infinito para maximizar la Eficiencia Energética de Secreto. Los autores enfatizan que, aunque los modelos de horizonte infinito son comunes en la literatura, pueden dar resultados subóptimos cuando la vida útil de la red es finita y conocida.

Además, el artículo destaca una visión práctica: cuando la energía es abundante, las estrategias codiciosas de baja complejidad pueden aproximarse al rendimiento óptimo, ofreciendo una alternativa viable para sistemas donde los recursos computacionales son limitados. Finalmente, los autores concluyen que la optimización del sistema no debe centrarse únicamente en maximizar la SEE o los bits seguros totales de forma aislada, sino que debe buscar un equilibrio entre estas métricas basándose en los requisitos específicos de la red.

1. El "Planificador que Viaja en el Tiempo" (FHJPA)

2. El "Corredor Codicioso" (GA)

3. El "Corredor Eterno" (IHJPA)

Las Grandes Conclusiones

Más como este