Generalizable Multi-Task Learning for Wireless Networks Using Prompt Decision Transformers

Resumen Técnico: Aprendizaje Multitarea Generalizable para Redes Inalámbricas mediante Prompt Decision Transformers

Planteamiento del Problema
Las futuras redes inalámbricas requieren una rápida adaptación a entornos heterogéneos y configuraciones de tareas dinámicas, lo que exige un cambio de la gestión de recursos de radio (RRM) basada en reglas hacia enfoques impulsados por Inteligencia Artificial (IA). Un desafío crítico de la RRM es la transmisión de Multipunto Coordinado (CoMP), específicamente el problema de la selección de multicelda. Esto implica determinar las combinaciones óptimas de celdas de servicio para los Equipos de Usuario (UE) con el fin de mitigar la interferencia intercelular y maximizar la Calidad de Experiencia (QoE).

Aunque los métodos de Aprendizaje por Refuerzo Profundo (DRL) como la Optimización de Política Próxima (PPO) han mostrado resultados prometedores, enfrentan cuellos de botella significativos en este dominio:

1. Baja Eficiencia de Muestreo y Generalización: El RL en línea convencional lucha contra la complejidad combinatoria de la selección de multicelda.
2. Problemas de Escalabilidad: Los cambios en la topología de la red (por ejemplo, aumentar el número de Estaciones Base (BS) o de UE) alteran los espacios de estado y acción, lo que requiere un costoso reentrenamiento de la política.
3. Adaptabilidad Limitada: Las soluciones existentes suelen requerir agentes separados para diferentes configuraciones de red o dependen de interacciones iterativas con el entorno que son lentas para converger en entornos altamente dinámicos.

Metodología: Prompt Decision Transformer (PromptDT)
Los autores proponen un marco de trabajo Prompt Decision Transformer (PromptDT), que reformula el problema de la selección de multicelda como una tarea de modelado de secuencias en lugar de un problema tradicional de optimización de política o de función de valor.

• Aprendizaje Fuera de Línea (Offline) y Modelado de Secuencias: A diferencia del RL en línea, PromptDT aprende políticas de decisión directamente a partir de trayectorias históricas fuera de línea. Utiliza una arquitectura Transformer (específicamente un modelo tipo GPT de solo decodificador) para realizar la predicción autoregresiva del siguiente token. La secuencia de entrada consiste en el Retorno al Ir (RTG - Return-to-Go), estados y acciones.
• Aprendizaje Multitarea mediante Prompts: Para manejar diversas configuraciones de red (variaciones en el número de UE, BS y políticas de programación como Resource-Fair (ReF) y Proportional-Fair (PF)), el marco emplea prompts de trayectoria específicos de la tarea.
  • Durante el entrenamiento, el modelo es expuesto a una mezcla de tareas. Una trayectoria de "prompt" corta ($K^*$) que representa una configuración de tarea específica se concatena con una trayectoria histórica más larga ($K$).
  • El modelo aprende una representación de política unificada que puede generalizarse a través de estas variaciones.
• Manejo de Dimensiones Variables: Para acomodar diferentes dimensiones de espacio de estado/acción entre tareas (por ejemplo, 3 BS frente a 7 BS), los autores aplican relleno con ceros (zero-padding) a las representaciones de estado y acción para igualar las dimensiones máximas. Se utiliza el enmascaramiento de acciones (action masking) durante el entrenamiento e inferencia para asegurar que el modelo solo seleccione acciones válidas (por ejemplo, evitar conexiones a BS con un SNR por debajo del umbral).
• Adaptación de Pocos Pasos (Few-Shot Adaptation): Durante la evaluación, el modelo selecciona una trayectoria de prompt de alta recompensa de un conjunto de demostración para una tarea específica no vista. Luego, genera acciones en un lazo cerrado condicionadas por este prompt y el historial de interacción, permitiendo la adaptación a nuevas configuraciones sin necesidad de reentrenamiento o ajuste fino (fine-tuning).

Contribuciones Clave

1. Marco de Trabajo Multitarea PromptDT: El artículo introduce un marco para la selección de multicelda compleja en CoMP donde las tareas varían en escalas de UE/BS y políticas de programación. Extiende trabajos previos para utilizar espacios de acción multidiscretos mediante pérdida de entropía cruzada enmascarada y enmascaramiento de acciones.
2. Generalización Robusta de Pocos Pasos (Few-Shot): Los autores demuestran que el marco puede adaptarse a configuraciones de red no vistas utilizando prompts de trayectoria específicos de la tarea, logrando una generalización efectiva sin necesidad de reentrenamiento.
3. Escalabilidad y Rendimiento: Experimentos extensos muestran que PromptDT escala efectivamente con el aumento de la diversidad de tareas y la capacidad del modelo, superando significativamente a los modelos base.

Resultados Experimentales
El marco fue evaluado utilizando la plataforma de simulación de código abierto mobile-env a través de 12 tareas distintas que involucran diversas escalas (desde Tiny hasta Large) y políticas de programación.

• Rendimiento vs. PPO: PromptDT superó consistentemente a los baselines de PPO de una sola tarea, particularmente a medida que la capacidad del modelo aumentaba (probado con 5M, 15M y 45M de parámetros).
  • En entornos de pequeña escala, las ganancias fueron modestas (5–10%).
  • En entornos más grandes y complejos (escalas Medium a Large), PromptDT mejoró las recompensas en un 12–30%.
  • En general, el marco logró hasta un 49% de mejora en la QoE en entornos multitarea en comparación con los baselines.
• Adaptación a Tareas No Vistas: Cuando se evaluó en tareas no vistas durante el entrenamiento, el PromptDT con mayor capacidad de modelo se acercó o superó el rendimiento de los agentes PPO que fueron entrenados específicamente para esos entornos objetivo.
• Eficiencia: Los modelos demostraron viabilidad práctica para despliegue en tiempo real, con latencias de inferencia de aproximadamente 11 ms en GPUs de gama baja y requisitos de memoria de hasta 90 MB (FP16).

Significancia y Reivindicaciones
El artículo afirma que PromptDT ofrece una solución escalable y unificada para la RRM en redes inalámbricas dinámicas. Al aprovechar las fortalezas del modelado secuencial de los Transformers y la adaptabilidad del aprendizaje basado en prompts, el marco supera las limitaciones inherentes del RL convencional, tales como la inestabilidad del entrenamiento y los costos prohibitivos de reentrenamiento para cada nueva configuración de red.

Los autores posicionan este trabajo como un paso hacia las aplicaciones nativas de IA en redes inalámbricas, donde un único modelo unificado puede generalizarse a través de múltiples áreas operativas y configuraciones de tareas, reemplazando la necesidad de mantener agentes separados para cada escenario. Los resultados sugieren que el aumento de la capacidad del modelo se correlaciona directamente con una mejor robustez y generalización en entornos de múltiples tareas y altas dimensiones. Se sugiere como trabajo futuro explorar técnicas de Mezcla de Expertos (Mixture-of-Experts) para mitigar aún más los conflictos de gradiente y mejorar la escalabilidad de las tareas.