Link Adaptation Using Joint-Thompson Sampling

Resumen Técnico: Adaptación de Enlace mediante el Muestreo de Thompson Conjunto

Formulación del Problema
La Adaptación de Enlace (LA) es una función crítica de la capa de Control de Acceso al Medio (MAC) responsable de seleccionar los parámetros de transmisión óptimos, específicamente el Esquema de Modulación y Codificación (MCS), para maximizar el rendimiento (throughput) bajo una restricción de Tasa de Error de Bloque (BLER). En escenarios de enlace descendente (downlink), la estación base (gNB) carece de información directa del estado del canal y depende de la retroalimentación del Índice de Calidad de Canal (CQI) por parte del Equipo de Usuario (UE). Los enfoques tradicionales, como el Bucle Externo de Adaptación de Enlace (OLLA), utilizan estadísticas de ACK/NACK para ajustar los desplazamientos de la Relación Señal a Interferencia más Ruido (SINR). Sin embargo, OLLA suele ser lento para adaptarse a canales que cambian rápidamente (desplazamientos Doppler elevados) y carece de granularidad de estado por cada CQI.

La literatura reciente ha modelado la LA como un problema de Bandidos Multibrazo (MAB), donde cada MCS representa un "brazo" con una probabilidad de éxito desconocida. Aunque se han aplicado algoritmos como el Límite Superior de Confianza (UCB) y el Muestreo de Thompson (TS) estándar, estos suelen tratar los brazos MCS como independientes. Esta suposición de independencia no logra capturar una propiedad física fundamental de los canales inalámbricos: la monotonicidad de las probabilidades de éxito. Específicamente, los índices de MCS más bajos (modulaciones más robustas) poseen intrínsecamente probabilidades de éxito más altas que los índices de MCS más altos (mayor eficiencia espectral) para una condición de canal dada ($\theta_1 \ge \theta_2 \ge \dots \ge \theta_K$). Las soluciones de MAB existentes que ignoran esta restricción pueden muestrear configuraciones inviables o converger de forma subóptima, particularmente cuando la retroalimentación de CQI no está disponible o las condiciones del canal son altamente dinámicas.

Metodología: Muestreo de Thompson Conjunto (Joint-TS)
El artículo propone el Muestreo de Thompson Conjunto (Joint-TS), un algoritmo diseñado para preservar explícitamente la monotonicidad de las probabilidades de éxito de los MCS durante todo el proceso de aprendizaje.

1. Prior Beta Multivariante Ordenada (MOB): A diferencia del TS clásico, que asume distribuciones Beta independientes para cada brazo, el Joint-TS utiliza una distribución Beta Multivariante Ordenada (MOB) como la distribución prior. Esta distribución se define sobre el simplex $S = \{ \theta \in [0, 1]^K \mid \theta_1 \ge \theta_2 \ge \dots \ge \theta_K \}$. Al muestrear de esta distribución conjunta, el algoritmo garantiza que cada conjunto muestreado de probabilidades de éxito cumpla con la restricción de monotonicidad física.
2. Muestreo de Gibbs para la Inferencia: El muestreo directo de la distribución MOB no es trivial. Los autores emplean una técnica de muestreo de Gibbs (un método de Monte Carlo por Cadenas de Markov) para generar muestras. El núcleo de este enfoque se basa en el lema de que la distribución condicional de cualquier brazo $\Theta_i$, dado los demás, sigue una distribución Beta Restringida acotada por los valores de sus vecinos ($\theta_{i+1} \le \Theta_i \le \theta_{i-1}$).
3. Flujo del Algoritmo: En cada paso de tiempo, el Joint-TS:
   • Muestrea un vector de probabilidades de éxito $(\Theta_1, \dots, \Theta_K)$ de la posterior MOB actual utilizando el muestreo de Gibbs.
   • Selecciona el brazo MCS $I_t$ que maximiza la recompensa esperada ($s_i \cdot \Theta_i$).
   • Observa la recompensa (ACK/NACK) y actualiza los parámetros del brazo seleccionado. Debido a la distribución conjunta, esta actualización influye implícitamente en la posterior de todos los demás brazos, manteniendo la restricción de monotonicidad sin requerir un reordenamiento explícito.

Contribuciones Clave

• MAB Consciente de la Monotonicidad: El artículo introduce el Joint-TS, el primer algoritmo de LA basado en MAB que impone rigurosamente la naturaleza ordenada de las probabilidades de éxito de los MCS utilizando un prior multivariante, en lugar de tratar los brazos como entidades independientes.
• Mecanismo de Muestreo: Los autores proponen un método práctico de muestreo de Gibbs para extraer muestras de la distribución MOB, abordando el desafío computacional de muestrear desde distribuciones multivariantes ordenadas.
• Robustez ante Limitaciones de CQI: El trabajo demuestra que el Joint-TS mantiene el rendimiento incluso cuando la retroalimentación de CQI no está disponible, un escenario donde los algoritmos unimodales de última generación (como UTS) y los algoritmos dependientes de tablas (como Latent-TS) se degradan significativamente.

Resultados de Simulación
Los autores evaluaron el Joint-TS frente a OLLA, Thompson Sampling Modificado (MTS), Thompson Sampling Unimodal (UTS) y Latent-TS (LTS) utilizando configuraciones de MCS de 5G NR (29 niveles) tanto en entornos de canal estáticos como con desplazamiento Doppler.

• Canales Estáticos: En condiciones estáticas con CQI perfecto, el Joint-TS logró un rendimiento competitivo (por ejemplo, 2.54 bps/Hz a 10 dB de SINR) comparable al de LTS (2.68 bps/Hz).
• Escenarios de Alto Doppler (Movilidad):
  • Con CQI Perfecto: Mientras que UTS y LTS funcionaron bien con desplazamientos Doppler bajos, el LTS se degradó significativamente con desplazamientos Doppler altos (111 Hz). El Joint-TS mantuvo un rendimiento estable (1.56 bps/Hz) comparable al de UTS, superando al LTS (1.29 bps/Hz).
  • Sin CQI: En ausencia de retroalimentación de CQI, el UTS tuvo dificultades significativas (cayendo a 1.34 bps/Hz a 111 Hz). El LTS mantuvo un alto rendimiento en entornos de Doppler bajo-medio pero mostró degradación. El Joint-TS demostró una robustez consistente en todos los desplazamientos Doppler, manteniendo un rendimiento de 1.32 bps/Hz (a 111 Hz) superior al de UTS y MTS, y competitivo con LTS.

Significancia y Reivindicaciones
El artículo afirma que el Joint-TS ofrece un enfoque basado en principios para la Adaptación de Enlace que aprovecha la estructura inherente de los canales inalámbricos. Al utilizar la distribución MOB, el algoritmo evita las ineficiencias de explorar combinaciones de MCS inviables. Los autores destacan que, aunque los algoritmos existentes (como CoTS) intentan explotar la monotonicidad, sus técnicas de muestreo pueden no adherirse estrictamente a las propiedades de la distribución conjunta.

La principal significancia del Joint-TS reside en su robustez. Las simulaciones indican que, mientras otros algoritmos fallan en escenarios específicos —como entornos de alta movilidad o cuando falta la retroalimentación de CQI—, el Joint-TS ofrece un rendimiento consistente y competitivo. Los autores posicionan al Joint-TS como una solución que no depende de tablas de búsqueda preexistentes y potencialmente inexactas (a diferencia de LTS) y que se adapta rápidamente a la dinámica cambiante del canal sin necesidad de un ajuste manual de parámetros. El trabajo sugiere que imponer restricciones físicas (monotonicidad) dentro del marco probabilístico de MAB conduce a un rendimiento superior en entornos inalámbricos prácticos y dinámicos.