Auction-Based RIS Allocation With DRL: Controlling the Cost-Performance Trade-Off

Este artículo propone un mecanismo de asignación de superficies inteligentes reconfigurables (RIS) basado en subastas y agentes de aprendizaje por refuerzo profundo que optimiza la compensación entre el rendimiento de la red y el costo mediante una estrategia de puja adaptable y controlable.

Lo esencial

Imagina que tu ciudad es una gran red de teléfonos móviles, pero hay un problema: en los bordes de las "células" (las zonas de cobertura de cada antena), la señal es muy mala. Es como si estuvieras en la esquina de un callejón y tu vecino te gritara, pero el viento y los muros le impiden llegar a ti.

Para solucionar esto, los científicos proponen usar Superficies Inteligentes Reconfigurables (RIS). Piensa en estas RIS como espejos mágicos o rebotadores de señales que se pueden pegar en las fachadas de los edificios. Si un espejo está bien colocado, puede tomar la señal débil, rebotarla y enviártela con fuerza, como si fuera un pase perfecto en un partido de fútbol.

Pero aquí surge el dilema: ¿Quién controla estos espejos?
En este escenario, no hay un solo dueño que decida. Hay varias empresas de telefonía (las "Estaciones Base") que compiten por usar los mismos espejos mágicos.

La Subasta: Un Mercado de Espejos

En lugar de que las empresas peleen a gritos o se peleen por quién llega primero, los autores proponen un mercado de subastas, similar a una subasta de arte o de bienes raíces, pero que ocurre en milisegundos.

1. El Subastador: Hay un "dueño" independiente de los espejos que los alquila.
2. La Licitación: Cada vez que el precio de un espejo sube un poco, las empresas de telefonía deben decidir: "¿Vale la pena pagar este precio por este espejo?".
3. El Problema: Si las empresas son demasiado avariciosas, gastarán todo su presupuesto en espejos que quizás no les sirven tanto. Si son demasiado tacañas, no conseguirán los mejores espejos y sus clientes seguirán con mala señal.

La Solución: Los Agentes "Inteligentes" (IA)

Aquí es donde entra la Inteligencia Artificial (específicamente, el Aprendizaje por Refuerzo o DRL).

Imagina que cada empresa de telefonía tiene un gerente de compras virtual (un agente de IA).

• Los humanos (o estrategias simples): A veces, los gerentes humanos son predecibles. O bien compran todo lo que ven (gastando demasiado), o solo compran lo que está más cerca de su oficina (aunque no sea el mejor espejo).
• El Gerente IA: Este agente es como un jugador de ajedrez experto que ha practicado millones de veces. Aprende a observar el tablero (el precio, la calidad del espejo, cuánto dinero le queda) y decide: "Hoy no voy a gastar en ese espejo barato, voy a esperar a que baje el precio de este otro que vale mucho más".

El agente aprende a encontrar el punto dulce: gastar la menor cantidad de dinero posible para obtener la mejor señal para sus clientes.

El "Botón de Control" (Beta)

Una de las cosas más interesantes que descubrieron los autores es que pueden ajustar un "botón" llamado Beta en la IA.

• Si giras el botón hacia un lado, el agente se vuelve muy agresivo: compra muchos espejos, gasta mucho dinero, pero la señal es increíblemente buena.
• Si lo giras hacia el otro lado, el agente se vuelve muy conservador: gasta muy poco, pero la señal es solo un poco mejor que sin espejos.

Esto es genial porque permite a las empresas elegir: "¿Hoy queremos ahorrar dinero o queremos que la red funcione a máxima velocidad?".

En Resumen

Este paper nos dice que para gestionar el futuro de las redes móviles (6G), no necesitamos que las empresas se peleen físicamente por los recursos. En su lugar, podemos usar subastas automáticas donde Inteligencias Artificiales aprenden a negociar por ellas.

Es como tener un equipo de compradores robots que saben exactamente cuándo hacer una oferta y cuándo quedarse callados, logrando que todos los usuarios tengan mejor internet sin que las empresas se arruinen. ¡Es una mezcla de economía, espejos mágicos y aprendizaje automático!

Resumen técnico

Resumen Técnico: Asignación de Superficies Inteligentes Reconfigurables (RIS) Basada en Subastas y Aprendizaje por Refuerzo Profundo

1. Planteamiento del Problema

El trabajo aborda el desafío de la asignación eficiente de Superficies Inteligentes Reconfigurables (RIS) en redes inalámbricas multicelulares, específicamente en escenarios donde las estaciones base (BS) compiten por el control de unidades RIS compartidas ubicadas en los bordes de las celdas.

• Contexto: Las RIS son una tecnología clave para las redes 6G, capaces de moldear el entorno de radio para mejorar la cobertura y la eficiencia espectral. Sin embargo, su despliegue práctico plantea la cuestión de cómo asignar recursos limitados (RIS) entre múltiples operadores o estaciones base de manera justa y eficiente.
• Desafío: Cuando varias estaciones base contemplan el mismo RIS, se requiere un mecanismo de asignación que no sea computacionalmente prohibitivo (evitando métodos combinatorios complejos) y que gestione la competencia de manera dinámica.
• Objetivo: Desarrollar un mecanismo de asignación que optimice la relación entre el costo económico (pagado por el arrendamiento de las RIS) y el rendimiento de la red (eficiencia espectral o tasa de suma), utilizando un enfoque de mercado.

2. Metodología Propuesta

El sistema propuesto integra un modelo de canal físico, estimación de utilidad macroscópica, un formato de subasta y agentes de Aprendizaje por Refuerzo (RL).

A. Modelo del Sistema y Canal

• Escenario: $N_{BS}$ estaciones base compiten por $N_{RIS}$ unidades RIS para servir a $N_{UE}$ usuarios.
• Modelado de Canal: Se considera un enlace directo (NLOS, fuertemente sombreado) y enlaces asistidos por RIS.
  • El canal BS-RIS se modela con componente de línea de vista (LOS) fuerte.
  • El canal RIS-Usuario utiliza un modelo de Rician (mezcla de LOS y NLOS).
  • La RIS se configura como una matriz de fase diagonal para maximizar la señal coherente.
• Estimación de SINR Macroscópica: Dado que la información de estado del canal (CSI) instantánea no está disponible antes de configurar la RIS, las estaciones base estiman la Relación Señal-Ruido-Interferencia (SINR) y la tasa alcanzable utilizando parámetros macroscópicos (ganancias de trayectoria, ángulos de llegada/salida y promedios estadísticos). Esto permite una estimación de la utilidad sin un overhead de señalización excesivo.

B. Formato de Subasta

• Se utiliza una subasta ascendente simultánea (tipo "japonesa").
• En cada ronda, el precio de cada RIS aumenta en un incremento fijo ($\Delta p$).
• Las estaciones base envían vectores de oferta binarios indicando su voluntad de pagar el precio actual.
• Reglas: Si una RIS recibe una sola oferta, se asigna; si recibe múltiples, la subasta continúa; si no recibe ofertas, permanece sin asignar. Se aplica una regla de actividad para evitar que las estaciones abandonen y vuelvan a pujar arbitrariamente.

C. Estrategias de Puja
El artículo compara tres enfoques para que las estaciones base decidan a qué RIS pujar:

1. Estrategias Heurísticas (Línea Base):
   • Avaricia (Greedy): Pujan por las RIS con mayor valor estimado marginal hasta agotar el presupuesto.
   • Basada en Distancia: Pujan basándose únicamente en la proximidad física a la RIS.
2. Estrategia Basada en Aprendizaje por Refuerzo (RL):
   • Se emplean agentes de Aprendizaje por Refuerzo Profundo (DRL) independientes (uno por estación base).
   • Estado/Observación: Incluye el precio actual, el presupuesto restante y los valores estimados de las RIS disponibles.
   • Acción: Un vector binario de decisión de puja.
   • Recompensa: Diseñada para maximizar el valor de las RIS adquiridas (R1), penalizar el costo total de las pujas (R2) y aplicar una penalización severa por exceder el presupuesto (R3).
   • Algoritmo: Se utiliza PPO (Proximal Policy Optimization) entrenado en un entorno simulado (Gymnasium/PettingZoo).

D. Parámetro de Control ($\beta$)
Se introduce un parámetro de intensidad de puja ($\beta$) en la función de recompensa que permite ajustar la agresividad del agente RL, controlando así el equilibrio entre gastar más para obtener mejor rendimiento o ser más conservador.

3. Contribuciones Clave

1. Mecanismo de Asignación Escalable: Propone una solución basada en subastas ascendentes que evita la complejidad combinatoria de asignar RIS en redes densas, utilizando estimaciones macroscópicas de bajo costo computacional.
2. Integración de DRL en Subastas: Demuestra que los agentes de RL pueden aprender estrategias de puja óptimas en un entorno dinámico y competitivo, superando a las estrategias heurísticas estáticas.
3. Control Flexible del Trade-off: Introduce el parámetro $\beta$ como una "perilla" de ajuste que permite a los operadores de red controlar explícitamente la relación costo-rendimiento según sus necesidades operativas.
4. Validación en Escenarios de Borde de Celda: El estudio se centra en la zona de borde de celda, donde la interferencia es alta y el beneficio de las RIS es máximo, validando la utilidad del enfoque en condiciones realistas de despliegue.

4. Resultados de las Simulaciones

Las simulaciones se realizaron en un escenario de dos celdas con usuarios y RIS agrupados en el borde de la celda ($N_{BS}=2, N_{RIS}=10, N_{UE}=20$).

• Precisión de Estimación: La estimación de SINR basada en parámetros macroscópicos muestra un error decreciente a medida que aumenta el número de antenas en la estación base, validando el enfoque para arrays grandes.
• Rendimiento vs. Costo:
  • Los agentes basados en RL superan significativamente a las estrategias heurísticas. Logran tasas de suma (sum-rates) más altas por un costo menor.
  • Las estrategias heurísticas tienden a pujar de manera más agresiva y menos selectiva, incrementando el gasto innecesario.
  • La ausencia de RIS resulta en un rendimiento drásticamente inferior, confirmando su valor.
• Efecto del Parámetro $\beta$:
  • Valores bajos de $\beta$: Los agentes son más agresivos, pujando por más RIS (incluyendo las de menor valor), lo que aumenta el costo y la tasa de suma.
  • Valores altos de $\beta$: Los agentes se vuelven más conservadores y selectivos, enfocándose solo en RIS de alto valor. Esto reduce el costo total y el número de RIS asignadas, pero mantiene una buena eficiencia.
  • Esto confirma que $\beta$ permite un ajuste fino del equilibrio entre eficiencia espectral y gasto económico.

5. Significado e Impacto

Este trabajo es significativo para el desarrollo de las redes 6G y la gestión de recursos en entornos de radio cognitivos:

• Viabilidad Económica: Proporciona un marco para que los RIS sean un recurso comercializable y dinámico, gestionado por un operador independiente y arrendado a los operadores de red según la demanda.
• Eficiencia Operativa: Al utilizar RL, el sistema se adapta automáticamente a cambios en la topología de la red y en la demanda de los usuarios sin necesidad de reconfiguración manual compleja.
• Equilibrio Estratégico: La capacidad de controlar el trade-off costo-rendimiento mediante un solo parámetro ofrece a los operadores de red una herramienta práctica para la toma de decisiones estratégicas en la implementación de RIS.

En conclusión, la combinación de mecanismos de subasta con agentes de aprendizaje por refuerzo representa un avance prometedor hacia la asignación eficiente, justa y adaptable de superficies inteligentes en las futuras redes inalámbricas.