Zero-Shot Knowledge Base Resizing for Rate-Adaptive Digital Semantic Communication

Resumen Técnico: Redimensionamiento de la Base de Conocimientos Zero-Shot para la Comunicación Semántica Digital con Adaptación de Tasa

Planteamiento del Problema
Los sistemas de comunicación semántica digital, particularmente aquellos construidos sobre el marco de VQ-VAE (Autoencoder Variacional Cuantizado Vectorialmente), dependen de una Base de Conocimientos (KB) o libro de códigos discreto compartido para transmitir información. En estos sistemas, la tasa de transmisión está gobernada directamente por el tamaño de la KB ($K$). Un $K$ más grande permite una representación semántica de grano más fino y una mayor calidad de reconstrucción, pero aumenta la carga útil de transmisión (requiriendo $\lceil \log_2 K \rceil$ bits por índice) y la sobrecarga computacional. Por el contrario, un $K$ más pequeño reduce el ancho de banda y la latencia, pero degrada la calidad.

La limitación fundamental de los sistemas basados en VQ-VAE actuales es que el tamaño de la KB $K$ es un hiperparámetro fijo determinado antes del entrenamiento. Para adaptar la tasa de transmisión a condiciones de canal dinámicas, los enfoques existentes requieren entrenar y almacenar un modelo completo y separado para cada tamaño de KB deseado. Esta práctica es computacionalmente prohibitiva y costosa en términos de almacenamiento, lo que impide una adaptación de tasa verdaderamente granular y en tiempo real. Aunque algunos métodos intentan aproximar la flexibilidad seleccionando entre configuraciones predefinidas discretas o utilizando sub-KBs variables, no logran soportar un redimensionamiento arbitrario ni reducen efectivamente la tasa de transmisión real.

Metodía
Los autores proponen un método de redimensionamiento de KB zero-shot que permite la adaptación dinámica de una KB a cualquier tamaño objetivo menor sin necesidad de reentrenamiento. La premisa central es que las relaciones semánticas dentro de una KB bien entrenada son inherentemente jerárquicas. El método opera sobre una única KB "padre" de gran tamaño ($\hat{K}$) y extrae una KB más pequeña y de alta calidad (tamaño $K < \hat{K}$) a través de un marco de tres pasos:

1. Incrustación Hiperbólica para la Granularidad Semántica:
   Los vectores de la KB madre preentrenada se incrustan desde su espacio euclidiano nativo hacia un espacio hiperbólico (específicamente el modelo de la bola de Poincaré). Esta transformación geométrica aprovecha la propiedad de que el espacio hiperbólico representa naturalmente estructuras jerárquicas con baja distorsión. En este mapeo, los vectores que representan conceptos de grano grueso y fundamentales se posicionan cerca del origen, mientras que los vectores que representan conceptos finos y específicos se desplazan hacia el límite. La distancia desde el origen sirve así como un indicador de la importancia semántica.

2. Poda Jerárquica mediante Árbol de Expansión Mínima (MST):
   Utilizando las distancias hiperbólicas entre los vectores, los autores construyen un "árbol semántico maestro" utilizando un algoritmo de Árbol de Expansión Mínima (algoritmo de Prim). El vector más cercano al origen (el concepto más general) se designa como la raíz. Este árbol define explícitamente las relaciones padre-hijo entre los vectores de la KB. Para redimensionar la KB a un tamaño objetivo $K$, el método realiza una poda determinista: elimina iterativamente los nodos hoja (que representan los conceptos más específicos) hasta que permanecen exactamente $K$ nodos. Este proceso preserva el "esqueleto" fundacional de la base de conocimientos mientras descarta los detalles más granulares.

3. Proyección Euclidiana:
   El conjunto de vectores podados, que ahora residen en el espacio hiperbólico, se mapea de nuevo al espacio euclidiano original utilizando el mapa logarítmico (la inversa del mapa exponencial utilizado en el paso 1). El conjunto de vectores resultante forma la KB redimensionada final, la cual es totalmente compatible con los sistemas de comunicación semántica digital existentes que operan en el espacio euclidiano.

Contribuciones Clave

• Un Marco de Tres Pasos con Principios Definidos: El artículo introduce un método completo para el redimensionamiento de KB zero-shot que utiliza incrustaciones hiperbólicas para revelar la jerarquía semántica, la construcción de MST para formalizar esta jerarquía y la poda iterativa de hojas para lograr un redimensionamiento instantáneo.
• Eliminación de la Sobrecarga de Reentrenamiento: El método permite la creación de KBs de tamaños arbitrarios a partir de un único modelo padre entrenado, eliminando la necesidad de entrenar modelos separados para diferentes niveles de tasa.
• Robustez en Tasas Bajas: El enfoque demuestra una estabilidad superior en tasas de transmisión muy bajas en comparación con los modelos entrenados desde cero para tamaños de KB pequeños.

Resultados Experimentales
Los autores evaluaron el método utilizando una tarea de transmisión semántica de imágenes de extremo a extremo con el conjunto de datos ImageNet, comparando su enfoque de "Redimensionamiento zero-shot" contra un modelo de línea base de "Entrenado desde cero" (donde se entrena un modelo dedicado para cada tamaño de KB específico).

• Calidad de Reconstrucción: A través de un amplio rango de tamaños de KB, el Índice de Similitud Estructural (SSIM) de las KBs redimensionadas mediante zero-shot fue casi idéntico al de los modelos de línea base dedicados, con una diferencia promedio de solo un 0.8%.
• Robustez: En tasas muy bajas (por ejemplo, $K=256$), los modelos de línea base entrenados desde cero sufrieron fallos catastróficos, produciendo imágenes con artefactos severos y colores antinaturales. En contraste, el método zero-shot mantuvo la coherencia semántica, produciendo imágenes reconocibles (aunque borrosas). Esto indica que la poda jerárquica preserva los conceptos más esenciales, asegurando una degradación gradual en lugar de un colapso del sistema.
• Eficiencia: El método propuesto redujo el tiempo total de entrenamiento y los requisitos de recursos de GPU aproximadamente 9 veces. En lugar de entrenar nueve modelos separados para nueve tamaños de KB distintos, solo se entrenó un único modelo padre; todos los demás tamaños se generaron mediante el proceso de poda, que es computacionalmente económico.

Significancia
El artículo afirma resolver una limitación arquitectural fundamental de los sistemas de comunicación semántica digital basados en VQ-VAE. Al permitir la reestructuración instantánea de una KB a un tamaño arbitrario sin reentrenamiento, el método ofrece un camino práctico y eficiente hacia una comunicación semántica adaptable a la tasa. Esta capacidad es crítica para las futuras redes inalámbricas donde las condiciones del canal y las restricciones de recursos son dinámicas, permitiendo que los sistemas equilibren la calidad de reconstrucción y la sobrecarga de transmisión sobre la marcha sin los costos prohibitivos asociados con el mantenimiento de múltiples modelos especializados.