Resumen Técnico: Ajuste en Tiempo de Prueba Autosupervisado para la Ocultación de Pérdida de Paquetes

1. Planteamiento del Problema

La Ocultación de Pérdida de Paquetes (PLC, por sus siglas en inglés) es un componente crítico en VoIP, conferencias y sistemas de música en red, cuya tarea es reconstruir los paquetes de audio perdidos en el receptor. Aunque los modelos modernos de PLC neuronal han superado a los métodos clásicos de procesamiento de señales (p. ej., G.711, Opus) mediante el aprendizaje de priors basados en datos, suelen implementarse como predictores estáticos y congelados. Una vez entrenado, los parámetros del modelo permanecen fijos independientemente del hablante específico, el instrumento, el entorno acústico o el patrón de pérdida de paquetes de la llamada actual.

Este despliegue estático ignora una fuente valiosa de información disponible en el tiempo de inferencia: los paquetes recibidos mismos. Estos paquetes contienen características específicas de la señal (identidad del hablante, acústica de la sala, escala espectral) que teóricamente podrían utilizarse para adaptar el modelo al archivo actual. Sin embargo, adaptar un modelo durante la inferencia es un desafío debido a que:

1. No hay Referencia Limpia: La verdad fundamental (ground truth) para los paquetes perdidos no está disponible.
2. No hay Datos Externos: La adaptación debe depender únicamente de la señal de prueba corrupta.
3. Restricciones de Causalidad: En la transmisión en tiempo real, las muestras ya emitidas no pueden revisarse, y la adaptación no debe depender de datos futuros.

2. Metodología: TTT-PLC

Los autores proponen TTT-PLC, un marco de ajuste en tiempo de prueba (test-time tuning) autosupervisado que adapta los backbones de PLC existentes utilizando únicamente los paquetes recibidos de la señal con pérdida actual. El principio central es construir una tarea autosupervisada auxiliar a partir de los datos disponibles para generar una señal de entrenamiento sin requerir referencias limpias.

Mecanismo Central

El método enmascara sintéticamente un subconjunto de los paquetes recibidos (observados) y entrena al modelo para reconstruirlos utilizando la función de pérdida nativa de PLC del modelo. Los verdaderos paquetes perdidos nunca se utilizan como objetivos de entrenamiento; estos se reservan exclusivamente para la evaluación final.

El marco se instancia en dos configuraciones de despliegue:

A. Configuración No Causal (Post-Llamada/Buffereada)

• Escenario: El archivo recibido completo está disponible antes de la reconstrucción (p. ej., reparación de archivos, restauración post-llamada).
• Procedimiento:
  1. Los paquetes observados ($O$) se dividen en un conjunto de validación mantenido aparte ($H$) y un grupo de adaptación ($A$).
  2. El grupo $A$ se divide además en pliegues (folds) de enmascaramiento sintético. Para cada pliegue, un subconjunto ($C_k$) se enmascara, y el modelo se entrena para reconstruir $C_k$ utilizando el contexto restante ($D_k$).
  3. El modelo se actualiza mediante descenso de gradiente para minimizar la pérdida de reconstrucción en $C_k$.
  4. Los puntos de control (checkpoints) del modelo se seleccionan basándose en su desempeño en el conjunto mantenido aparte $H$ (el cual también es enmascarado sintéticamente durante la validación).
  5. El modelo adaptado final reconstruye los verdaderos paquetes perdidos ($L$).

B. Configuración Causal (Transmisión en Tiempo Real)

• Escenario: El audio se transmite a medida que llega; las muestras emitidas no pueden revisarse.
• Procedimiento:
  • Replay de Bloque (para FRN - Voz): El sistema transmite un bloque de paquetes utilizando los pesos actuales. Una vez completado el bloque, el modelo realiza épocas de "reproducción" (replay) sobre ese bloque específico, enmascando sintéticamente los paquetes recibidos dentro del bloque para actualizar los pesos. Estos pesos actualizados afectan solo a los bloques futuros. Para manejar pérdidas en ráfagas, el método utiliza un replay consciente de ráfagas (burst-aware replay), enmascarando series cortas de paquetes en lugar de fotogramas individuales para imitar las condiciones de inferencia.
  • Transmisión Cada Paquete (para PARCnet - Música): El modelo procesa el flujo paquete por paquete.
    • Si un paquete se pierde realmente ($L$), se oculta, y no se realiza ningún paso de gradiente.
    • Si un paquete se recibe y está en el conjunto de entrenamiento ($A$), se enmascara sintéticamente, se predice y se utiliza para una actualización de gradiente.
    • Si un paquete se recibe y está en el conjunto mantenido aparte ($H$), se pasa sin actualizar los pesos.
    • Selección de Instantáneas (Snapshot Selection): Periódicamente, el estado actual del modelo se evalúa en el conjunto mantenido aparte $H$ (sintéticamente oculto). Se selecciona la mejor instantánea ($\theta^*$) basada en esta puntuación de validación y se utiliza para la reconstrucción subsiguiente.

Detalles de Implementación

• Backbones: El marco fue probado en FRN (un modelo de PLC de voz recurrente de banda completa) y PARCnet (un modelo híbrido autorregresivo-neuronal para música en red).
• Funciones de Pérdida: Los modelos utilizan sus funciones de pérdida nativas (p. ej., pérdida espectral para FRN; MSE + MR-STFT para PARCnet).
• Restricción de No Fuga (No-Leak): Medidas estrictas aseguran que el audio limpio de las posiciones de pérdida real nunca entre en la pérdida de entrenamiento o validación, incluso en las colas de predicción superpuestas (p. ej., la cola de 80 muestras de PARCnet).

3. Contribuciones Clave

1. Marco de Adaptación Autosupervisado: Un método para adaptar modelos de PLC preentrenados utilizando solo los paquetes recibidos, eliminando la necesidad de referencias limpias, datos externos o cambios arquitectónicos.
2. Despliegue Causal y No Causal: Demostración de que el ajuste en tiempo de prueba es viable tanto en entornos fuera de línea (no causales) como en entornos estrictamente de tiempo real (causales), con algoritmos específicos (replay de bloque, adaptación de flujo) para satisfacer las restricciones de causalidad.
3. Agnosticismo de Dominio: Validación a través de dos dominios distintos (voz y música) y arquitecturas (frecuencia recurrente vs. híbrido en el dominio del tiempo), mostrando que el principio se aplica ampliamente.
4. Robustez ante el Desplazamiento de Distribución: Evidencia de que el método puede adaptar un modelo entrenado en una clase de señal (p. ej., música) a otra clase (p. ej., voz) utilizando solo la señal recibida.

4. Resultados Experimentales

FRN (Voz)

• Archivos Largos (LibriSpeech-40): El ajuste no causal mejoró el STOI en +0.009 y el PESQ en +0.047. El método de replay de bloque causal recuperó el 84–85% de las ganancias no causales, demostrando que una adaptación significativa es posible incluso con una causalidad estricta.
• Archivos Cortos (PLC Challenge 2022): En 966 archivos cortos, el replay causal mejoró todas las métricas (STOI, PESQ, PLCMOS) sobre la línea base congelada, con mejoras consistentes en todo el conjunto de prueba.
• Tiempo de Ejecución: El replay causal tiene un costo computacional comparable al ajuste de múltiples épocas no causal, pero asegura la validez causal.

PARCnet (Música)

• Fuera de Dominio (Voz): Cuando se aplicó a la voz (LibriSpeech) a pesar de haber sido entrenado en música, el modelo congelado funcionó deficientemente. TTT-PLC redujo significativamente el NMSE de paquete (p. ej., de +0.30 dB a -1.84 dB al 10% de pérdida con dos pasadas de mejor validación).
• Dentro del Dominio (Música): En el conjunto de datos de piano MAESTRO, el modelo congelado ya era fuerte. TTT-PLC proporcionó mejoras modestas pero consistentes en el NMSE de paquete (p. ej., -5.94 dB frente a -5.28 dB para el modelo congelado al 10% de pérdida con adaptación de múltiples épocas).
• Selección de Instantáneas: Se encontró que la validación en los paquetes recibidos mantenidos aparte es un proxy preciso para seleccionar la mejor instantánea del modelo, con una diferencia media de solo 0.02 dB respecto a un selector oráculo que utiliza los paquetes perdidos reales.
• Adaptación de Múltiples Épocas: Ejecutar la adaptación durante múltiples épocas (configuración fuera de línea) produjo los mejores resultados, particularmente para señales fuera de dominio, aunque con un mayor costo computacional (aprox. 15 veces el tiempo real para 5 épocas).

5. Significación y Reivindicaciones

El artículo afirma que los sistemas de PLC no necesitan permanecer fijos en el tiempo de inferencia. Los paquetes recibidos en una señal con pérdida contienen suficiente información específica de la señal para servir como una señal de entrenamiento efectiva para mejorar la ocultación de esa misma señal.

• Practicidad: El método ofrece un camino hacia un PLC adaptable al archivo sin la necesidad de reentrenar en nuevos conjuntos de datos o modificar las arquitecturas de los modelos.
• Generalidad: El éxito a través de la voz y la música, y tanto en entornos causales como no causales, sugiere que el ajuste en tiempo de prueba autosupervisado es una estrategia generalizable para la reconstrucción robusta de audio.
• Limitaciones: Los autores señalan que, si bien las métricas a nivel de paquete (NMSE) muestran ganancias claras, las métricas perceptuales (PEAQ, PLCMOS) pueden ser menos consistentes, particularmente para la música donde las métricas pueden no estar perfectamente calibradas para los artefactos de PLC. Además, la implementación actual de la adaptación de múltiples épocas es computacionalmente costosa, lo que sugiere que para un despliegue en tiempo real, las frecuencias de actualización más bajas o las estrategias de una sola pasada son más apropiadas.

En conclusión, TTT-PLC demuestra que aprovechar las partes de una señal corrupta que "aún se observan" puede hacer que los modelos de PLC existentes sean más receptivos a las condiciones específicas de la llamada o grabación actual.