Seeing Radio: From Zero RF Priors to Explainable Modulation Recognition with Vision Language Models

Resumo Técnico: Reconhecimento de Modulação com Modelos de Linguagem e Visão (VLMs)

1. Problema e Motivação

As pipelines atuais de aprendizado de máquina para inteligência de Radiofrequência (RF) dependem de redes neurais profundas específicas para cada tarefa (como classificação de modulação automática - AMC). Essas abordagens apresentam limitações críticas:

• Falta de Generalização: Modelos treinados em condições específicas (SNR, canais) falham ao serem aplicados em cenários diferentes.
• Arquiteturas Personalizadas: Requerem redes desenhadas do zero para cada problema, sem aproveitar conhecimentos pré-existentes.
• Baixa Interpretabilidade: Oferecem apenas previsões "caixa-preta", sem justificativas compreensíveis por humanos.
• Dependência de Dados: Necessitam de grandes conjuntos de dados rotulados por especialistas.

O artigo propõe investigar se Modelos de Linguagem e Visão (VLMs) de propósito geral podem ser adaptados para perceber sinais de RF e raciocinar sobre padrões de modulação, sem redesenhar suas arquiteturas ou injetar vieses indutivos específicos de RF. O objetivo é criar sistemas de IA nativos para redes 6G que sejam escaláveis, explicáveis e robustos.

2. Metodologia Proposta

A abordagem central consiste em converter dados de RF brutos (fluxos complexos IQ) em representações visuais que um VLM possa processar, utilizando um pipeline de "RF para Imagem".

• Conversão de Sinais para Imagem:

  • Espectrograma: Gerado através da Transformada de Fourier de Tempo Curto (STFT) para capturar padrões tempo-frequência.
  • Segmentos de Série Temporal IQ: Visualização das componentes In-phase (I) e Quadrature (Q) como traços temporais. A extração de segmentos é baseada em pontos de cruzamento por zero (zero-crossing) para normalizar o tempo em relação à taxa de símbolos, evitando distorções visuais.
  • Representação Conjunta (Joint): Concatenação horizontal do espectrograma e do segmento IQ, fornecendo ao modelo tanto a estabilidade espectral quanto a dinâmica temporal.

• Benchmarks e Dados:

  • Foi construído um benchmark de Perguntas e Respostas Visuais (VQA) com 57 classes de modulação (incluindo OFDM, QAM, PSK, ASK, FSK, GFSK, MSK, GMSK, AM, Chirp/LFM, etc.), gerados via biblioteca TorchSig.
  • O benchmark suporta três modos de entrada: apenas IQ, apenas Espectrograma e Representação Conjunta.
  • Os prompts são projetados para cenários de classificação $n$-way (escolher a melhor opção entre uma lista finita), refletindo cenários práticos de sistemas de comunicação.

• Ajuste Fino (Fine-Tuning):

  • Em vez de treinar do zero, os autores utilizam Ajuste Fino Eficiente de Parâmetros (PEFT) com QLoRA em VLMs de código aberto (como Qwen2.5-VL-7B e InternVL3-8B).
  • O modelo é treinado apenas nas imagens geradas, mantendo a arquitetura base intacta.

3. Principais Contribuições

1. Benchmark de RF Visual: Criação de um conjunto de dados reprodutível com 57 esquemas de modulação, cobrindo representações de espectrograma, série temporal e conjunta.
2. Adaptação de VLMs Gerais: Demonstração inédita de que um VLM de propósito geral pode ser adaptado para classificar modulações de RF e gerar explicações em linguagem natural sobre suas decisões, sem necessidade de redesenho arquitetural.
3. Eficiência e Robustez: Evidência de que, com um ajuste fino mínimo, o modelo atinge alta eficiência de dados e robustez contra ruído e classes de modulação fora do vocabulário de treinamento (OOV - Out-of-Vocabulary).

4. Resultados Experimentais

• Desempenho Inicial (Zero-Shot): VLMs pré-treinados sem ajuste fino apresentam desempenho próximo ao acaso (cerca de 10-12% de precisão), indicando que não possuem conhecimento prévio inerente sobre padrões de RF.
• Impacto do Ajuste Fino (PEFT):
  • Após o ajuste fino, a precisão salta de 10% para **90%**.
  • A Representação Conjunta (Espectrograma + IQ) superou consistentemente os modos individuais.
    • Qwen2.5-VL-7B-RF: 89,05% (Conjunto) vs. 77,70% (Espectrograma) vs. 77,20% (IQ).
    • InternVL3-8B-RF: 91,20% (Conjunto).
  • O modo conjunto melhorou drasticamente a classificação de famílias difíceis como OFDM (de 43% para 88%) e AM (de 50% para 95%).
• Robustez ao Ruído (SNR):
  • A precisão aumenta com o SNR. A representação conjunta mostra uma taxa de melhoria mais rápida e mantém desempenho superior em baixos SNRs (ex: 10 dB) comparada ao IQ puro, que se torna ineficaz sob ruído pesado.
• Generalização (OOV):
  • Ao remover classes de treinamento (cenário open-set), o modelo mantém alta precisão, sugerindo que aprendeu características visuais-semânticas robustas e não apenas memorização de classes fechadas.
• Eficiência Computacional:
  • O VLM ajustado atingiu 56,4% de precisão em apenas 3 épocas, enquanto modelos CNN (ResNet, XCiT) treinados do zero precisaram de 30 épocas para atingir ~53%. Isso demonstra uma eficiência de amostra e computação superior dos VLMs.
• Explicabilidade:
  • O modelo consegue gerar justificativas textuais coerentes (ex: descrever a estrutura do sinal no IQ) sem supervisão explícita durante o treinamento, oferecendo transparência na tomada de decisão.

5. Significado e Conclusão

O trabalho estabelece que a combinação de conversão de RF para imagem com VLMs ajustáveis fornece uma base prática e escalável para sistemas de IA conscientes de RF nas futuras redes 6G.

• Mudança de Paradigma: Move-se de modelos especializados e opacos para modelos fundacionais multimodais que são interpretáveis e generalizáveis.
• Aplicabilidade: A abordagem elimina a necessidade de redesenhar arquiteturas para cada nova tarefa de RF, permitindo que a IA se adapte a novos padrões de modulação e condições de canal com poucos dados e ajustes leves.
• Futuro: O estudo abre caminho para o desenvolvimento de assistentes de IA nativos para telecomunicações capazes de diagnóstico de falhas, otimização de políticas e percepção espectral autônoma, integrando visão, linguagem e sinais de rádio.