🤖 AI

EMRB: A Multi-Level Benchmark for Evaluating LLM Reasoning over Raw Electromagnetic Signals

Este artigo apresenta o EMRB, um benchmark multinível composto por 200 problemas em cinco níveis de dificuldade que avalia a capacidade de grandes modelos de linguagem de analisar dados brutos de I/Q eletromagnéticos através da escrita e execução de código, revelando lacunas significativas de desempenho em tarefas de design de sistemas complexos e propondo o framework ReconPilot para melhorar substancialmente a precisão do raciocínio.

Autores originais: Mingxu Zhang, Ying Sun, Yuhan Li, Yang Ji, Dazhong Shen, Ke Zhang, Shan Huang

Publicado 2026-08-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mingxu Zhang, Ying Sun, Yuhan Li, Yang Ji, Dazhong Shen, Ke Zhang, Shan Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No ar invisível ao nosso redor, uma tempestade constante de ondas de rádio carrega nossas conversas, nossa música e nossos dados. Para o ouvido humano, isso é silêncio, mas para um receptor de rádio, é um fluxo caótico de flutuações elétricas brutas. Engenheiros que trabalham com esses sinais não veem gráficos limpos ou caixas rotuladas; eles veem uma onda complexa e não estruturada que deve ser medida, limpa e compreendida antes de poder ser útil. Por décadas, a tarefa de dar sentido a esse ruído exigiu perícia humana especializada e software construído sob medida. Agora, uma nova geração de inteligência artificial, conhecida como modelos de linguagem de grande escala, está sendo testada para ver se ela pode realizar esse mesmo trabalho. Esses modelos são famosos por escrever código e responder perguntas, mas nunca foram solicitados a olhar para um sinal de rádio bruto e não processado e descobrir o que está acontecendo dentro dele sem qualquer ajuda.

Uma equipe de pesquisadores criou um novo teste para responder a essa pergunta, tratando a análise de ondas de rádio como um desafio rigoroso para a inteligência artificial. Eles construíram um benchmark chamado EMRB, que apresenta a programas de computador uma gravação bruta de atividade de rádio e pede que eles escrevam seu próprio código para medir detalhes específicos, como a força de um sinal ou o tipo de informação que ele carrega. O teste foi projetado para ser justo e preciso, utilizando sinais que foram gerados por computadores com respostas conhecidas, para que os pesquisadores possam verificar exatamente quão bem a inteligência artificial desempenhou a tarefa. Os resultados revelam um quadro claro das capacidades atuais: embora os modelos mais avançados consigam lidar com medições simples, eles têm dificuldade significativa quando a tarefa exige que rastreiem múltiplos sinais simultaneamente ou que projetem um novo sistema baseado no que encontraram.

Os pesquisadores avaliaram quatorze modelos diferentes de inteligência artificial, variando de programas de código aberto amplamente disponíveis a sistemas proprietários poderosos. Eles deram a cada modelo duzentas questões, organizadas em cinco níveis de dificuldade crescente. O nível mais fácil pedia aos modelos para encontrar fatos básicos, como a frequência ou a potência de um único sinal. À medida que os níveis ficavam mais difíceis, os modelos tinham que escolher as ferramentas matemáticas certas para separar sinais sobrepostos, calcular métricas de comunicação complexas e, finalmente, projetar um sistema completo que pudesse operar sem interferência. Os modelos não podiam simplesmente adivinhar; eles tinham que escrever e executar código Python para extrair os números do arquivo de dados brutos e, então, interpretar esses números para responder à pergunta.

O desempenho dos modelos variou amplamente, com pontuações indo de cerca de vinte e quatro por cento a quase setenta e nove por cento. Os melhores desempenhos, que incluíam os modelos mais avançados disponíveis hoje, conseguiram resolver os problemas mais simples com alta precisão, frequentemente pontuando acima de oitenta e cinco por cento em medições básicas. No entanto, conforme as tarefas se tornavam mais complexas, as pontuações caíram drasticamente. Quando os modelos foram solicitados a analisar um espectro lotado com vários sinais misturados, seu desempenho caiu para cerca de cinquenta por cento. O desafio mais difícil, que exigia o projeto de um novo sistema de comunicação baseado na análise, provou ser quase impossível para a geração atual de modelos, com a melhor pontuação atingindo apenas cerca de quarenta por cento.

O estudo descobriu que a principal falha não era a falta de conhecimento sobre as fórmulas ou a física das ondas de rádio. Em vez disso, os modelos falharam porque não conseguiam acompanhar os diferentes sinais enquanto percorriam uma longa cadeia de raciocínio. Quando um modelo tinha que identificar cinco sinais diferentes em uma única gravação, ele frequentemente perdia o fio da meada, confundindo os detalhes de um sinal com outro. Isso causava o acúmulo de erros, levando a conclusões incorretas mesmo que os passos iniciais estivessem corretos. Os pesquisadores também descobriram que os modelos não se beneficiavam de simplesmente tentar mais ou executar mais código; os modelos mais eficientes alcançavam pontuações altas com menos tentativas, enquanto outros perdiam tempo com cálculos improdutivos.

Para ajudar os modelos a terem sucesso, os pesquisadores propuseram um novo método chamado ReconPilot, que divide a análise em três etapas distintas. Primeiro, um script fixo e automatizado varre o sinal bruto para criar um mapa simples de onde a atividade está ocorrendo, sem tentar identificar o que são os sinais. Segundo, a inteligência artificial usa esse mapa para focar sua atenção e escrever o código para resolver a questão específica. Terceiro, o modelo revisa seu próprio trabalho para verificar a consistência antes de enviar uma resposta. Essa abordagem estruturada melhorou significamente os resultados. Para alguns modelos, o novo método elevou a pontuação geral em mais de dezessete pontos, provando que dar à inteligência artificial um ponto de partida claro e uma maneira de verificar seu trabalho pode compensar algumas de suas fraquezas de raciocínio.

Apesar dessas melhorias, o estudo conclui que a inteligência artificial atual ainda não está pronta para substituir engenheiros humanos nas tarefas mais complexas. Os modelos podem medir sinais simples de forma confiável, mas ainda não podem ser confiados para projetar novos sistemas ou gerenciar ambientes de rádio lotados onde múltiplos sinais interferem entre si. Os pesquisadores enfatizam que seu teste utiliza sinais sintéticos gerados por computadores, portanto, os resultados ainda não provam como esses modelos se comportariam em gravações de rádio do mundo real com falhas de hardware ou ruídos inesperados. No entanto, o benchmark oferece uma maneira clara e objetiva de medir o progresso, mostrando que, embora a inteligência artificial esteja melhorando sua compreensão de dados brutos, ela ainda tem um longo caminho a percorrer antes de conseguir raciocinar através de toda a complexidade do espectro eletromagnético.

Resumo Técnico: EMRB – Um Benchmark Multinível para Avaliar o Raciocínio de LLMs sobre Sinais Eletromagnéticos Brutos

1. Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) estejam sendo cada vez mais implantados como agentes de código para tarefas científicas e de engenharia, sua capacidade de analisar medições da camada física bruta permanece não testada. Os benchmarks existentes no domínio eletromagnético (ex: RadioML, MERLIN's EM-Bench) dependem tipicamente de recursos pré-processados, codificadores especializados ou classificação de fragmentos curtos. Eles não exigem que os modelos inspecionem dados I/Q (Fase/Quadratura) brutos, descubram a composição do sinal, implementem código de análise e derivem conclusões de engenharia a partir dos arquivos binários brutos.

O desafio central reside na falta de esquema nos capturas I/Q brutas. Ao contrário de dados tabulares onde as variáveis possuem nomes, ou tarefas de geração de código onde o comportamento é especificado, os dados EM brutos exigem que o modelo primeiro construa suas próprias variáveis (ex: frequências portadoras, larguras de banda, relações de interferência) por meio de processamento de sinais. Erros nesta etapa inicial de descoberta propagam-se para todas as conclusões subsequentes. Atualmente, não existe um benchmark sistemático para avaliar se LLMs de propósito geral podem realizar este fluxo de trabalho de ponta a ponta.

2. Metodologia: O Benchmark EMRB

2.1 Design do Benchmark

Os autores introduzem o EMRB (Electromagnetic Reasoning Benchmark), um conjunto de dados composto por 200 problemas gerados a partir de 11 tipos de sinais (incluindo modulações digitais como QAM/PSK, AM/FM analógica e OFDM/Chirp de banda larga). O benchmark foi desenhado com três princípios fundamentais:

Fluxo de Trabalho Autêntico: Os modelos devem carregar arquivos I/Q brutos, selecionar métodos de processamento de sinais, implementá-los em código e usar resultados numéricos para responder perguntas.
Dificuldade Progressiva: Os problemas são organizados em cinco níveis de dificuldade (L1–L5) e 27 tipos de perguntas, variando de medições básicas a design de sistemas complexos.
Verdade Fundamental Determinística: Todos os sinais são gerados programaticamente com sementes aleatórias fixas e parâmetros conhecidos, garantindo que cada resposta seja objetivamente verificável.

Taxonomia de Dificuldade:

L1 (Medição Básica): Calibração de cenas conhecidas (frequência, potência, piso de ruído, modulação).
L2 (Metodologia de Processamento de Sinais): Seleção e implementação de procedimentos específicos (FFT/janelamento, definições de largura de banda, autocorrelação, STFT).
L3 (Teoria da Comunicação): Interpretação de medições em quantidades de sistema (taxa de bits, $E_b/N_0$ , PAPR, quantização de ADC).
L4 (Análise de Múltiplos Sinais): Gestão de espectros congestionados com 3 a 5 emissores; requer a construção de um inventário de sinais e a separação de componentes sobrepostos.
L5 (Design de Sistema): Decisões de engenharia baseadas em toda a cadeia de análise (levantamento de espectro, coexistência de radar, design de OFDM).

2.2 Protocolo de Avaliação

O EMRB emprega um loop de avaliação de execução de código:

Entrada: Um caminho de arquivo I/Q bruto e uma pergunta de engenharia.
Processo: O modelo interage com um ambiente Python isolado (sandbox) por até 15 turnos. Ele escreve código para computar medições, inspeciona saídas numéricas e refina sua análise.
Pontuação: Um sistema de pontuação determinístico verifica as respostas contra a verdade fundamental. Utiliza avaliação vinculada a entidades (correspondendo valores a sinais específicos) e regras de aceitação funcional. O L5 emprega pontuação com gatilhos de pré-requisito, onde tarefas subsequentes só são pontuadas se os pré-requisitos anteriores (ex: identificação correta do sinal) forem atendidos.

2.3 Método Proposto: ReconPilot

Para abordar os modos de falha de exploração não guiada e a falta de auticonsistência, os autores propõem o ReconPilot, um método estruturado de três estágios:

Reconhecimento Fixo: Um script determinístico (compartilhado entre todos os modelos) realiza uma análise de PSD de Welch para gerar um "mapa de região" de regiões espectrais ocupadas, pisos de ruído e níveis de pico. Isso fornece um ponto de partida delimitado sem resolver contagens específicas de fontes ou tipos de modulação.
Análise Direcionada: O LLM usa o mapa de região como contexto para realizar a execução de código não restringida, focando seu orçamento de turnos em medição e raciocínio específicos da tarefa, em vez da varredura espectral inicial.
Autoverificação: Antes da submissão, o modelo revisa suas respostas quanto à cobertura, consistência de unidades e plausibilidade física sem executar novo código.

3. Principais Contribuições

Benchmark EMRB: Um benchmark de 200 problemas com arquivos I/Q brutos, verdade fundamental verificada e um protocolo de execução de código cobrindo tarefas desde detecção de sinal até design de OFDM.
Framework ReconPilot: Um método estruturado que separa reconhecimento, análise e verificação. Demonstra que um estágio de reconhecimento fixo pode substituir capacidades das quais o modelo de base carece.
Avaliação Abrangente: Uma avaliação de 14 LLMs (proprietários, de pesos abertos e orientados ao raciocínio), revelando lacunas de desempenho e modos de falha específicos na análise de sinais brutos.

4. Resultados Experimentais

4.1 Desempenho Geral

Em 14 modelos avaliados, as pontuações variam de 24,1% (Llama 3.3 70B) a 78,9% (GPT-5.5).

Declínio de Desempenho: Há uma queda acentuada no desempenho conforme a complexidade da tarefa aumenta. A pontuação média cai de 84,9% no L1 (Medição Básica) para 21,2% no L5 (Design de Sistema).
Eficiência: O alto desempenho não correlaciona com a iteração de código de força bruta. Por exemplo, o GPT-5.5 atinge 78,9% com ~3,7 chamadas de código, enquanto o Grok-4.5 atinge 77,8% com 12,6 chamadas.
Lacunas de Família: Existem lacunas significativas de desempenho dentro das famílias de modelos (ex: 10,4 pontos entre variantes do DeepSeek), sugerindo que a profundidade do raciocínio, e não apenas o conhecimento de domínio, é o gargalo.

4.2 Análise Detalhada de Falhas

L1/L2: Os modelos frequentemente falham ao vincular medições à entidade de sinal correta (ex: reportando potência precisa, mas atribuindo-a ao emissor errado).
L3: Os erros tornam-se multiplicativos; uma identificação de modulação errada cascata para cálculos incorretos de taxa de bits e $E_b/N_0$ .
L4/L5: O principal modo de falha é a incapacidade de manter uma cadeia de evidências coerente e vinculada a entidades em espectros congestionados. Os modelos lutam para separar emissores sobrepostos, levando a respostas "internamente coerentes, mas factualmente erradas".
Potencial (Headroom): Embora L1–L4 mostrem alto potencial (as pontuações da união de modelos chegam a ~99%), o L5 permanece amplamente insolúvel. Um solver de referência de DSP clássico alcançou 75,7% no L5, indicando que os baixos escores dos modelos se devem às limitações atuais dos modelos, não a tarefas insolúveis.

4.3 Impacto do ReconPilot

O ReconPilot melhora significamente o desempenho em três modelos de base:

Gemini 3.5 Flash: +17,6 pontos no total (de 57,2% para 74,8%).
DeepSeek V4 Flash: +14,0 pontos no total.
GPT-5.5: +3,8 pontos no total.
Insight Chave: O método é mais eficaz em níveis de múltiplos sinais (L4) e para modelos que lutam com exploração não guiada. Ele permite que os modelos substituam um estágio de reconhecimento fixo por uma capacidade ausente, particularmente na manutenção de um inventário de sinais.

5. Significância e Alegações

O artigo afirma que o EMRB serve como um teste de aceitação reproduzível para LLMs na camada física. Os autores afirmam que:

Limitações Atuais: LLMs de propósito geral podem lidar com medições básicas e cálculos de livros didáticos, mas falham na análise de múltiplos sinais e design de sistemas. O gargalo não é o conhecimento de domínio, mas a capacidade de manter um estado de análise vinculado a entidades conforme a cadeia de raciocínio cresce.
Valor Metodológico: Fluxos de trabalho estruturados (como o ReconPilot) podem preencher a lacuna para modelos que carecem de capacidades específicas de raciocínio, sugerindo que o "reconhecimento fixo" pode atuar como um substituto de capacidade.
Direção Futura: O benchmark destaca que, embora os LLMs estejam se tornando agentes de código capazes, eles ainda requerem intervenções arquitetônicas ou procedimentais para lidar com a complexidade da análise de dados físicos brutos onde os erros se propagam de forma não linear.

Os autores observam limitações, incluindo o uso de sinais sintéticos (sem impedimentos de hardware do mundo real) e a ausência de um baseline de especialista humano, confiando em vez disso em replays de oráculo e solvers de referência para estabelecer a alcançabilidade das tarefas.