TelcoAgent-Bench: A Multilingual Benchmark for Telecom AI Agents

1. Problema e Motivação

A integração de Agentes de Grandes Modelos de Linguagem (LLMs) em redes de telecomunicações promete automatizar tarefas complexas de diagnóstico e resolução de problemas. No entanto, a indústria enfrenta desafios críticos na avaliação desses agentes:

• Natureza Dinâmica vs. Lógica Determinística: Diferente do software tradicional, que segue lógica determinística, os LLMs são probabilísticos. Isso exige novos frameworks de avaliação que não se limitem a "responder perguntas", mas sim a resolver problemas de rede reais.
• Falta de Padrões Específicos do Domínio: Benchmarks existentes (como AgentBench ou GAIA) focam em domínios gerais (navegação web, bancos de dados) e não capturam requisitos operacionais críticos de telecom, como a consistência de caminhos de resolução, alinhamento com fluxos de troubleshooting otimizados e estabilidade sob variações de cenário.
• Desafio Multilíngue: A necessidade de operar em ambientes de rede que exigem suporte a múltiplos idiomas (especificamente Inglês e Árabe neste estudo), onde o desempenho técnico e a terminologia específica podem variar significativamente.

2. Metodologia e Proposta

Os autores apresentam o TelcoAgent-Bench (um conjunto de dados) e o TelcoAgent-Metrics (um framework de avaliação), projetados especificamente para agentes de telecomunicações.

A. O Conjunto de Dados (TelcoAgent-Bench)

O dataset simula a interação entre um engenheiro de rede e um agente LLM. É estruturado em torno de:

• Taxonomia de Intenções: 15 intenções de troubleshooting agrupadas em 7 categorias (ex: QoS, Cobertura, Mobilidade, Gerenciamento de Recursos).
• Blueprints (Modelos de Cenário): Cada intenção é expandida em 3-5 "blueprints" que definem parâmetros variáveis (ex: utilização de PRB, taxa de BLER, throughput). Isso gera instâncias de diálogo únicas, totalizando ~1.470 diálogos.
• Estrutura do Diálogo: Inclui declaração do problema (bilingue), conversa multi-turno, chamadas de ferramentas (tools), alinhamento de fluxo e um resumo de resolução "Gold" (padrão-ouro).
• Guardrails (Controles): Garantem que os valores de KPIs estejam dentro de faixas realistas, que as chamadas de ferramentas sigam uma ordem de referência e que apenas funções pré-definidas sejam usadas (evitando alucinações).

B. Métricas de Avaliação (TelcoAgent-Metrics)

O framework avalia quatro dimensões principais:

1. Precisão de Reconhecimento de Intenção (IRA): Utiliza similaridade semântica (cosine similarity) entre a descrição gerada pelo agente e a intenção padrão, permitindo avaliação em texto livre e em múltiplos idiomas, sem depender de rótulos fixos.
2. Pontuação de Alinhamento de Sequência (SAS): Avalia se o agente executa as ferramentas na ordem correta. É composta por:
   • Cobertura de Etapas Obrigatórias (MSC): Verifica se o caminho padrão foi seguido como subsequência.
   • Penalidade de Ação Extra (EAP): Penaliza o uso de ferramentas irrelevantes ou distratoras.
3. Precisão de Resolução (RA): Mede a similaridade semântica entre o relatório final gerado pelo agente e o relatório "Gold", garantindo que a causa raiz e as ações corretivas estejam corretas.
4. Pontuação de Confiabilidade do Blueprint (BRS): Mede a estabilidade do agente ao lidar com variações do mesmo cenário. Inclui consistência exata (GPC-0), consistência tolerante (GPC-1) e dispersão de sequência (SD).

3. Resultados Experimentais

O estudo avaliou vários modelos SLM (Small Language Models) instruídos (como Llama-3, Qwen, Granite, Gemma) em cenários bilingues (Inglês e Árabe).

• Reconhecimento de Intenção (IRA): Os modelos performaram melhor quando tinham acesso à taxonomia de intenções pré-definida. O desempenho em Árabe foi consistentemente inferior ao do Inglês, especialmente em arquiteturas menores ou MoE (Mixture of Experts), indicando lacunas em terminologia técnica multilíngue.
• Alinhamento de Sequência (SAS): Houve um trade-off claro entre os modelos. Alguns (ex: Qwen-7B) identificaram bem as etapas obrigatórias (alto MSC), mas usaram muitas ferramentas irrelevantes (baixo EAP). Outros (ex: Qwen-2.5-7B) evitaram ferramentas extras, mas falharam em executar passos necessários. O modelo Granite-3.3-8B apresentou o melhor equilíbrio (maior SAS global).
• Confiabilidade (BRS): A maioria dos modelos obteve pontuações muito baixas em GPC-0 (consistência exata), revelando que eles raramente seguem o fluxo de ferramentas pré-definido perfeitamente em todas as variações. Modelos com alta variabilidade (alta SD) tiveram BRS baixo.
• Precisão de Resolução (RA): Curiosamente, a maioria dos modelos obteve pontuações altas na geração do resumo final (RA), mesmo quando falharam na execução correta das ferramentas. Isso sugere que os modelos conseguem "alucinar" ou compilar um relatório coerente mesmo sem ter seguido o processo técnico correto.

4. Contribuições Chave

1. Primeiro Benchmark Específico de Telecom: Introdução de um framework que vai além da resposta a perguntas, focando na execução de fluxos de troubleshooting estruturados.
2. Dataset Multilíngue e Estruturado: Criação de um dataset com ~1.470 diálogos em Inglês e Árabe, cobrindo 15 intenções críticas de rede com "blueprints" parametrizáveis.
3. Métricas de Estabilidade e Processo: Desenvolvimento de métricas que avaliam não apenas o resultado final, mas a ordem das ações, o uso de ferramentas e a consistência repetitiva (crucial para operações de rede).
4. Análise de Lacunas de Desempenho: Evidência empírica de que, embora os LLMs entendam o problema semântico, eles lutam para seguir procedimentos operacionais rígidos e manter estabilidade em cenários bilingues e não restritos.

5. Significado e Conclusão

O trabalho destaca que, para a adoção real de Agentes de IA em redes de telecomunicações (Redes Autônomas), a simples capacidade de gerar texto coerente é insuficiente. A confiabilidade operacional depende da capacidade do agente de seguir fluxos de trabalho estritos e evitar alucinações em ferramentas.

Os resultados indicam que os modelos atuais ainda não estão prontos para implantação totalmente autônoma em ambientes de produção sem supervisão, devido à inconsistência na execução de passos e à instabilidade em cenários variados. O TelcoAgent-Bench fornece a base necessária para desenvolver e refinar agentes que atendam aos rigorosos requisitos de segurança e precisão das redes de telecomunicações. O trabalho futuro visa expandir para raciocínio de loop fechado, onde o agente interpreta a saída das ferramentas e reavalia o estado da rede dinamicamente.