Resumo Técnico: CTBench

Declaração do Problema

As operações e manutenção de rede (NetO&M) em telecomunicações é um domínio complexo que exige que engenheiros interpretem telemetria heterogênea, emitam comandos específicos para dispositivos e diagnostiquem falhas em múltiplas camadas sob rigorosas restrições de segurança. Embora agentes de Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidades de raciocínio de múltiplos passos e uso de ferramentas, os benchmarks existentes falham em modelar com precisão as realidades dos ambientes de telecomunicações. As avaliações atuais frequentemente assumem observabilidade total, baseiam-se em topologias de domínio único, utilizam interfaces padronizadas e focam exclusivamente na resposta final. Consequentemente, não conseguem distinguir entre um agente que identifica corretamente uma falha por meio de evidências rigorosas e um que retorna um rótulo correto sem justificativa. Essa falta de transparência no nível do processo impede a implantação de agentes de IA em configurações operacionais onde diagnósticos devem ser justificados antes da remediação.

Metodologia

Os autores introduzem o CTBench, um benchmark público projetado para avaliar as capacidades de solução de problemas de agentes de IA em operações de redes de telecomunicações realistas.

Construção do Dataset

O CTBench compreende 234 tarefas curadas por especialistas, divididas em duas famílias operacionais:

1. Análise de Causa Raiz (RCA): 126 tarefas onde os agentes devem identificar nós/objetos afetados e atribuir rótulos de causa raiz normalizados.
2. Restauração de Caminho: 108 tarefas onde os agentes devem reconstruir caminhos de encaminhamento de serviço do origem ao destino.

O dataset é construído através de um processo com especialista no loop (expert-in-the-loop):

• Geração de Tarefas: 15 especialistas seniores em telecomunicações (média de 20 anos de experiência) abstraíram tarefas de casos reais de manutenção, sanitizando dados sensíveis.
• Revisão Independente: Um especialista independente resolve cada tarefa sem acesso às verdades fundamentais (ground truths) para verificar a solvabilidade e a consistência.
• Evidência de Ouro (Golden Evidence): Diferente dos benchmarks padrão, o CTBench anota cada tarefa com etapas de evidência de ouro — um conjunto determinístico de ações diagnósticas fundamentais exigidas pelos especialistas para resolver o problema.

Características das Tarefas

As tarefas são anotadas com metadados ricos para caracterizar a dificuldade estrutural:

• Observabilidade: As tarefas são rotuladas como O1 (Total), onde a evidência é diretamente observável, ou O2 (Parcial), onde os agentes devem inferir falhas a partir de observações indiretas.
• Heterogeneidade: As tarefas variam no número de fornecedores (ex: Huawei, Cisco, H3C) e tipos de dispositivos (roteadores, switches, firewalls) envolvidos.
• Complexidade: Os metadados incluem o comprimento da cadeia de propagação de falhas, contagem de causas raiz (falha única vs. multifalha), complexidade de protocolo e o comprimento do caminho da solução de ouro.

Estrutura de Avaliação

O CTBench avalia agentes usando um ambiente de sandbox reativo que expõe interfaces diagnósticas permitidas. A avaliação vai além da precisão da resposta final para incluir:

• Localização: Interseção sobre União (IoU) dos nós/objetos previstos vs. afetados de ouro.
• Identificação/Restauração: IoU dos rótulos de causa raiz ou arestas de caminho previstos vs. de ouro.
• Aquisição de Evidência: Pontuação F1 que mede se o agente coletou as etapas diagnósticas específicas encontradas na evidência de ouro.
• Métricas de Custo: Latência, rodadas de interação e consumo de tokens.

Principais Contribuições

1. Benchmark CTBench: Um benchmark público cobrindo 234 tarefas de RCA e restauração de caminho curadas por especialistas que simulam observabilidade parcial, heterogeneidade de rede e ambientes de múltiplos fornecedores.
2. Métricas Baseadas em Especialistas: Um protocolo de avaliação inovador que avalia separadamente localização, identificação, restauração e aquisição de evidência, garantindo que as respostas corretas sejam sustentadas pelo processo diagnóstico necessário.
3. Esquema de Metadados de Tarefa: Um sistema de anotação abrangente cobrindo observabilidade, heterogeneidade, complexidade de protocolo e propagação de falhas, permitindo uma análise detalhada do desempenho do agente em diferentes condições operacionais.
4. Avaliação Abrangente: Uma avaliação de cinco combinações representativas de agente-modelo (ex: Codex+GPT-5.5, HermesAgent+DeepSeek-V4-Pro) revelando lacunas específicas nas capacidades agênticas atuais.

Resultados Experimentais

Os autores avaliaram cinco combinações de agente-modelo no dataset CTBench. As principais descobertas incluem:

• Lacuna de Desempenho: Agentes de última geração performam significativamente melhor em Restauração de Caminho (identificação de endpoints) do que em Análise de Causa Raiz. Por exemplo, o Codex+GPT-5.5 alcançou 95,28% de precisão em Restauração de Caminho (Path-Res) e 99,38% de Localização de Caminho, mas apenas 47,62% de precisão em RCA.
• Déficit de Evidência: Mesmo quando os agentes produzem respostas finais plausíveis ou corretas, eles frequentemente falham em fornecer os diagnósticos baseados em evidências exigidos na prática. Por exemplo, o Codex+GPT-5.5 alcançou alta localização de caminho, mas apenas 47,84% de cobertura de evidência de caminho, mostrando que produzir uma resposta correta não implica que o agente coletou a evidência diagnóstica necessária.
• Dificuldade por Categoria: Os agentes têm maior dificuldade com Estado de Interface e falhas de Camada de Enlace (C1) (0,00%–10,71% de precisão) e Falhas de Serviço/Gerenciamento (C5). Por outro lado, performam relativamente melhor em falhas de Segurança/NAT (C2).
• Impacto de Restrições:
  • Observabilidade Parcial: O desempenho cai significativamente sob observabilidade parcial (O2). Embora os agentes ainda consigam coletar algumas evidências indiretas, eles lutam para convertê-las em localização precisa.
  • Heterogeneidade: A alta heterogeneidade de rede (múltiplos fornecedores/dispositivos) reduz drasticamente a precisão da restauração de caminho (caindo de ~29% para ~4% para alguns agentes).
• Custo vs. Capacidade: Custos computacionais mais altos (mais tokens, maior latência) não necessariamente correlacionam com melhores capacidades diagnósticas. Alguns agentes consumiram significativamente mais recursos, mas atingiram pontuações menores.
• Baseline Humano: Especialistas humanos alcançaram 92,6% de precisão em restauração de caminho e 56,4% em RCA, completando tarefas em 40–60 minutos, destacando a lacuna atual entre agentes de IA e operadores humanos.

Significância e Alegações

O artigo afirma que o CTBench proporciona uma mudança necessária de avaliar "o que" um agente responde para "como" ele chega a essa resposta. Os autores afirmam que:

• A Transparência do Processo é Crítica: Para a confiança operacional, um diagnóstico deve ser justificado por evidências antes de poder ser executado. Os agentes atuais frequentemente falham em fornecer essa justificativa mesmo quando o rótulo final está correto.
• Restrições Realistas Importam: A observabilidade parcial e a heterogeneidade de múltiplos fornecedores não são meros detalhes de implementação, mas dimensões centrais da capacidade de agentes de telecom que os modelos atuais têm dificuldade em lidar.
• O Raciocínio Diagnóstico é o Gargalo: A principal limitação dos agentes atuais não é a execução de ferramentas, mas o diagnóstico baseado em evidências, o raciocamento causal sob informação parcial e a capacidade de distinguir entre causas raízes independentes e sintomas secundários.

Os autores concluem que, embora os agentes mostrem promessa na identificação de endpoints, eles permanecem longe de serem operadores confiáveis para soluções de problemas complexos de telecomunicações, particularmente em cenários de RCA baseados em evidências e de observabilidade parcial. Eles posicionam o CTBench como uma fundação para o desenvolvimento de agentes de IA confiáveis, baseados no domínio e operacionalmente seguros para redes de comunicação.