Resumo Técnico: Avaliando o Reparo de Configuração Agêntica para Redes de Computadores

Declaração do Problema

Configurações incorretas de rede continuam sendo uma causa primária de interrupções críticas na Internet, afetando redes empresariais e de provedores (ISPs). Embora a verificação formal e a síntese tenham avançado, elas frequentemente falham em implantações reais e abertas devido à dificuldade de modelar com precisão comportamentos complexos de rede. Consequentemente, o erro humano persiste como a causa raiz de tempos de inatividade dispendiosos.

Modelos de Linguagem de Grande Escala (LLMs) emergiram como uma alternativa flexível para automatizar operações de rede, com grandes provedores de nuvem já implantando-os em produção. No entanto, modelos de última geração lutam com tarefas de rede complexas e de larga escala ao utilizar prompts monolíticos (de turno único). Três desafios recorrentes limitam sua eficácia:

1. Ruído: As configurações abrangem milhares de linhas, obscurecendo sinais relevantes.
2. Limitações de Tentativa Única (Single-shot): Tentativas de uma única vez impedem a correção de erros, fazendo com que os modelos parem em diagnósticos parciais.
3. Lacuna Semântica: O descompasso entre as edições de configuração e seu comportamento de encaminhamento emergente torna o impacto em toda a rede difícil de prever.

Benchmarks existentes focam frequentemente em diagnósticos curtos ou tarefas de comando único, falhando em abordar o reparo de configuração iterativo de ponta a ponta.

Metodologia

Os autores propõem e avaliam uma arquitetura agêntica para o reparo de configuração de rede, baseando-se no benchmark CORNETTO. Este benchmark avalia o reparo impulsionado por LLM através de 231 cenários de má configuração derivados de topologias do mundo real (Topology Zoo), envolvendo até 8 falhas simultâneas e configurações que atingem 200.000 linhas.

O Pipeline Agêntico

Diferente de abordhas monolíticas que recebem todo o contexto do problema em um único prompt, o sistema proposto utiliza um agente estilo ReAct equipado com três capacidades principais:

1. Recuperação Dinâmica de Contexto: O agente não recebe a configuração completa da rede de imediato. Em vez disso, ele utiliza ferramentas para listar roteadores, recuperar arquivos de configuração específicos e inspecionar a topologia da rede sob demanda, guiado por especificações violadas.
2. Reparo Iterativo: O agente propõe edições de busca-e-substituição em uma cópia de trabalho da configuração. Ele pode inspecionar as mudanças após cada modificação, permitindo um processo de diagnóstico e reparo passo a passo, em vez de uma única passagem.
3. Verificação Formal como Feedback: O agente interage com um verificador de rede (Batfish) para validar reparos intermediários. Esta ferramenta retorna uma decomposição das especificações em conjuntos de itens corrigidos, não resolvidos e com regressão, permitindo que o agente diagnostique conflitos restantes ou detecte regressões de segurança antes da submissão final.

Configuração de Avaliação

O estudo compara quatro modelos (GPT-5 MINI, GLM-4.7, QWEN3.5-9B e GEMMA 4 E4B) no conjunto de testes CORNETTO. A avaliação compara a configuração agêntica contra baselines monolíticos usando duas métricas primárias:

• Pontuação de Correção (Fix Score): A proporção de especificações inicialmente violadas que foram restauradas pelo reparo.
• Taxa de Regressão (Regression Rate): A proporção de especificações anteriormente saudáveis que foram quebradas pelo reparo.

Um reparo é considerado estritamente bem-sucedido apenas se atingir uma pontuação de correção perfeita com zero regressões.

Principais Resultados

Os resultados experimentais demonstram que arquiteturas agênticas superam significativamente os LLMs monolíticos tanto em eficácia quanto em segurança:

• Desempenho Geral: O sistema agêntico melhora a eficácia do reparo em uma média de 12% e reduz as regressões de segurança em 17% em comparação com os LLMs base.
• Impacto na Capacidade do Modelo: Os benefícios são particularmente pronunciados para modelos de código aberto. Por exemplo, o QWEN3.5-9B viu sua pontuação de correção aumentar em até 7× sob a estrutura agêntica, enquanto sua taxa de regressão caiu de 34,2% para menos de 6%. Isso sugere que o suporte (scaffolding) agêntico compensa desproporcionalmente as capacidades mais fracas dos modelos base.
• Compensações de Design (Trade-offs):
  • Feedback de Verificação: Habilitar o feedback iterativo do verificador geralmente melhora a segurança (reduzindo regressões), mas pode tornar os modelos mais conservadores, potencialmente baixando as pontuações de correção para modelos fortes como o GPT-5 MINI.
  • Recuperação de Contexto: A recuperação dinâmica de contexto beneficia significativamente modelos menores (ex: QWEN3.5-9B), que lutam para extrair sinais de contextos grandes e pré-preenchidos. Inversamente, modelos com fortes capacidades de contexto longo (GPT-5 MINI) performaram melhor quando toda a descrição do problema era pré-preenchida, pois podiam processar o cenário completo em uma única passagem sem gastar etapas com recuperação.
• Eficiência de Custo: A abordagem agêntica acarreta custos de inferência mais altos (aproximadamente 4–5× para o GPT-5 MINI em 30 etapas). No entanto, a análise mostra retornos decrescentes além de 20 etapas, sugerindo que existe um orçamento de etapas ideal para equilibrar custo e desempenho.

Significância e Alegações

O artigo alega que arquiteturas agênticas oferecem um caminho viável para um gerenciamento de rede automatizado mais seguro e eficaz. Ao desacoplar a gestão de contexto da janela de contexto do modelo e introduzir validação iterativa, a abordagem aborda as limitações específicas dos LLMs em ambientes de rede complexos.

Os autores enfatizam que, embora o pipeline agêntico melhore a segurança e a eficácia, ele introduz compensações entre custo, orçamentos de etapas e capacidades de modelo. Eles posicionam este trabalho como um passo em direção à adoção segura de agentes baseados em LLM para infraestruturas críticas, observando que trabalhos futuros devem abordar interfaces mais ricas (ex: tabelas de roteamento ao vivo), salvaguardas de segurança proativas e metodologias de ajuste fino (fine-tuning) que aproveitem o feedback ao nível de etapa.

O estudo conclui que, embora os modelos de fronteira lutem com o prompting monolítico no reparo de rede, equipá-los com ferramentas agênticas para recuperação dinâmica de contexto, edição iterativa e verificação formal aumenta significativamente sua capacidade de resolver má configurações sem introduzir erros catastróficos.