Resumo Técnico: AliyunConsoleAgent

1. Definição do Problema

As plataformas de nuvem enfrentam um problema estrutural de "deriva de documentação" (documentation drift), onde os elementos da interface do usuário (UI) evoluem rapidamente sob ciclos de lançamento curtos, enquanto a documentação correspondente é mantida manualmente. Essa divergência leva a procedimentos que não correspondem mais ao console em tempo real. Verificar se a documentação reflete com precisão o estado atual exige um estimado de 4 milhões de inspeções recorrentes anualmente, mas a cobertura manual permanece abaixo de 1%.

Embora modelos proprietários de fronteira possam automatizar essa tarefa de "Execução-como-Verificação", sua implantação em escala é dificultada por:

1. Custos Proibitivos: Altos custos de inferência por chamada impedem a auditoria de cobertura total.
2. Privacidade de Dados: A transmissão de metadados sensíveis de nuvem para serviços externos acarreta riscos de conformidade.
3. Ruído Ambiental: Tarefas de nuvem do mundo real possuem fortes dependências de recursos (ex: tipos específicos de instâncias ECS). Sem o pré-provisionamento adequado, falhas ambientais (recursos ausentes) tornam-se indistinguíveis de erros do agente, poluindo os sinais de recompensa e impedindo a convergência do Aprendizado por Reforço (RL).

2. Metodologia

Os autores propõem o AliyunConsoleAgent, um framework que utiliza um paradigma de treinamento de dois estágios (Ajuste Fino Supervisionado + Aprendizado por Reforço) dentro de um ambiente de rollout de alta determinância.

A. Ambiente de Rollout de Alta Determinância

Para isolar o ruído ambiental do sinal de treinamento, os autores construíram uma arquitetura de quatro camadas:

• Gestão de Pool de Contas: Mantém contas de teste isoladas com rotação automatizada de credenciais para evitar interferência entre tarefas.
• Execução em Sandbox: Utiliza ambientes conteinerizados (Alibaba Cloud ACK) para isolamento ao nível da tarefa.
• Provisionamento Offline de META de Recursos: Para cada documento, uma tupla "Resource META" define as dependências. Um pipeline (ResourceCoder) gera templates Terraform para pré-provisionar os recursos necessários (VPCs, instâncias, etc.) do zero com nomenclatura aleatória, garantindo portabilidade entre contas.
• Provisionamento Sob Demanda em Tempo de Execução: Um agente baseado em LLM (ResourceCoder) provisiona dinamicamente recursos ausentes caso o agente encontre bloqueios inesperados (ex: listas de recursos vazias), injetando relatórios estruturados de volta no contexto.

Este sistema resolve o trade-off entre velocidade e precisão, permitindo a execução paralela com prontidão de recursos quase perfeita, elevando as taxas de sucesso de ~34% (baselines ingênuos) para ~84%.

B. Paradigma de Treinamento

O modelo (baseado em Qwen3-VL-32B) passa por dois estágios:

1. Ajuste Fino Supervisionado (SFT):
   • Construção de Dados: Combina trajetórias destiladas de modelos de fronteira (filtradas por sucesso e qualidade ao nível do passo) com dados de autoexploração autônoma (tarefas CRUD).
   • Formato: Impõe um paradigma ReAct estruturado onde o modelo gera traços explícitos de "Pensamento" (Thought) antes das ações para avaliar o progresso e identificar submetas.
2. Aprendizado por Reforço (GRPO):
   • Algoritmo: Utiliza Otimização de Política Relativa de Grupo (GRPO) para evoluir o modelo do seguimento de instruções para a tomada de decisão autônoma.
   • Modelo de Recompensa de Resultado (ORM) de Canal Duplo:
     • Canal 1 (Baseado em Regras): Consulta o ActionTrail (logs de auditoria) para critérios de sucesso determinísticos, fornecendo recompensas binárias de verdade fundamental (ground-truth).
     • Canal 2 (Ensemble de LLM-como-Juiz): Para tarefas que carecem de eventos de API definitivos, um ensemble de dois LLMs fortes atua como juiz. O consenso é necessário; desacordos resultam em rótulos inválidos para evitar o "reward hacking".
   • Normalização: Aplica normalização de vantagem de duas camadas (por tarefa e global) para lidar com dificuldades heterogêneas de tarefas.

3. Principais Contribuições

1. Ambiente de Rollout de Alta Determinância: Uma infraestrutura inovadora que combina pré-provisionamento baseado em Terraform e provisionamento sob demanda impulsionado por LLM com verificação de log de auditoria. Isso isola efetivamente o ruído ambiental, permitindo o treinamento estável de RL em nuvens de produção reais.
2. Treinamento de Agente Privado de Custo Eficiente: Um pipeline SFT+GRPO bem-sucedido que produz um modelo de 32 bilhões de parâmetros capaz de se aproximar do desempenho de modelos proprietários de fronteira com um custo de inferência 92% menor.
3. Verificação em Escala de Produção: Implantação de um framework de verificação que auditou mais de 54.000 procedimentos, identificando 4.399 defeitos confirmados. O agente treinado é validado como um substituto compatível com privacidade e pronto para uso dos modelos de fronteira.

4. Resultados Experimentais

O modelo foi avaliado em um benchmark desafiador de 278 tarefas (76 padrão, 202 difíceis) em 12 produtos da Alibaba Cloud. A avaliação foi estritamente baseada em regras via logs de auditoria do ActionTrail.

• Desempenho:
  • O AliyunConsoleAgent-32B (SFT+GRPO) alcançou uma taxa média de sucesso de 63,52% (pass@1).
  • Isso representa uma melhoria de 20,24 pontos percentuais (pp) sobre o modelo base (43,28%).
  • Ele reduz a lacuna para o melhor modelo de fronteira (Gemini 3 Pro Preview, 65,34%) para apenas 1,82 pp. A análise estatística (bootstrap 95% CI) mostra que essa lacra não é estatisticamente significativa ($p > 0,05$).
• Eficiência de Custo:
  • O modelo privado de 32B custa aproximadamente 0,56 CNY por tarefa.
  • Comparado ao Gemini 3 Pro Preview (~7,00 CNY/tarefa), isso representa uma redução de custo de 92%.
• Ablação:
  • O SFT contribuiu com +13,61 pp sobre o modelo base.
  • O GRPO contribuiu com um adicional de +6,63 pp sobre o SFT, sendo a melhoria estatisticamente significativa.
• Melhorias Qualitativas: O modelo treinado por RL demonstrou "Construção de Precondição" (ex: habilitar um recurso antes de desabilitá-lo) e "Ajuste Adaptativo de Plano" (alternar para caminhos alternativos de UI quando os passos documentados falham), capacidades ausentes no modelo apenas com SFT.

5. Significância e Alegações

O artigo afirma que o AliyunConsoleAgent demonstra a viabilidade de treinar agentes web de alto desempenho inteiramente dentro de ambientes de nuvem reais e sensíveis à privacidade, sem depender de APIs de fronteira caras.

• Reduzindo a Lacuna: Prova que um modelo de código aberto de 32B, quando treinado com destilação de alta qualidade e RL robusto em um ambiente isolado de ruído, pode igualar o desempenho de modelos proprietários muito maiores em tarefas complexas e dependentes de estado.
• Escalabilidade: A arquitetura proposta torna a verificação de documentação periódica e em larga escala economicamente e tecnicamente viável, abordando uma necessidade crítica da indústria para manter a integridade da documentação.
• Reprodutibilidade: Os autores disponibilizaram o benchmark de avaliação, os dados de treinamento filtrados, o código de infraestrutura de rollout e o código de treinamento do modelo para apoiar pesquisas futuras em treinamento de agentes de nuvem no mundo real.

Os autores reconhecem limitações, incluindo o custo de manutenção de templates estáticos do Terraform, a fragilidade do parsing de DOM para fundamentação visual e o custo de infraestrutura para rodar verificação ao vivo em recursos premium. No entanto, afirmam que o sistema atual fornece um caminho viável e de baixo custo para uma implantação sustentável e em escala total.