🤖 AI

Bian Que: An Agentic Framework with Flexible Skill Arrangement for Online System Operations

Bian Que é um framework agêntico implantado no mecanismo de busca do KuaiShou que aborda o gargalo de orquestração em operações de sistemas em grande escala ao introduzir um paradigma operacional unificado, arranjo flexível de habilidades para recuperação dinâmica de dados e conhecimento e um mecanismo de autoevolução, reduzindo finalmente o volume de alertas em 75% e cortando o tempo médio de resolução em mais de 50%.

Autores originais: Bochao Liu, Zhipeng Qian, Yang Zhao, Xinyuan Jiang, Zihan Liang, Yufei Ma, Junpeng Zhuang, Ben Chen, Shuo Yang, Hongen Wan, Yao Wu, Chenyi Lei, Xiao Liang

Publicado 2026-04-30

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Bochao Liu, Zhipeng Qian, Yang Zhao, Xinyuan Jiang, Zihan Liang, Yufei Ma, Junpeng Zhuang, Ben Chen, Shuo Yang, Hongen Wan, Yao Wu, Chenyi Lei, Xiao Liang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o capitão de uma espaçonave massiva e de alta velocidade (como o mecanismo de busca do Kuaishou) que transporta centenas de milhões de passageiros todos os dias. A nave é tão complexa que possui milhares de partes móveis, e, todos os dias, a equipe de engenharia realiza dezenas de ajustes minúsculos nos motores, sistemas de navegação e suporte de vida.

No passado, manter essa nave operando com segurança era um pesadelo. Toda vez que um engenheiro fazia uma alteração, alarmes começavam a tocar. A equipe humana tinha que correr, verificar milhares de medidores, ler registros intermináveis e adivinhar o que estava errado. Era exaustivo, lento e frequentemente levava a erros porque havia simplesmente informação demais para processar.

Então surge BIAN QUE.

Pense em BIAN QUE não como um único robô, mas como um chefe de gabinete superinteligente e autodesenvolvido para sua equipe de engenharia. Ele não apenas reage a problemas; antecipa-os, diagnostica-os e aprende com cada evento individual para melhorar em sua função.

Veja como funciona, dividido em três conceitos simples:

1. As Três Linhas de Defesa (Os "Turnos")

Em vez de esperar que um desastre aconteça, BIAN QUE organiza o trabalho em três turnos específicos, muito como um hospital:

O Porteiro (Interceptação de Lançamento): Antes mesmo de uma nova atualização ser lançada, este agente a verifica. É como um porteiro rigoroso em uma boate que verifica documentos e bolsas antes de você entrar. Se algo parecer arriscado, ele interrompe o lançamento imediatamente, prevenindo problemas antes que comecem.
O Inspetor de Saúde (Inspeção Proativa): Este agente percorre a nave regularmente, verificando a temperatura do motor e os níveis de combustível mesmo quando nenhum alarme está tocando. Ele identifica problemas "silenciosos" que poderiam causar uma falha mais tarde, corrigindo-os antes que alguém saiba que há um problema.
O Detetive (Análise de Causa Raiz de Alertas): Se um alarme tocar, este agente é o detetive. Em vez de entrar em pânico, ele reúne instantaneamente as pistas certas (logs, métricas) e pergunta: "O que realmente quebrou?". Ele fornece à equipe humana uma resposta clara, poupando-as de horas de especulação.

2. O Sistema de "Habilidade Flexível" (A "Caixa de Ferramentas")

Esta é a maior inovação do artigo. No passado, você tinha que escrever manualmente um manual de regras para cada parte da nave. Se a nave mudasse, o manual tornava-se inútil.

BIAN QUE utiliza Habilidades Flexíveis. Imagine uma caixa de ferramentas mágica onde cada ferramenta sabe exatamente para qual trabalho serve.

Se o problema estiver no "Mecanismo de Busca", o agente puxa a "Ferramenta de Busca".
Se o problema estiver no "Reprodutor de Vídeo", ele puxa a "Ferramenta de Vídeo".

Como ele sabe qual ferramenta usar?
Ele não depende de um manual estático escrito por humanos. Em vez disso, a IA escreve suas próprias instruções com base na situação.

Geração: Se uma nova parte da nave for adicionada, a IA analisa quais dados estão disponíveis e escreve uma nova "Habilidade" (um conjunto de instruções) sob demanda para lidar com ela.
Correção: Se a IA cometer um erro, um engenheiro humano pode apenas dizer, "Ei, você esqueceu de verificar o medidor de combustível", em linguagem comum. A IA reescreve instantaneamente suas próprias instruções para incluir essa etapa da próxima vez. É como um aluno que recebe uma correção em uma prova e atualiza imediatamente seu guia de estudos.

3. O Loop de Autoevolução (A "Memória")

A maioria dos sistemas computacionais é estática; faz exatamente o que foi programado para fazer, mesmo que o mundo mude. BIAN QUE é diferente porque possui um sistema de memória dupla que aprende com cada evento individual.

Quando um engenheiro fornece feedback (por exemplo, "Esse diagnóstico estava errado"), BIAN QUE usa essa única peça de feedback para melhorar de duas formas simultaneamente:

Atualização da Base de Conhecimento: Ele salva a lição aprendida em uma "enciclopédia" permanente sobre como a nave se comporta.
Refinamento das Habilidades: Ele atualiza a "ferramenta" específica (a Habilidade) usada para aquele trabalho para que não cometa o mesmo erro novamente.

Pense nisso como um chef que prova um prato. Se o prato estiver muito salgado, o chef não joga apenas o prato fora; ele atualiza o livro de receitas (Conhecimento) e ajusta sua técnica específica de salgar (Habilidade) para a próxima vez.

Os Resultados: O Que Aconteceu no Kuaishou?

A equipe testou esse sistema no mecanismo de busca real do Kuaishou (uma plataforma massiva com centenas de milhões de usuários). Os resultados foram como transformar uma sala de emergência caótica em uma máquina bem oleada:

Menos Alarmes: O número de alarmes que realmente exigiam atenção humana caiu 75%. O sistema interrompeu o ruído antes que ele chegasse aos humanos.
Menos Falsos Alarmes: O "ruído" (alarmes que eram realmente falsos ou irrelevantes) caiu cerca de 95%. Os humanos eram acionados apenas quando realmente importava.
Correções Mais Rápidas: Quando um problema real ocorria, o tempo necessário para corrigi-lo (Tempo Médio para Resolução) foi reduzido em mais de 50%.
Precisão: O sistema identificou corretamente a causa raiz dos problemas 80% das vezes.

Por Que Isso Importa

O artigo argumenta que a parte mais difícil de usar IA para operações não é tornar a IA "mais inteligente" no raciocínio; é descobrir quais informações alimentar nela. Se você alimentar uma IA com tudo (todos os logs, todas as métricas), ela fica confusa e alucina. Se você não alimentar com nada, ela não consegue resolver o problema.

BIAN QUE resolve isso atuando como um filtro inteligente. Ele decide dinamicamente exatamente quais dados e quais regras são necessários para o problema específico em questão, e ensina a si mesmo a fazer isso melhor cada vez que um humano lhe dá um pequeno empurrão.

Em resumo, BIAN QUE transforma uma equipe de engenheiros sobrecarregados em uma equipe de supervisores altamente eficientes, permitindo que a IA lidie com o trabalho pesado de classificação de dados e diagnóstico inicial, enquanto os humanos se concentram nas grandes decisões.

1. Declaração do Problema

Operar sistemas de engines online em grande escala (busca, recomendação, publicidade) exige esforço humano significativo para monitoramento de lançamentos, resposta a alertas e análise de causa raiz (RCA). Embora agentes de Modelos de Linguagem de Grande Escala (LLM) ofereçam um caminho para a automação, as implantações atuais enfrentam um gargalo crítico: orquestração, não capacidade de raciocínio.

A Lacuna de Contexto: Alimentar indiscriminadamente todos os sinais do sistema disponíveis (métricas, logs, eventos de mudança) em um LLM causa diluição de informações e alucinações.
A Lacuna de Conhecimento: O conhecimento operacional (manuais, padrões de falha) frequentemente não está documentado, muda a cada iteração do sistema e varia conforme a linha de negócios.
O Problema de Escalabilidade: Curar manualmente o mapeamento entre eventos operacionais e os dados/conhecimentos específicos necessários para diagnóstico é intratável, dado o volume de lançamentos diários e a complexidade combinatória dos módulos de negócios.
O Ciclo de Feedback: Sistemas existentes carecem de um mecanismo onde um único sinal de feedback possa atualizar simultaneamente a lógica de recuperação (quais dados buscar) e a base de conhecimento (o que aprender com o evento).

2. Metodologia: O Framework BIAN QUE

BIAN QUE é um framework agente projetado para abstrair, orquestrar e evoluir fluxos de trabalho operacionais. Ele consiste em três pilares centrais:

A. Paradigma Operacional Unificado

O framework abstrai tarefas operacionais heterogêneas em três padrões canônicos, cada um tratado por um agente especializado:

Interceptação de Lançamento: Monitoramento do comportamento do sistema durante implantações para prevenir incidentes antes que ocorram.
Inspeção Proativa: Verificações de saúde periódicas e abrangentes para identificar riscos latentes.
Análise de Causa Raiz de Alertas (RCA): Diagnóstico e remediação de problemas após o acionamento de alertas.

Todos os agentes compartilham uma estrutura computacional comum: $o = f_{LLM}(D(e), K(e), p_s)$ , onde $D(e)$ são dados recuperados, $K(e)$ é conhecimento operacional e $p_s$ é o prompt.

B. Arranjo Flexível de Habilidades

Para resolver o problema de orquestração, o BIAN QUE introduz Habilidades, que são documentos estruturados atuando como unidades de orquestração para contextos específicos de módulos de negócios.

Estrutura: Uma Habilidade contém um LoadDataSchema (JSON especificando quais métricas/logs/mudanças buscar), um Prompt (etapas de raciocínio) e Meta (etiquetas para correspondência).
Ciclo de Vida:
- Geração: Quando uma nova combinação de módulo de negócios é encontrada, um LLM gera uma Habilidade com base em descritores iniciais (fontes de dados disponíveis e capacidades). Ela passa por um loop de validação e nova tentativa para garantir que as fontes de dados sejam válidas.
- Atualização: Praticantes podem corrigir uma Habilidade via linguagem natural. O sistema identifica automaticamente se o erro foi devido a dados ausentes (atualizando LoadDataSchema) ou raciocínio falho (atualizando Prompt).
Ortogonalidade: Agentes lidam com a lógica do cenário (ex: "este lançamento é seguro?"), enquanto Habilidades lidam com a recuperação específica de dados/conhecimento para aquele módulo. Isso permite iteração independente de agentes e habilidades.

C. Mecanismo Unificado de Autoevolução

BIAN QUE implementa um loop de feedback de dupla via impulsionado por um único sinal de correção de praticante:

Destilação de Memória para Conhecimento: Registros de casos são escritos em um armazenamento de memória de curto prazo (para reconhecimento imediato de padrões) e destilados em conhecimento persistente de longo prazo (padrões de falha, relações causais). Esta base de conhecimento é iniciada com manuais e atualizada via consolidação diária.
Refinamento Direcionado de Habilidades: O mesmo sinal de feedback dispara o processo de Atualização de Habilidade para refinar a lógica de recuperação de dados ou prompts de raciocínio.

Resultado: A base de conhecimento e o mapeamento de montagem de contexto co-evoluem, eliminando a necessidade de pipelines de atualização desconectados.

3. Principais Contribuições

Paradigma Unificado: Abstrai todo o ciclo de vida de O&M em três linhas de defesa (Interceptação, Inspeção, RCA), indo além da abordagem tradicional "alerta-primeiro" para prevenção proativa.
Arranjo Flexível de Habilidades: Substitui configuração estática por Habilidades geradas por LLM e corrigíveis por humanos que mapeiam dinamicamente eventos para dados e conhecimentos relevantes.
Feedback Coevolutivo: Um mecanismo unificado onde um único sinal de feedback melhora simultaneamente a estratégia de recuperação do agente (Habilidades) e sua base de conhecimento de domínio.
Validação em Produção: Implantado com sucesso no motor de busca de e-commerce do Kuaishou, demonstrando impacto significativo no mundo real.

4. Resultados Experimentais

O framework foi avaliado ao longo de um período de seis meses no motor de busca do Kuaishou (centenas de milhões de usuários).

Métricas de Produção:

Redução de Volume de Alertas: Redução de 75% nos alertas disparados (via interceptação de lançamento e inspeção proativa).
Redução de Ruído: Redução de ~95% nos alertos não acionáveis que chegavam aos praticantes.
Precisão da RCA: Alcançou 80% de precisão na análise de causa raiz para alertas que exigiam atenção.
MTTR: Redução do Tempo Médio para Resolução em >50%.

Avaliação Offline (104 Eventos Reais):

Inicialização de Habilidades: A geração automática alcançou uma taxa de 78,8% pass@1. Com 5 tentativas de nova tentativa, isso subiu para 94,2%.
Humano no Loop: Uma única rodada de correção em linguagem natural nas falhas restantes elevou a taxa de aprovação geral para 97,1%, e três rodadas alcançaram 99,0%.
Estudos de Ablação:
- Remover Habilidades Flexíveis (usando configurações estáticas) reduziu o pass@5 de 94,2% para 83,7%, provando a necessidade de geração dinâmica de habilidades.
- Remover a recuperação de conhecimento histórico reduziu o pass@5 para 86,5%, mostrando o papel crítico do conhecimento de domínio acumulado.
- Loop de Feedback: Sem o caminho de feedback, a precisão do sistema degradou de ~75% para ~32% ao longo de 13 dias. Com o feedback habilitado, a precisão permaneceu estável acima de 80%.

Sensibilidade ao Backbone LLM:

Modelos com ~35B parâmetros (ex: Qwen3.5-35B, GLM5, DeepSeek-V3.2) performaram de forma comparável e robusta.
Modelos menores (ex: 9B, 4B) mostraram degradação catastrófica em tarefas de raciocínio operacional, sugerindo um limite mínimo para implantação em produção.

5. Significado

BIAN QUE representa uma mudança de AIOps estáticos e baseados em regras para sistemas agentes dinâmicos e de autoevolução.

Escalabilidade: Resolve a "explosão combinatória" de mapear eventos para dados usando LLMs para gerar e manter a lógica de mapeamento (Habilidades) em vez de codificá-la rigidamente.
Sustentabilidade: O mecanismo de autoevolução garante que o sistema se adapte a mudanças rápidas do sistema sem exigir reengenharia manual constante da base de conhecimento ou da lógica de recuperação.
Operações Proativas: Ao priorizar a interceptação de lançamentos e a inspeção proativa, muda o paradigma operacional de combate a incêndios reativo para manutenção preventiva.
Generalidade: Embora implantado em um motor de busca, o framework é agnóstico a negócios, dependendo de descritores padrão de data lake e definições modulares de Habilidades, tornando-o aplicável a outros sistemas online em grande escala.

O artigo conclui que o principal desafio na O&M baseada em LLM não é a capacidade de raciocínio do modelo, mas a montagem de contexto (selecionar os dados e conhecimentos certos), que o BIAN QUE resolve através de sua Habilidade Flexível e arquitetura de autoevolução.