🤖 AI

Bian Que: An Agentic Framework with Flexible Skill Arrangement for Online System Operations

Bian Que è un framework agentiche distribuito sul motore di ricerca di KuaiShou che affronta il collo di bottiglia nell'orchestrazione delle operazioni su larga scala introducendo un paradigma operativo unificato, una disposizione flessibile delle competenze per il recupero dinamico di dati e conoscenze e un meccanismo di auto-evoluzione, riducendo infine il volume degli avvisi del 75% e tagliando il tempo medio di risoluzione di oltre il 50%.

Autori originali: Bochao Liu, Zhipeng Qian, Yang Zhao, Xinyuan Jiang, Zihan Liang, Yufei Ma, Junpeng Zhuang, Ben Chen, Shuo Yang, Hongen Wan, Yao Wu, Chenyi Lei, Xiao Liang

Pubblicato 2026-04-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Bochao Liu, Zhipeng Qian, Yang Zhao, Xinyuan Jiang, Zihan Liang, Yufei Ma, Junpeng Zhuang, Ben Chen, Shuo Yang, Hongen Wan, Yao Wu, Chenyi Lei, Xiao Liang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere il capitano di un'astronave massiccia e ad alta velocità (come il motore di ricerca di Kuaishou) che trasporta centinaia di milioni di passeggeri ogni giorno. La nave è così complessa da avere migliaia di parti in movimento e, ogni singolo giorno, l'equipaggio di ingegneria apporta dozzine di minuscoli aggiustamenti ai motori, ai sistemi di navigazione e al supporto vitale.

In passato, mantenere questa nave in sicurezza era un incubo. Ogni volta che un ingegnere apportava una modifica, gli allarmi iniziavano a suonare. L'equipaggio umano doveva correre ovunque, controllare migliaia di quadranti, leggere registri infiniti e indovinare cosa non funzionava. Era estenuante, lento e spesso portava a errori perché c'era semplicemente troppe informazioni da elaborare.

Entra in scena BIAN QUE.

Pensa a BIAN QUE non come a un singolo robot, ma come a un "Capo di Stato Maggiore" super-intelligente e auto-migliorante per il tuo team di ingegneria. Non si limita a reagire ai problemi; li anticipa, li diagnostica e impara da ogni singolo evento per migliorare nel suo lavoro.

Ecco come funziona, scomposto in tre concetti semplici:

1. Le Tre Linee di Difesa (I "Turni")

Invece di attendere che si verifichi un disastro, BIAN QUE organizza il lavoro in tre turni specifici, proprio come un ospedale:

Il Portinaio (Intercettazione del Rilascio): Prima che un nuovo aggiornamento venga anche solo lanciato, questo agente lo controlla. È come un buttafuori severo in un club che controlla documenti e borse prima che tu entri. Se qualcosa sembra rischioso, blocca immediatamente il lancio, prevenendo i problemi prima che inizino.
L'Ispettore Sanitario (Ispezione Proattiva): Questo agente vaga per la nave regolarmente, controllando la temperatura dei motori e i livelli di carburante anche quando nessun allarme sta suonando. Trova problemi "silenziosi" che potrebbero causare un incidente in seguito, risolvendoli prima che chiunque sappia che esiste un problema.
Il Detective (Analisi della Causa Radice degli Allarmi): Se un allarme suona, questo agente è il detective. Invece di andare nel panico, raccoglie istantaneamente le prove giuste (log, metriche) e chiede: "Cosa si è rotto esattamente?". Fornisce all'equipaggio umano una risposta chiara, risparmiando loro ore di indovinelli.

2. Il Sistema "Abilità Flessibili" (La "Cassetta degli Attrezzi")

Questa è l'innovazione più grande del documento. In passato, dovevi scrivere manualmente un manuale di regole per ogni singola parte della nave. Se la nave cambiava, il manuale diventava inutile.

BIAN QUE utilizza Abilità Flessibili. Immagina una cassetta degli attrezzi magica dove ogni strumento sa esattamente per quale lavoro è destinato.

Se il problema riguarda il "Motore di Ricerca", l'agente estrae lo "Strumento di Ricerca".
Se il problema riguarda il "Lettore Video", estrae lo "Strumento Video".

Come fa a sapere quale strumento usare?
Non si affida a un manuale statico scritto da umani. Invece, l'IA scrive le proprie istruzioni in base alla situazione.

Generazione: Se viene aggiunta una nuova parte della nave, l'IA esamina quali dati sono disponibili e scrive al volo una nuova "Abilità" (un insieme di istruzioni) per gestirla.
Correzione: Se l'IA commette un errore, un ingegnere umano può semplicemente dire: "Ehi, hai dimenticato di controllare il manometro del carburante", in inglese semplice. L'IA riscrive istantaneamente le proprie istruzioni per includere quel passaggio la prossima volta. È come uno studente che riceve una correzione su un test e aggiorna immediatamente la propria guida di studio.

3. Il Ciclo di Auto-Evoluzione (La "Memoria")

La maggior parte dei sistemi informatici è statica; fanno esattamente ciò per cui sono stati programmati, anche se il mondo cambia. BIAN QUE è diverso perché possiede un sistema di memoria duale che impara da ogni singolo evento.

Quando un ingegnere fornisce un feedback (ad esempio: "Quella diagnosi era sbagliata"), BIAN QUE utilizza quel singolo pezzo di feedback per migliorare in due modi simultaneamente:

Aggiornamento della Base di Conoscenza: Salva la lezione appresa in una "enciclopedia" permanente su come si comporta la nave.
Raffinamento delle Abilità: Aggiorna lo specifico "strumento" (l'Abilità) utilizzato per quel lavoro in modo che non commetta più lo stesso errore.

Pensaci come a uno chef che assaggia un piatto. Se il piatto è troppo salato, lo chef non si limita a buttare via il piatto; aggiorna il libro delle ricette (Conoscenza) e regola la sua tecnica specifica per la salatura (Abilità) per la prossima volta.

I Risultati: Cosa è successo su Kuaishou?

Il team ha testato questo sistema sul motore di ricerca reale di Kuaishou (una piattaforma enorme con centinaia di milioni di utenti). I risultati sono stati come trasformare un pronto soccorso caotico in una macchina ben oliata:

Meno Allarmi: Il numero di allarmi che richiedevano effettivamente l'attenzione umana è diminuito del 75%. Il sistema ha fermato il rumore prima che raggiungesse gli umani.
Meno Falsi Allarmi: Il "rumore" (allarmi che erano in realtà falsi o irrilevanti) è diminuito di circa il 95%. Gli umani venivano avvisati solo quando contava davvero.
Riparazioni più Veloci: Quando si verificava un problema reale, il tempo necessario per risolverlo (Tempo Medio di Risoluzione) è stato ridotto di oltre il 50%.
Precisione: Il sistema ha identificato correttamente la causa radice dei problemi nell'80% dei casi.

Perché Questo è Importante

Il documento sostiene che la parte più difficile nell'utilizzare l'IA per le operazioni non è rendere l'IA "più intelligente" nel ragionamento; è capire quali informazioni alimentarle. Se si alimenta un IA con tutto (tutti i log, tutte le metriche), si confonde e allucina. Se non le si alimenta nulla, non può risolvere il problema.

BIAN QUE risolve questo agendo come un filtro intelligente. Decide dinamicamente esattamente quali dati e quali regole sono necessari per il problema specifico in questione, e insegna a se stesso come farlo meglio ogni volta che un umano gli dà un piccolo incoraggiamento.

In breve, BIAN QUE trasforma un team di ingegneri sovraccarichi in un team di supervisori altamente efficienti, lasciando all'IA il lavoro pesante di ordinamento dei dati e diagnosi iniziale, mentre gli umani si concentrano sulle decisioni strategiche.

1. Enunciato del Problema

La gestione di sistemi di motori online su larga scala (ricerca, raccomandazione, pubblicità) richiede un notevole sforzo umano per il monitoraggio dei rilasci, la risposta agli avvisi e l'analisi delle cause profonde (RCA). Sebbene gli agenti basati su Modelli Linguistici di Grande Dimensione (LLM) offrano una via verso l'automazione, le implementazioni attuali affrontano un collo di bottiglia critico: l'orchestrazione, non la capacità di ragionamento.

Il Divario Contestuale: Iniettare indiscriminatamente tutti i segnali di sistema disponibili (metriche, log, eventi di modifica) in un LLM causa diluizione delle informazioni e allucinazioni.
Il Divario di Conoscenza: La conoscenza operativa (manuali, pattern di guasto) è spesso non documentata, cambia con ogni iterazione del sistema e varia in base alla linea di business.
Il Problema di Scalabilità: Curare manualmente la mappatura tra eventi operativi e i dati/conoscenze specifici necessari per la diagnosi è intrattabile data la volume dei rilasci giornalieri e la complessità combinatoria dei moduli di business.
Il Ciclo di Feedback: I sistemi esistenti mancano di un meccanismo in cui un singolo segnale di feedback possa aggiornare simultaneamente la logica di recupero (quali dati recuperare) e la base di conoscenza (cosa apprendere dall'evento).

2. Metodologia: Il Framework BIAN QUE

BIAN QUE è un framework agente progettato per astrarre, orchestrare ed evolvere i flussi di lavoro operativi. È composto da tre pilastri fondamentali:

A. Paradigma Operativo Unificato

Il framework astrae compiti operativi eterogenei in tre pattern canonici, ciascuno gestito da un agente specializzato:

Intercettazione del Rilascio: Monitoraggio del comportamento del sistema durante i deploy per prevenire incidenti prima che si verifichino.
Ispezione Proattiva: Controlli di salute periodici e completi per identificare rischi latenti.
Analisi delle Cause Profonde (RCA) degli Avvisi: Diagnosi e rimedio dei problemi dopo l'attivazione degli avvisi.

Tutti gli agenti condividono una struttura computazionale comune: $o = f_{LLM}(D(e), K(e), p_s)$ , dove $D(e)$ sono i dati recuperati, $K(e)$ è la conoscenza operativa e $p_s$ è il prompt.

B. Disposizione Flessibile delle Competenze

Per risolvere il problema dell'orchestrazione, BIAN QUE introduce le Competenze (Skills), documenti strutturati che agiscono come unità di orchestrazione per contesti specifici di moduli di business.

Struttura: Una Competenza contiene uno LoadDataSchema (JSON che specifica quali metriche/log/modifiche recuperare), un Prompt (passaggi di ragionamento) e Meta (tag per il matching).
Ciclo di Vita:
- Generazione: Quando viene incontrata una nuova combinazione di modulo di business, un LLM genera una Competenza basata su descrittori iniziali (fonti di dati disponibili e capacità). Sottopone a un ciclo di validazione e nuovo tentativo per garantire che le fonti di dati siano valide.
- Aggiornamento: Gli operatori possono correggere una Competenza tramite linguaggio naturale. Il sistema identifica automaticamente se l'errore era dovuto a dati mancanti (aggiornamento di LoadDataSchema) o a un ragionamento difettoso (aggiornamento del Prompt).
Ortogonalità: Gli agenti gestiscono la logica dello scenario (es. "questo rilascio è sicuro?"), mentre le Competenze gestiscono il recupero specifico di dati/conoscenze per quel modulo. Ciò consente l'iterazione indipendente di agenti e competenze.

C. Meccanismo Unificato di Auto-Evoluzione

BIAN QUE implementa un ciclo di feedback a doppio percorso guidato da un singolo segnale di correzione da parte dell'operatore:

Distillazione Memoria-Knowledge: I record dei casi vengono scritti in un archivio di memoria a breve termine (per il riconoscimento immediato dei pattern) e distillati in conoscenza persistente a lungo termine (pattern di guasto, relazioni causali). Questa base di conoscenza è avviata con manuali e aggiornata tramite consolidamento giornaliero.
Raffinamento Mirato delle Competenze: Lo stesso segnale di feedback attiva il processo di Aggiornamento delle Competenze per affinare la logica di recupero dei dati o i prompt di ragionamento.

Risultato: La base di conoscenza e la mappatura di assemblaggio del contesto co-evolvono, eliminando la necessità di pipeline di aggiornamento disconnesse.

3. Contributi Chiave

Paradigma Unificato: Astrae l'intero ciclo di vita delle Operazioni e Manutenzione (O&M) in tre linee di difesa (Intercettazione, Ispezione, RCA), superando l'approccio tradizionale "avviso-primo" verso una prevenzione proattiva.
Disposizione Flessibile delle Competenze: Sostituisce la configurazione statica con Competenze generate da LLM e correggibili dall'uomo che mappano dinamicamente gli eventi sui dati e le conoscenze pertinenti.
Feedback Co-evolutivo: Un meccanismo unificato in cui un singolo segnale di feedback migliora simultaneamente la strategia di recupero dell'agente (Competenze) e la sua base di conoscenza di dominio.
Validazione in Produzione: Implementato con successo sul motore di ricerca e-commerce di Kuaishou, dimostrando un impatto reale significativo.

4. Risultati Sperimentali

Il framework è stato valutato in un periodo di sei mesi sul motore di ricerca di Kuaishou (centinaia di milioni di utenti).

Metriche di Produzione:

Riduzione del Volume degli Avvisi: Riduzione degli avvisi attivati del 75% (tramite intercettazione del rilascio e ispezione proattiva).
Riduzione del Rumore: Riduzione degli avvisi non azionabili che raggiungono gli operatori del ~95%.
Accuratezza RCA: Raggiunta un'80% di accuratezza nell'analisi delle cause profonde per gli avvisi che richiedevano attenzione.
MTTR: Riduzione del Tempo Medio di Risoluzione del >50%.

Valutazione Offline (104 Eventi Reali):

Inizializzazione delle Competenze: La generazione automatica ha raggiunto un tasso di 78.8% pass@1. Con 5 tentativi di nuovo tentativo, questo è salito al 94.2%.
Uomo nel Ciclo: Un singolo round di correzione in linguaggio naturale sui fallimenti rimanenti ha spinto il tasso di successo complessivo al 97.1%, e tre round hanno raggiunto il 99.0%.
Studi di Ablazione:
- Rimuovere le Competenze Flessibili (usando configurazioni statiche) ha fatto scendere il pass@5 dal 94.2% all'83.7%, dimostrando la necessità della generazione dinamica delle competenze.
- Rimuovere il recupero di conoscenza storica ha fatto scendere il pass@5 all'86.5%, mostrando il ruolo critico della conoscenza di dominio accumulata.
- Ciclo di Feedback: Senza il percorso di feedback, l'accuratezza del sistema è degradata da ~75% a ~32% in 13 giorni. Con il feedback abilitato, l'accuratezza è rimasta stabile sopra l'80%.

Sensibilità del Backbone LLM:

Modelli con ~35B parametri (es. Qwen3.5-35B, GLM5, DeepSeek-V3.2) hanno performance comparabili e robuste.
Modelli più piccoli (es. 9B, 4B) hanno mostrato un degrado catastrofico nei compiti di ragionamento operativo, suggerendo una soglia minima per il deployment in produzione.

5. Significato

BIAN QUE rappresenta un passaggio dagli AIOps statici e basati su regole ai sistemi agenti dinamici e auto-evolutivi.

Scalabilità: Risolve l'"esplosione combinatoria" della mappatura degli eventi ai dati utilizzando gli LLM per generare e mantenere la logica di mappatura (Competenze) invece di codificarla rigidamente.
Sostenibilità: Il meccanismo di auto-evoluzione garantisce che il sistema si adatti ai rapidi cambiamenti del sistema senza richiedere una continua riprogettazione manuale della base di conoscenza o della logica di recupero.
Operazioni Proattive: Prioritizzando l'intercettazione del rilascio e l'ispezione proattiva, sposta il paradigma operativo dall'incendio reattivo alla manutenzione preventiva.
Generalità: Sebbene implementato su un motore di ricerca, il framework è agnostico rispetto al business, basandosi su descrittori standard di data-lake e definizioni modulari delle Competenze, rendendolo applicabile ad altri sistemi online su larga scala.

Il documento conclude che la sfida primaria nell'O&M basato su LLM non è la capacità di ragionamento del modello, ma l'assemblaggio del contesto (selezionare i dati e le conoscenze giusti), che BIAN QUE risolve attraverso la sua architettura di Competenze Flessibili e auto-evolutiva.