🤖 AI

A/B Agent: A Self-Evolving Agent for Strategy Iteration in Industrial A/B Testing

Questo articolo presenta A/B Agent, un framework auto-evolutivo che sfrutta un albero dell'esperienza gerarchico e un sistema Multi-path Tree-RAG per generare, eseguire e perfezionare iterativamente strategie di raccomandazione industriale attraverso test A/B a ciclo chiuso, ottenendo miglioramenti significativi del GMV in sistemi di e-commerce reali.

Autori originali: Zhuohang Jiang, Yuxin Chen, Yongsen Pan, Zheng Hu, Wenqi Fan, Qing Li, Hongyang Wang, Jun Wang, Wenwu Ou

Pubblicato 2026-08-06

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zhuohang Jiang, Yuxin Chen, Yongsen Pan, Zheng Hu, Wenqi Fan, Qing Li, Hongyang Wang, Jun Wang, Wenwu Ou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere il capitano di una massiccia astronave ad alta velocità (un sistema di raccomandazione) che cerca di consegnare lo snack perfetto a ogni passeggero. A volte indovini e tutti sono felici. Altre volte, porgi una patatina piccante a qualcuno che voleva qualcosa di dolce, o rimani senza carburante perché non hai pianificato bene la rotta. Nel mondo reale, aziende come Kuaishou utilizzano un metodo chiamato "A/B testing" per trovare la rotta migliore. È come far viaggiare due versioni diverse dell'astronave contemporaneamente: una con la vecchia mappa, una con una nuova idea. Se la nuova mappa permette a più passeggeri di raggiungere i propri snack più velocemente, la mantieni. Ma ecco l'ostacolo: farlo manualmente è estenuante. Richiede un team di esperti navigatori che disegnino costantemente nuove mappe, eseguano test, controllino i risultati e regolino le impostazioni. È un processo lento, e spesso dimenticano le lezioni apprese dai detour falliti di ieri.

Recentemente, gli scienziati hanno insegnato ai computer a leggere e comprendere queste vecchie mappe utilizzando i "Large Language Models" (IA super intelligenti che leggono il testo) e la "RAG" (Retrieval-Augmented Generation, che è come dare all'IA una biblioteca da consultare prima di parlare). Ma anche questi assistenti IA così intelligenti hanno un problema: spesso trattano la biblioteca come un mucchio piatto di fogli di carta. Potrebbero trovare una storia su una "rotta nel deserto" quando in realtà hai bisogno di una "rotta in montagna", o potrebbero non accorgersi del fatto che una strategia che ha funzionato per gli "snack" potrebbe essere pericolosa per le "bevande". Faticano a vedere il quadro generale di come le diverse parti della nave siano collegate e non riescono a imparare facilmente dai propri errori nel tempo senza che un capo umano dica loro cosa fare dopo.

È qui che il documento introduce A/B Agent, un nuovo tipo di navigatore IA "auto-evolutivo" progettato per risolvere questi problemi. Inveve di limitarsi a leggere un mucchio piatto di note, A/B Agent costruisce un enorme e organizzato "Albero dell'Esperienza". Immagina un albero dove le radici sono i grandi obiettivi aziendali, i rami sono le diverse parti della nave (come il bar degli snack o la sala macchine) e le foglie sono le strategie specifiche che hanno funzionato o fallito in passato. Quando l'IA ha bisogno di una nuova idea, non si limita a cercare parole chiave; scala l'albero per trovare il ramo esatto che corrisponde alla situazione attuale, assicurandosi di prelevare la conoscenza giusta.

Una volta scelta una strategia, A/B Agent non si ferma lì. Agisce come uno scienziato instancabile che esegue il test, osserva i risultati e poi aggiorna immediatamente il proprio albero. Se una nuova rotta porta più passeggeri ma fa surriscaldare il motore (una metrica di "guardrail"), l'IA se ne accorge, modifica le impostazioni e riprova. Continua questo ciclo — pensare, testare, imparare e aggiornare la propria base di conoscenza — finché non trova l'equilibrio perfetto. Il documento mostra che questo sistema non è solo una teoria; quando testato in un ambiente reale di shopping tramite video brevi, ha migliorato con successo il "Gross Merchandise Value" (il totale di denaro speso dagli utenti) del 4,829% mantenendo tutte le metriche di sicurezza positive. Ha persino superato alcuni dei modelli di IA più avanzati al mondo nella creazione di strategie che fossero sia corrette che creative. Essenzialmente, A/B Agent trasforma il caotico processo di tentativi ed errori in un ciclo intelligente e auto-migliorabile che diventa sempre più efficace da solo.

Sintesi Tecnica: A/B Agent per l'Iterazione della Strategia Industriale

1. Definizione del Problema

I sistemi di raccomandazione industriale si affidano pesantemente ai test A/B su larga scala per iterare le strategie, un processo che è attualmente laborioso e dispendioso in termini di tempo. Esso richiede che esperti umani progettino ripetutamente strategie, configurino esperimenti, analizzino i risultati e regolino i parametri. Un collo di bottiglia critico è la frammentazione della conoscenza storica; gli approfondimenti preziosi dai passati esperimenti sono dispersi in fonti eterogenee (documenti, codice, log) senza un'astrazione unificata, rendendo difficile il riutilizzo sistematico.

Sebbene siano stati proposti agenti basati su Retrieval-Augmented Generation (RAG) per assistere il processo, gli approcci esistenti soffrono di due limitazioni principali:

Organizzazione della Conoscenza Piatta: I sistemi RAG tradizionali recuperano frammenti di testo basandosi sulla somiglianza semantica, fallendo nel modellare le relazioni gerarchiche tra scenari di business, fasi di raccomandazione, obiettivi di ottimizzazione e contesti sperimentali. Ciò porta a un recupero errato e a un scarso trasferimento tra scenari.
Mancanza di Auto-Evoluzione: Gli agenti attuali forniscono tipicamente raccomandazioni "one-shot" senza un framework di ottimizzazione a lungo termine. Non sono in grado di perfezionare autonomamente le strategie basandosi sul feedback sequenziale degli A/B test o di consolidare progressivamente le pratiche di successo in una base di conoscenza.

Di conseguenza, l'industria manca di un sistema automatizzato capace di trasformare i record storici frammentati in esperienze strutturate e trasferibili e di perfezionare continuamente le strategie attraverso cicli di feedback online.

2. Metodologia

Il documento propone A/B Agent, un framework a ciclo chiuso progettato per l'ottimizzazione delle strategie di raccomandazione industriale. Il framework è composto da tre componenti strettamente accoppiate:

2.1 Organizzazione della Conoscenza Strategica Storica

Per affrontare la frammentazione della conoscenza, il sistema struttura i record degli esperimenti storici in un Albero dell'Esperienza Gerarchico (Hierarchical Experience Tree).

Strutturazione dei Record: I report degli esperimenti grezzi vengono convertiti in uno schema unificato che copre background di business, scenario, fase, obiettivo, descrizione della strategia, parametri, metriche e rischi.
Estrazione Agentica: Un agente strategico decompone i record in "frammenti di strategia" atomici e autosufficienti da molteplici prospettive (problema, scenario, meccanismo).
Costruzione dell'Albero: Questi frammenti sono organizzati in un albero $T_E = (V_E, E_E)$ dove i nodi rappresentano categorie (dominio, scenario, fase, obiettivo) e le foglie contengono i dettagli specifici della strategia. Questa struttura consente un recupero preciso all'interno dei rami corrispondenti e il trasferimento della conoscenza tra rami correlati.

2.2 Generazione di Strategie Autonoma Consapevole del Target

Data una nuova richiesta di ottimizzazione, l'agente genera strategie eseguibili utilizzando un approccio Multi-Path Tree-RAG:

Recupero Multi-Percorso: Il sistema mappa la richiesta su un percorso semantico nell'albero dell'esperienza e recupera i candidati utilizzando sia il recupero sparso (termini esatti) che quello denso (semantico).
Boosting Consapevole del Contesto: A differenza del RAG piatto, questo modulo potenzia i candidati che corrispondono strutturalmente allo scenario, alla fase e all'obiettivo della richiesta. Calcola un punteggio di rilevanza del percorso dell'albero basato sulla distanza del percorso più breve tra i nodi nella gerarchia.
Reranking e Generazione: Un reranker (Qwen-Reranker) esegue una valutazione fine-grained basata su meccanismi e vincoli. Il generatore di strategie adatta poi i meccanismi trasferibili al task target, considerando i vincoli ingegneristici e le condizioni di deployment.
Giudizio: I candidati generati sono valutati da giudici basati su agenti per la rilevanza contestuale, la coerenza delle evidenze e la sicurezza prima di essere convertiti in una configurazione di test A/B eseguibile.

2.3 Auto-Evoluzione della Strategia Guidata dall'Esperimento

Dopo il deployment, il sistema entra in un ciclo di auto-evoluzione:

Costruzione dell'Albero dell'Esperimento: Le successive versioni degli esperimenti sono organizzate in un Albero dell'Esperimento ( $T^*_A$ ), dove i nodi rappresentano varianti di strategia e gli archi rappresentano le modifiche.
Valutazione dell'Utilità: Il sistema definisce una funzione di utilità $U(v)$ che bilancia i guadagni delle metriche core rispetto alla degradazione delle metriche di salvaguardia (penalizzando l'impatto negativo sull'esperienza utente o sulla stabilità della piattaforma).
Tuning Iterativo: L'agente confronta i nodi padre-figlio e i nodi fratelli per identificare le modifiche efficaci. Se un ramo si satura o viola le salvaguardie, l'agente recupera meccanismi alternativi dall'albero dell'esperienza per creare nuovi rami. Gli esiti validati vengono distillati nuovamente nell'albero dell'esperienza, chiudendo il ciclo per l'accumulo continuo della conoscenza.

3. Contributi Chiave

Il documento delinea i seguenti contributi:

Framework A/B Agent: Un agente a ciclo chiuso per l'estrazione di strategie storiche, che consente il trasferimento tra scenari, l'analisi dei risultati A/B e l'ottimizzazione dei parametri nei sistemi di raccomandazione industriale.
Albero dell'Esperienza Gerarchico: Una struttura innovativa che decompone le strategie storiche in competenze trasferibili, supportando un recupero e una generazione strutturati e consapevoli del target.
Meccanismo di Auto-Evoluzione: Un approccio guidato dall'albero dell'esperimento per il tuning A/B che consente l'analisi congiunta delle metriche, l'ottimizzazione dei parametri e l'aggiornamento continuo della conoscenza senza intervento manuale.
Dataset Industriale: La costruzione di un dataset contenente 310 strategie di raccomandazione storiche attraverso tre scenari di e-commerce, inclusi configurazioni, esiti e metriche multidimensionali.
Validazione Empirica: Valutazioni estese offline e online che dimostrano l'efficacia del framework.

4. Risultati Sperimentali

Il documento valuta l'A/B Agent attraverso tre scenari di e-commerce industriale sulla piattaforma Kuaishou.

Prestazioni Offline:
- L'A/B Agent ha raggiunto il punteggio medio complessivo più alto di 7.244, superando il più forte LLM general-purpose (Claude-Sonnet-4.6, 7.151) del 1,3%.
- Rispetto al più forte baseline RAG in ogni scenario, l'A/B Agent ha migliorato il punteggio complessivo rispettivamente del 25,0%, 31,7% e 23,5%.
- Ha superato GPT-5.5 nella correttezza e Claude-Sonnet-4.6 nella novità, dimostrando che la conoscenza industriale strutturata e il recupero consapevole della trasferibilità producono risultati superiori.
Test A/B Online:
- In un deployment reale per le raccomandazioni di e-commerce di video brevi, l'A/B Agent ha ottenuto un miglioramento del 4,829% nel Cart GMV.
- Fondamentalmente, ha mantenuto guadagni positivi in tutte le metriche di salvaguardia (inclusi Live GMV, Watch Time e Platform Orders), mentre le precedenti iterazioni sperimentali dell'agente mostravano dei compromessi che sono stati successivamente risolti tramite l'auto-evoluzione.
- L'agente ha navigato con successo la frontiera di Pareto, passando da configurazioni iniziali con rischi di salvaguardia a uno stato finale che ha migliorato sia le metriche di business che la sicurezza della piattaforma.
Studio di Ablazione:
- Rimuovendo la base di conoscenza, si è verificato un calo assoluto del punteggio di 0,238 (circa il 3,3% del punteggio totale), evidenziando l'importanza dell'esperienza storica.
- Sostituendo il Tree-RAG gerarchico con un RAG piatto, si è verificato un calo assoluto di 0,015 (circa lo 0,2% del totale), confermando il valore dell'organizzazione gerarchica.
- La rimozione dei potenziamenti del recupero (es. scenario-aware boosting) ha portato a cali assoluti compresi tra 0,070 e 0,122 (circa l'1,0% - 1,7% del totale).

5. Significato e Rivendicazioni

Il documento sostiene che l'A/B Agent colmi il divario tra gli agenti LLM general-purpose e i requisiti specifici e complessi dell'iterazione delle strategie industriali. La sua importanza risiede in:

Sistematizzazione della Conoscenza Frammentata: Organizzando i dati storici non strutturati in un albero gerarchico, il sistema consente un trasferimento di conoscenza affidabile tra diversi contesti di business, cosa che i sistemi RAG piatti non riescono a fare.
Miglioramento Continuo Autonomo: Il framework va oltre la generazione "one-shot" verso un ciclo di auto-evoluzione in cui l'agente impara dal feedback online, perfezionando autonomamente strategie e parametri.
Bilanciamento tra Ottimizzazione e Sicurezza: Il meccanismo di auto-evoluzione guidato dall'esperimento modella esplicitamente il compromesso tra i guadagni delle metriche core e i vincoli di salvaguardia, permettendo all'agente di navigare verso soluzioni Pareto-ottimali che gli esperti umani potrebbero faticare a trovare manualmente.

Gli autori concludono che l'A/B Agent traduce efficacemente la conoscenza delle strategie storiche in miglioramenti misurabili del business online, offrendo una soluzione scalabile per l'ottimizzazione delle strategie industriali mantenendo al contempo la salute del sistema. Il lavoro futuro si concentrerà su un più forte allineamento ai requisiti e sulla verifica automatizzata della fattibilità ingegneristica.