🤖 AI

Self-Evolving Recommendation System: End-To-End Autonomous Model Optimization With LLM Agents

Questo articolo introduce un sistema di raccomandazione auto-evolutivo che utilizza gli agenti LLM di Google Gemini per generare, validare e distribuire autonomamente architetture di modelli e funzioni di ricompensa ottimizzate attraverso un flusso di lavoro a doppio ciclo, dimostrando con successo una velocità di sviluppo e prestazioni superiori negli ambienti di produzione di YouTube rispetto all'ingegneria manuale tradizionale.

Autori originali: Haochen Wang, Yi Wu, Daryl Chang, Li Wei, Lukasz Heldt

Pubblicato 2026-08-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Haochen Wang, Yi Wu, Daryl Chang, Li Wei, Lukasz Heldt

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui la vostra app video preferita non si limiti a indovinare cosa volete guardare dopo, ma impari effettivamente come migliorare nel farlo ogni singolo giorno, tutto da sola. Questo è il regno dell'Apprendimento per Rinforzo (Reinforcement Learning), un ramo dell'intelligenza artificiale in cui un programma per computer agisce come un esploratore curioso. Prova diverse azioni (come mostrarvi un video di un gatto o un tutorial di cucina), osserva cosa succede (l'avete guardato? vi è piaciuto?) e riceve una "ricompensa" per le buone scelte. L'obiettivo è massimizzare quella ricompensa nel tempo. Ma ecco la parte complicata: capire come dare quella ricompensa è incredibilmente difficile. È come cercare di insegnare a un cane a riportare la pallina, ma non potete parlare il linguaggio dei cani e il cane vi comunica di essere felice solo settimane dopo. Tradizionalmente, gli esseri umani devono passare anni a perfezionare le regole, cercando di indovinare cosa il cane (o l'utente) voglia davvero, e riscrivendo manualmente il codice. Questo articolo pone una domanda audace: e se potessimo costruire un sistema che faccia questo perfezionamento, sperimentazione e riscrittura tutto da solo, senza bisogno che un essere umano gli tenga la mano in ogni passaggio?

I ricercatori di Google propongono una soluzione che chiamano Sistema di Raccomandazione Auto-Evolutivo. Pensatelo come una fabbrica digitale dove le macchine non si limitano a costruire prodotti; ridisegnano il pavimento della fabbrica, inventano nuovi strumenti e riscrivono i manuali di istruzioni mentre la fabbrica è ancora in funzione. Al cuore di questo sistema ci sono gli Agenti LLM, programmi informatici specializzati alimentati da Modelli Linguistici di Grandi Dimensioni (gli stessi tipi di IA che possono scrivere storie o chattare con voi). Questi agenti agiscono come una squadra di ingegneri di Machine Learning super intelligenti e instancabili che non dormono mai. Non si limitano a regolare qualche numero; leggono il codice, elaborano nuove idee folli su come il sistema dovrebbe funzionare, scrivono il codice per testare quelle idee e poi controllano i risultati.

Il sistema funziona come una gara a staffetta tra due corridori con ritmi molto diversi. Il primo corridore è l'Agente Offline, il "Ciclo Veloce". Questo agente è una macchina da idee iperattiva. Si sveglia ogni cinque minuti, analizza montagne di dati e genera centinaia di nuove ipotesi. È come uno chef che assaggia una zuppa e pensa immediatamente: "E se aggiungessi un pizzico di cannella?" oppure "E se sostituissi il coltello con un frullatore?". Testa queste idee rapidamente utilizzando metriche "proxy" — segnali rapidi e facili da misurare che suggeriscono se un'idea sia buona. Se la zuppa ha un sapore strano nella ciotola di prova, l'agente passa oltre.

Il secondo corridore è l'Agente Online, il "Ciclo Lento". Questo è lo stratega attento. Prende le migliori idee dal Ciclo Veloce e le testa nel mondo reale, sugli utenti veri. Questo è il test della "Stella Polare". Quel nuovo ricettario ha effettivamente reso le persone più felici e le ha trattenute a guardare più a lungo? Questo richiede tempo — giorni o addirittura settimane — perché il comportamento umano reale è lento a cambiare. L'Agente Online decide quali idee meritano di essere mantenute e quali dovrebbero essere scartate, assicurando che solo i cambiamenti più promettenti arrivino al menù finale.

L'articolo trova che questa squadra autonoma è sorprendentemente efficace. Quando hanno lasciato liberi questi agenti IA sul sistema di raccomandazione di YouTube, gli agenti non si sono limitati a regolare le impostazioni; hanno scoperto modi completamente nuovi di strutturare il software. Ad esempio, hanno capito che passare il "motore" del modello da un tipo di matematica a un altro (da Adagrad a RMSprop) lo rendeva capace di imparare più velocemente. Hanno persino inventato una nuova architettura a "percorso a cancello" (gated path), un modo intelligente di far fluire le informazioni attraverso il sistema che gli umani non avevano ancora provato. Ancora più impressionante, hanno riprogettato il sistema di "ricompensa" stesso. Inveve di contare solo i clic, gli agenti hanno capito come combinare segnali complessi — come se un utente ha condiviso un video o lo ha guardato per molto tempo — per creare una definizione più intelligente di "felicità".

I risultati sono stati misurabili e significativi. Nei test, i cambiamenti guidati dall'IA hanno migliorato le metriche chiave per gli utenti di YouTube, superando molti dei cambiamenti apportati dagli ingegneri umani nello stesso periodo. Il sistema è riuscito a eseguire esperimenti a una velocità che gli umani non potevano eguagliare, testando centinaia di idee a settimana rispetto a solo una manciata. Sebbene l'articolo noti che l'IA ha ancora bisogno degli umani per stabilire le regole principali e controllare i risultati finali, suggerisce che il futuro della costruzione di questi sistemi potrebbe somigliare meno a un team di ingegneri che programmano fino a tarda notte e più a un giardiniere che si prende cura di un giardino che si pota e si pianta da solo, crescendo meglio ogni giorno. Gli autori confermano che questo approccio funziona nel mondo reale, dimostrando che gli agenti IA possono effettivamente agire come esperti ingegneri, scoprendo miglioramenti che sono sia strutturali che semantici, non solo semplici aggiustamenti numerici.

Sintesi Tecnica: Sistema di Raccomandazione Auto-Evolutivo

Formulazione del Problema

L'ottimizzazione di sistemi di raccomandazione su larga scala per piattaforme video globali comporta la navigazione in uno spazio di ricerca degli iperparametri massiccio e la progettazione di ottimizzatori, architetture e funzioni di ricompensa complessi. Un collo di bottiglia critico in questo dominio è il "gap di allineamento" tra le proxy di addestramento differenziabili (funzioni di perdita) e le metriche di soddisfazione dell'utente a lungo termine, non differenziabili, ritardate e sparse (metriche North Star).

Gli approcci tradizionali di Automated Machine Learning (AutoML) sono limitati alla regolazione di iperparametri numerici all'interno di spazi di ricerca fissi. Essi mancano delle capacità di ragionamento semantico necessarie per:

Interpretare i risultati degli esperimenti passati per ipotizzare perché specifici segmenti di utenti siano sottoserviti.
Inventare nuova logica di ricompensa o componenti architettonici da zero.
Colmare il divario tra l'ottimizzazione della proxy offline e gli obiettivi aziendali online senza estese iterazioni manuali.

Gli autori formulano il compito come un problema di ottimizzazione bi-livello:

Livello Inferiore: Addestrare un modello di ranking (parametrizzato dai pesi $\theta$ ) per minimizzare una perdita proxy differenziabile ( $L_{proxy}$ ) data una configurazione di sistema $\Phi$ (ottimizzatore, architettura, ricompensa).
Livello Superiore: Trovare la configurazione ottimale $\Phi^*$ che massimizzi le vere metriche North Star online $M$ , soggetti ai vincoli di sistema. Tradizionalmente, questa ricerca di livello superiore viene eseguita manualmente da ricercatori umani.

Metodologia: Il Sistema Auto-Evolutivo

Il documento propone un sistema end-to-end autonomo in cui agenti basati su Large Language Model (LLM) agiscono come specialisti Ingegneri del Machine Learning (MLE). Il sistema decoppia il processo di scoperta in due loop di ragionamento sincronizzati centrati attorno a un Diario degli Esperimenti condiviso (una base di conoscenza persistente di configurazioni, punteggi offline e metriche online).

1. L'Agente Offline (Loop Rapido)

Questo agente opera come un generatore di candidati ad alta frequenza (in esecuzione ogni 5 minuti). Il suo obiettivo è nominare potenziali miglioramenti del modello che minimizzino le metriche offline o massimizzino la correlazione con segnali chiave.

Persona Specializzate: Per prevenire allucinazioni e gestire i limiti di contesto, il sistema istanzia tre distinte persona di agenti, ciascuna con strumenti e obiettivi specifici:
- Persona Ottimizzatore: Cerca nello spazio degli algoritmi di ottimizzazione (ad esempio, passare da Adagrad a RMSprop) e degli iperparametri. Utilizza lo strumento compute_loss per valutare i candidati.
- Persona Architettura: Propone mutazioni strutturali alla topologia neurale (ad esempio, l'introduzione di meccanismi Gated Path). Utilizza compute_loss per valutare apprendibilità ed espressività.
- Persona Ricompensa: Effettua l'ingegneria della ricompensa analizzando i log degli utenti tramite run_sql_query per scoprire nuovi segnali (ad esempio, "i video condivisi generano una maggiore durata della visione"). Utilizza compute_eval per calcolare metriche proxy indipendenti dalla perdita, poiché la modifica della funzione di ricompensa cambia il panorama di ottimizzazione, rendendo invalida il confronto diretto della perdita.
Output: L'agente genera modifiche "delta" (modifiche alla configurazione corrente) piuttosto che file completi per garantire l'efficienza del contesto e ridurre gli errori di sintassi.

2. L'Agente Online (Loop Lento)

Questo agente opera come uno stratega di esperimenti a bassa frequenza (in esecuzione giornaliera). Valida i candidati rispetto alle metriche North Star ritardate.

Funzione: Classifica i candidati prodotti dall'Agente Offline, selezionando i migliori $K$ per la sperimentazione live.
Gestione del Ciclo di Vita: Gestisce il ciclo di vita dell'esperimento attraverso cinque fasi: Selezione (classificazione dei candidati), Addestramento del Modello, Sperimentazione Live, Sintesi delle Metriche (recupero delle metriche online) e Pulizia (recupero delle risorse per i candidati non promettenti).
Sicurezza: Applica dei guardrail (ad esempio, assicurando che metriche specifiche non degradino oltre una certa soglia) prima di promuovere i candidati al traffico di produzione.

Contributi Chiave

Framework MLE Autonomo per Sistemi su Scala Industriale: Gli autori introducono un sistema agentico gerarchico dove gli LLM agiscono come esperti MLE per gestire l'intero ciclo di vita dello sviluppo di modelli industriali, dalla generazione di ipotesi all'implementazione del codice, fino all'A/B testing.
Scoperta Semantica: Il sistema dimostra che gli agenti basati su LLM possono andare oltre il semplice tuning dei parametri per scoprire nuove componenti architettoniche (ad esempio, architetture Gated Path) e funzioni di ricompensa multi-obiettivo che si allineano meglio alla soddisfazione dell'utente a lungo termine.
Accelerazione della Velocità Sperimentale: Il framework valida che i sistemi agentici possono superare i baseline ottimizzati manualmente sia in termini di velocità di sviluppo che di performance del modello.

Risultati e Implementazione

Il sistema è stato implementato su diverse superfici critiche di YouTube. I risultati evidenziano miglioramenti significativi rispetto ai baseline ingegnerizzati dagli umani:

Guadagni di Performance:
- Ottimizzatore: Il passaggio dal legacy Adagrad a RMSprop ha prodotto un miglioramento dello +0,06% nelle metriche a livello YouTube e dello +0,12% nelle metriche a livello di superficie.
- Architettura: La scoperta di un'architettura "Gated Path" (GLU) ha portato a guadagni dello +0,06% (livello YouTube) e dello +0,14% (livello superficie).
- Ingegneria della Ricompensa: Una sintesi della ricompensa multi-obiettivo ha migliorato le metriche di livello superficie del +0,17%, superando i baseline umani in un dominio storicamente difficile per l'ingegneria manuale della ricompensa.
- Efficienza: Il sistema ha ottenuto un miglioramento di 8 volte nel tempo di addestramento (tramite aggiustamenti di batch size ed epoche) senza sacrificare le metriche di business.
Impatto Comparativo: In media, i miglioramenti generati dal sistema agentico hanno superato il 64% dei lanci generati tramite approcci manuali tradizionali per le metriche a livello YouTube e il 73% per le metriche a livello di superficie nell'arco di sei mesi.
Studi di Ablazione:
- Capacità del Modello: Modelli più grandi con ragionamento avanzato (Gemini 2.5 Pro) hanno superato significativamente le varianti più piccole (Gemini 2.5 Flash), confermando che la scoperta algoritmica beneficia di capacità di pensiero profondo.
- Contesto & Persona: Fornire una cronologia completa e ordinata degli esperimenti passati e utilizzare una persona di "expert MLE" è stato fondamentale per le prestazioni. Rimuovere questi fattori ha portato a un significativo degrado della qualità della scoperta.
Efficienza: Il ciclo "Idea-to-Data" è stato significativamente accelerato, con il sistema che genera circa 100 esperimenti a settimana rispetto ai 1–10 dei flussi di lavoro umani, a un costo di token LLM minimo rispetto alle ore di ingegneria umana.

Significato e Rivendicazioni

Il documento afferma che questo lavoro rappresenta un passo fondamentale verso lo spostamento del ruolo dell'Ingegnere del Machine Learning dalla generazione manuale di codice e tuning alla definizione di guardrail strategici e visione a lungo termine.

Oltre l'AutoML: Il sistema dimostra la transizione da "tuning automatizzato" (selezione da spazi fissi) alla "scoperta scientifica autonoma" (generazione di nuove ipotesi e cambiamenti strutturali).
Generalizzabilità: Il framework si è adattato con successo a una diversa superficie di raccomandazione di YouTube con uno schema di feature e una configurazione del modello completamente diversi senza re-ingegnerizzazione, suggerendo che il sistema ottimizza il processo di scoperta piuttosto che memorizzare dataset specifici.
Scalabilità: Decoppiando la scoperta offline ad alta frequenza dalla validazione online a bassa frequenza, il sistema rimuove la larghezza di banda cognitiva umana come collo di bottiglia, permettendo l'esplorazione della "coda lunga" dello spazio di configurazione che è inaccessibile ai flussi di lavoro manuali.

Gli autori concludono che l'evoluzione autonoma guidata da LLM può superare i flussi di lavoro ingegneristici tradizionali sia in termini di velocità di sviluppo che di performance del modello, stabilendo un nuovo paradigma per il machine learning industriale.