AutoSkill: Experience-Driven Lifelong Learning via Skill Self-Evolution

Il paper presenta AutoSkill, un framework di apprendimento continuo basato sull'esperienza che permette agli agenti LLM di derivare, evolvere e riutilizzare automaticamente competenze dai dialoghi senza riaddestrare il modello sottostante, trasformando le interazioni effimere in capacità riutilizzabili e personalizzate.

L'essenziale

Immagina di avere un assistente personale digitale, un "segretario virtuale" basato sull'intelligenza artificiale, che ti aiuta a scrivere email, programmare o pianificare la tua giornata.

Finora, c'era un grosso problema: ogni volta che iniziavi una nuova conversazione, questo assistente sembrava aver dimenticato tutto. Se gli avevi detto ieri: "Non usare parole troppo tecniche" o "Scrivi sempre in modo formale come se fossi un avvocato", oggi, in una nuova chat, ricominciava da zero. Dovevi ripeterglielo di nuovo e di nuovo. Era come parlare con qualcuno che ha la memoria corta e non impara mai dalle tue abitudini.

AutoSkill è la soluzione a questo problema. È un nuovo sistema che permette all'assistente di imparare davvero da te, senza dover essere "riprogrammato" dai suoi creatori.

Ecco come funziona, spiegato con delle metafore semplici:

1. La differenza tra "Ricordare" e "Imparare"

Pensa alla differenza tra un diario e un manuale di istruzioni.

• I sistemi attuali (Memoria): Sono come un diario. Ricordano tutto ciò che hai detto ("Ieri mi hai chiesto di non usare il termine 'AI'"). Ma se chiedi qualcosa di nuovo, devono rileggere tutto il diario per trovare quel dettaglio. È lento e spesso confuso.
• AutoSkill: Trasforma le tue richieste ripetute in un manuale di istruzioni personale. Invece di dire "Ricordati che ieri...", l'assistente scrive una regola fissa: "Regola n. 5: Quando parlo con questo utente, usa un linguaggio semplice e evita il gergo tecnico".

2. Come nasce una "Skill" (Abilità)?

Immagina che tu stia parlando con l'assistente per la prima volta. Gli dici: "Fammi un riassunto, ma senza elenchi puntati, solo paragrafi".
L'assistente lo fa. La volta dopo, gli chiedi lo stesso tipo di riassunto. L'assistente pensa: "Oh, lo ha chiesto di nuovo! Forse è il suo modo preferito".
Invece di ignorarlo, AutoSkill prende questa interazione e crea un biglietto da visita digitale (chiamato Skill Card o "Scheda Abilità").

• Il biglietto dice: "Quando l'utente chiede un riassunto, usa solo paragrafi, niente elenchi".
• Questo biglietto viene salvato in un archivio speciale.

3. L'aggiornamento continuo (Come un software che si aggiorna da solo)

Questa è la parte più magica. Immagina che il tuo assistente abbia un manuale di istruzioni che si aggiorna da solo.

• Se un giorno dici: "Oggi voglio che i riassunti siano anche più brevi", il sistema non crea un nuovo manuale confuso. Prende il vecchio biglietto ("Niente elenchi") e lo aggiorna alla versione 2.0, aggiungendo la nuova regola ("E più brevi").
• È come se il tuo assistente avesse una versione del suo "cervello" che evolve, ma senza che nessuno debba toccare i suoi circuiti interni. Impara solo scrivendo nuovi fogli di istruzioni.

4. Perché è diverso dagli altri?

Molti sistemi provano a "insegnare" all'AI modificando il suo codice interno (come se dovessi cambiare il motore di un'auto ogni volta che vuoi che guidi meglio). È costoso, lento e rischioso.
AutoSkill è come mettere un cervello esterno all'auto.

• L'auto (il modello AI) rimane la stessa.
• Ma prima di guidare, l'assistente controlla il suo quaderno di appunti (la Skill Bank) per vedere cosa ti piace.
• Se c'è una regola per te, la legge e la applica. Se non c'è, risponde normalmente.

5. Esempi concreti

Immagina due scenari:

• Scenario A (Psicologo): Chiedi spesso consigli emotivi. AutoSkill crea una "Skill" che dice: "Sii empatico, usa un tono caldo, non dare diagnosi mediche". Ogni volta che parli di sentimenti, l'assistente legge questa regola e si comporta come un vero amico comprensivo, senza che tu debba ripeterlo.
• Scenario B (Programmatore): Chiedi spesso codice Python. AutoSkill impara che preferisci commenti dettagliati e nomi di variabili specifici. Crea una regola: "Scrivi codice Python con commenti passo-passo".

In sintesi

AutoSkill trasforma le conversazioni effimere (che svaniscono appena chiudi la chat) in abilità concrete e riutilizzabili.
È come se il tuo assistente digitale avesse una memoria a lungo termine che non si limita a ricordare cosa hai detto, ma capisce come ti piace che faccia le cose, trasformando quelle preferenze in regole fisse che migliorano ogni giorno.

Non serve che l'AI diventi più intelligente in senso biologico; diventa semplicemente più adattata a te, perché il suo "manuale di istruzioni" personale diventa sempre più preciso e completo.

Sommario tecnico

1. Il Problema

Nelle applicazioni pratiche dei Large Language Models (LLM), gli utenti esprimono ripetutamente preferenze stabili e requisiti operativi (es. ridurre le allucinazioni, seguire convenzioni di scrittura istituzionali, evitare gergo tecnico eccessivo). Tuttavia, l'esperienza di interazione accumulata raramente viene consolidata in conoscenze riutilizzabili.
Di conseguenza:

• Gli agenti LLM falliscono nell'accumulare capacità personalizzate tra diverse sessioni.
• Le abitudini dell'utente e le aspettative specifiche del compito devono essere ristabilite da zero in ogni nuova sessione.
• Gli approcci esistenti (aggiornamento dei parametri, memoria basata su recupero di testo) sono spesso costosi, difficili da controllare o trattano l'interazione passata come semplice testo da recuperare piuttosto che come comportamento da operationalizzare.

Manca un meccanismo che trasformi l'esperienza di interazione ricorrente in abilità esplicite, riutilizzabili e manutenibili.

2. Metodologia: AutoSkill

AutoSkill è un framework di apprendimento continuo (lifelong learning) guidato dall'esperienza, progettato come un layer plug-in agnostico rispetto al modello. Non richiede il riaddestramento (fine-tuning) del modello sottostante.

Architettura e Principi Chiave

Il sistema si basa su due cicli accoppiati:

1. Generazione di risposte potenziata dalle abilità: Recupera abilità rilevanti per assistere la risposta corrente.
2. Evoluzione delle abilità: Aggiorna il "Skill Bank" (banca delle abilità) basandosi sulle nuove interazioni.

Le abilità sono rappresentate come artefatti espliciti (file SKILL.md) contenenti:

• Nome e descrizione.
• Prompt eseguibile (istruzioni).
• Insieme di trigger (quando attivare).
• Tag, esempi e numero di versione.

Flusso di Lavoro (Pipeline)

Il sistema utilizza cinque moduli basati su prompt (senza addestramento):

1. Query Rewriting: Riformula la query dell'utente in una query di ricerca autonoma, risolvendo le dipendenze contestuali e preservando i vincoli di stile/formato.
2. Hybrid Skill Retrieval: Recupera le abilità rilevanti dal Skill Bank utilizzando un punteggio ibrido che combina:
   • Rilevanza semantica densa (embedding vettoriale).
   • Rilevanza lessicale esatta (BM25).
   • Vengono selezionati solo i top-K candidati che superano una soglia di confidenza.
3. Generazione Condizionata alle Abilità: Il modello LLM genera la risposta incorporando il contesto delle abilità recuperate, adattandosi alle preferenze accumulate senza modificare i suoi parametri.
4. Estrazione delle Abilità (Skill Extraction): Dopo ogni turno, il sistema analizza le query dell'utente (non le risposte del modello) per identificare vincoli stabili, procedure riutilizzabili o preferenze. Se rilevato, viene generato un candidato abilità.
5. Gestione e Fusione delle Abilità (Skill Management & Merging):
   • Un modulo "giudice" confronta il nuovo candidato con le abilità esistenti più simili.
   • Decisioni possibili: Aggiungi (nuova abilità distinta), Fondi (aggiorna un'abilità esistente con nuove informazioni), Scarta (pattern rumoroso o non riutilizzabile).
   • Versioning: Le fusioni incrementano la versione dell'abilità (es. da 0.1.0 a 0.1.1), permettendo un'evoluzione continua e tracciabile.

3. Contributi Chiave

1. Formulazione del problema: Trasformare l'esperienza di interazione in abilità esplicite e riutilizzabili per agenti LLM personalizzati.
2. Ciclo di vita delle abilità: Introduzione di un ciclo completo che copre estrazione, rappresentazione strutturata, raffinamento iterativo, recupero e riutilizzo, permettendo l'evoluzione continua senza toccare i parametri del modello base.
3. Trasparenza e Controllo: Le abilità sono artefatti modificabili e versionati (file di testo), offrendo una trasparenza e un controllo umano superiori rispetto alle memorie implicite o agli adattamenti basati su policy.
4. Implementazione Open Source: Un sistema deployabile che supporta l'integrazione con pipeline LLM esistenti, fornendo un percorso pratico verso agenti personalizzati a vita.

4. Risultati Sperimentali

Gli autori hanno valutato AutoSkill sul dataset WildChat-1M (interazioni reali con ChatGPT), filtrando conversazioni con più di 8 turni e suddividendole per lingua (Cinese/Inglese) e modello (GPT-3.5/GPT-4).

• Statistiche del Skill Bank:
  • Sono state estratte migliaia di conversazioni, generando centinaia di abilità uniche (es. 631 abilità per il subset inglese GPT-3.5).
  • Le categorie principali includono: Sviluppo Software/Programmazione (Python, JS, Pandas), Scrittura Creativa, Educazione e Traduzione.
• Evoluzione delle Versioni:
  • L'analisi delle versioni mostra che le abilità vengono effettivamente raffinate nel tempo. Ad esempio, l'abilità "professional_text_rewrite" ha raggiunto la versione 0.1.34, indicando 34 cicli di ottimizzazione incrementale basati sul feedback utente.
  • Al contrario, abilità meno frequenti rimangono in versioni iniziali (es. 0.1.0), dimostrando che il sistema non duplica le abilità ma le evolve in base alla necessità.
• Casi d'Uso:
  • Dimostrazione di abilità complesse come "Consulente Psicologico di Livello Superiore" (comportamento interpersonale) e "Generatore di Script Selenium" (procedure tecniche), entrambe rappresentate in formato strutturato e versionato.

5. Significato e Impatto

AutoSkill rappresenta un passo significativo verso agenti digitali personali veri e propri.

• Scalabilità: Offre una via scalabile per l'apprendimento continuo che non richiede costosi riaddestramenti di modelli.
• Interpretabilità: Trasforma l'apprendimento da un processo "scatola nera" (aggiornamento pesi) a un processo "scatola bianca" (modifica di file di testo espliciti), permettendo agli sviluppatori e agli utenti di ispezionare, correggere e condividere le competenze acquisite.
• Portabilità: Poiché le abilità sono artefatti standardizzati, possono essere condivise tra diversi agenti, utenti e task, facilitando il trasferimento di conoscenze.

In sintesi, AutoSkill chiude il ciclo tra esperienza, manutenzione e riutilizzo, trasformando le interazioni effimere in capacità durature, esplicite e componibili.