XSkill: Continual Learning from Experience and Skills in Multimodal Agents

Il paper presenta XSkill, un framework a doppio flusso che permette agli agenti multimodali di migliorare continuamente senza aggiornare i parametri, estraendo e recuperando conoscenza visivamente contestualizzata sotto forma di esperienze (guida a livello di azione) e competenze (guida a livello di compito) per ottimizzare l'orchestrazione degli strumenti e il ragionamento in ambienti aperti.

L'essenziale

Immagina di avere un assistente personale super intelligente, capace di vedere le immagini, scrivere codice e cercare informazioni su internet. È come un detective digitale con tutti gli strumenti del mestiere. Tuttavia, c'è un problema: anche se è molto intelligente, a volte si comporta come un principiante che deve imparare tutto da zero ogni volta che gli viene chiesto di fare qualcosa di nuovo. Se gli chiedi di risolvere un enigma visivo complesso, potrebbe impiegarci ore, sbagliare strada, o non capire che l'immagine è capovolta, perché non ha mai "imparato" dagli errori fatti in passato.

Il paper che hai condiviso introduce XSKILL, una soluzione geniale per insegnare a questi agenti digitali a imparare continuamente senza dover essere riprogrammati.

Ecco come funziona, spiegato con parole semplici e qualche analogia divertente:

1. Il Problema: L'Amnesia Digitale

Attualmente, questi agenti sono come studenti che studiano per un esame, lo superano, e poi dimenticano tutto il giorno dopo. Quando si trovano davanti un nuovo compito, ricominciano da capo, facendo gli stessi errori di prima. Non hanno un "diario di bordo" delle loro esperienze passate.

2. La Soluzione: Due Tipi di "Saggezza"

XSKILL risolve il problema dando all'agente due tipi di memoria, che chiamiamo Esperienze e Abilità. Immagina che l'agente stia imparando a cucinare:

• Le Abilità (Skills) sono le Ricette:
  Sono istruzioni strutturate e generali. Come una ricetta per fare la pasta: "Prima bolli l'acqua, poi aggiungi il sale, poi butta la pasta". Non importa se devi fare spaghetti o penne; la struttura è la stessa.

  • Nel paper: Queste aiutano l'agente a pianificare grandi compiti complessi (es. "Per trovare un oggetto piccolo in una foto, prima zoomma, poi cerca").

• Le Esperienze (Experiences) sono i "Trucchi del Mestiere":
  Sono consigli pratici e specifici basati su errori passati. Sono come dire: "Attenzione! Se la foto è al buio, non scattare subito, usa il flash prima, altrimenti non vedrai nulla" oppure "Ricorda che se l'immagine è capovolta, ruotala prima di cercare il testo".

  • Nel paper: Queste guidano l'agente nelle decisioni tattiche immediate, basandosi su ciò che è successo in situazioni simili.

3. Come Funziona il Ciclo di Apprendimento (Il "Cucina e Impara")

XSKILL funziona in due fasi principali, come se l'agente avesse un mentore invisibile che lo osserva mentre lavora:

Fase 1: L'Accumulo (Il Diario di Bordo)

Quando l'agente prova a risolvere un compito (magari fallendo o avendo successo), il sistema XSKILL analizza tutto il processo.

• Riassunto Visivo: Non guarda solo il testo scritto dall'agente, ma guarda anche cosa vedeva l'agente in quel momento (l'immagine, il codice scritto).
• Critica Incrociata: Confronta i tentativi andati bene con quelli andati male. Se l'agente ha fallito perché non ha ruotato l'immagine, il sistema scrive una nuova "Esperienza": "Se l'immagine sembra capovolta, ruotala prima di analizzare".
• Consolidamento: Se l'agente ha imparato una nuova ricetta (Abilità), il sistema la pulisce, la rende generica e la aggiunge al suo "Libro delle Ricette" (Skill Library), cancellando le ripetizioni.

Fase 2: L'Esecuzione (Il Ricorso alla Memoria)

Quando arriva un nuovo compito, l'agente non parte da zero.

1. Cerca: Scompone il problema in piccoli pezzi e cerca nel suo "Diario di Bordo" se ha già visto qualcosa di simile.
2. Adatta: Prende i consigli trovati (es. "ruota l'immagine") e li adatta alla foto specifica che ha davanti ora.
3. Agisce: Usa questi consigli per risolvere il problema molto più velocemente e con meno errori.

4. Un Esempio Concreto: Il Detective che Guarda la Foto

Immagina di chiedere all'agente: "Chi sono i due personaggi nell'angolo di questa foto?".

• Senza XSKILL: L'agente guarda la foto, vede due omini piccoli e sfocati. Dice: "Non li vedo bene". Prova a cercare su Google, ma fallisce perché la foto è capovolta e i personaggi sono troppo piccoli. Si arrende.
• Con XSKILL:
  1. L'agente guarda la foto e il sistema XSKILL gli sussurra: "Ehi, ho visto una foto simile prima! C'era un'esperienza che diceva: 'Se gli oggetti sono piccoli, usa il codice per ingrandirli' e un'altra che diceva: 'Se l'immagine è capovolta, ruotala'."
  2. L'agente segue il consiglio: ruota la foto, usa il codice per zoomare.
  3. Ora vede chiaramente i personaggi. Cerca di nuovo e trova la risposta corretta.

Perché è Importante?

Questa ricerca è rivoluzionaria perché:

1. Non serve ri-addestrare: L'agente migliora senza bisogno di cambiare il suo "cervello" (i parametri del modello), ma solo aggiornando la sua memoria esterna. È come se un umano diventasse più esperto leggendo i propri appunti, senza dover rifare la scuola.
2. È flessibile: Funziona su immagini, codice, ricerche web e molto altro.
3. Si generalizza: Le regole imparato su un tipo di problema aiutano a risolvere problemi completamente diversi in futuro.

In sintesi, XSKILL trasforma un agente digitale da un "genio con amnesia" in un esperto che impara dai propri errori, accumulando una saggezza visiva e pratica che lo rende sempre più bravo nel tempo, proprio come farebbe un umano con anni di esperienza.

Sommario tecnico

1. Il Problema

Gli agenti basati su Modelli Linguistici Multimodali (MLLM) hanno dimostrato capacità notevoli nel risolvere compiti complessi utilizzando strumenti diversi (esecuzione di codice, ricerca web, manipolazione di immagini). Tuttavia, in ambienti aperti, questi agenti soffrono di due colli di bottiglia fondamentali:

1. Uso inefficiente degli strumenti: Gli agenti tendono a spendere troppi passaggi per problemi semplici o a non esplorare abbastanza in profondità per query complesse, spesso fallendo a causa di errori di esecuzione o di una mancata comprensione del contesto visivo.
2. Orchestrazione rigida degli strumenti: La maggior parte dei sistemi esistenti è limitata all'esecuzione a percorso singolo e mostra scarsa capacità di comporre strumenti in modo flessibile e generalizzabile.

Un problema centrale è come permettere a questi agenti di migliorare continuamente senza aggiornare i parametri del modello (training-free), imparando dalle traiettorie passate. Le soluzioni attuali si basano spesso su log di testo, che sono inadeguati per scenari multimodali dove i segnali decisionali critici sono radicati nelle osservazioni visive. Senza un ancoraggio visivo, gli agenti non possono recuperare o adattare efficacemente la conoscenza precedente.

2. Metodologia: Il Framework XSKILL

XSKILL propone un framework a doppio flusso per l'apprendimento continuo, che unifica due forme complementari di conoscenza riutilizzabile:

• Esperienze (Experience): Forniscono guida a livello di azione, catturando consigli tattici, contestuali e specifici per il recupero dagli errori (es. "quando l'immagine è oscura, aumentala il contrasto").
• Abilità (Skills): Forniscono guida strutturata a livello di compito, codificando flussi di lavoro riutilizzabili e modelli di strumenti per la pianificazione di alto livello (es. un workflow standard per l'analisi di grafici finanziari).

Il sistema opera in due fasi principali, utilizzando due istanze distinte di MLLM: un modello esecutivo (MLLMexec) per l'interazione con gli strumenti e un modello di gestione della conoscenza (MLLMkb) più potente per l'estrazione e l'adattamento.

Fase I: Accumulo di Conoscenza (Training)

In questa fase, l'agente esegue più "rollout" (tentativi) su un dataset di addestramento.

1. Riassunto Guidato Visivamente (Rollout Summary): MLLMkb analizza le traiettorie combinando testo e osservazioni visive per estrarre punti decisionali chiave, pattern di utilizzo degli strumenti e motivi dei fallimenti.
2. Critica tra Rollout (Cross-Rollout Critique): Confrontando traiettorie di successo e fallite, il sistema estrae lezioni causali per generare nuove "esperienze" o modificare quelle esistenti.
3. Consolidamento Gerarchico: Le conoscenze estratte vengono consolidate per ridurre la ridondanza semantica. Le "abilità" vengono fuse in documenti Markdown strutturati, mentre le "esperienze" vengono gestite in un database JSON, con meccanismi di fusione o eliminazione basati sulla similarità e sulla qualità.

Fase II: Risoluzione del Compito (Inference)

Per un nuovo compito di test:

1. Recupero Decomposto: Il compito viene scomposto in sottoproblemi astratti. Per ogni sottoproblema, il sistema recupera le esperienze e le abilità più rilevanti dal database.
2. Adattamento Contestuale: Le conoscenze recuperate (che sono generiche) vengono riscritte e adattate al contesto visivo corrente dell'immagine e della query specifica. Questo passaggio è cruciale per colmare il divario tra conoscenza astratta e situazione reale.
3. Iniezione nel Prompt: Le conoscenze adattate vengono iniettate nel prompt di sistema dell'agente come riferimento non prescrittivo, guidando la generazione della risposta e l'uso degli strumenti.
4. Ciclo di Feedback: La storia dell'uso effettivo durante l'inferenza viene riportata alla fase di accumulo per affinare ulteriormente la base di conoscenza.

3. Contributi Chiave

• Primo Framework Unificato: XSKILL è il primo framework che unisce abilità a livello di compito e esperienze a livello di azione in un design a doppio flusso specificamente per agenti multimodali.
• Apprendimento Senza Parametri: Dimostra che è possibile migliorare significativamente le prestazioni degli agenti accumulando conoscenza strutturata e visivamente ancorata senza bisogno di ri-addestramento o fine-tuning dei pesi del modello.
• Ancoraggio Visivo: A differenza dei metodi precedenti basati solo sul testo, XSKILL fonda l'estrazione e il recupero della conoscenza sulle osservazioni visive, permettendo un adattamento contestuale molto più preciso.
• Generalizzazione Zero-Shot: La struttura gerarchica della conoscenza permette un trasferimento efficace tra compiti diversi, anche senza addestramento sul dominio target.

4. Risultati Sperimentali

Il framework è stato valutato su 5 benchmark diversi (tool use visivo, ricerca multimodale, ragionamento complesso) utilizzando 4 modelli backbone (inclusi Gemini-2.5-Pro, Gemini-3-Flash, GPT-5-mini e o4-mini).

• Prestazioni Superiori: XSKILL supera costantemente sia la baseline "solo strumenti" che le baseline basate sull'apprendimento (come Agent Workflow Memory, Dynamic CheatSheet, Agent-KB).
• Miglioramenti Quantitativi: Si osservano guadagni medi di 2.58 - 6.71 punti nella metrica Average@4 rispetto alla baseline "solo strumenti". Su scenari difficili (es. TIR-Bench con Gemini-3-Flash), il miglioramento raggiunge 11.13 punti rispetto alla baseline più forte.
• Robustezza e Generalizzazione: Gli studi di ablazione confermano che sia le "esperienze" che le "abilità" sono essenziali. Le abilità riducono gli errori di sintassi e di esecuzione degli strumenti, mentre le esperienze guidano una selezione flessibile degli strumenti basata sul contesto.
• Trasferibilità Cross-Modello: La conoscenza accumulata da un modello (es. Gemini-3-Flash) può essere trasferita con successo a modelli diversi (es. GPT-5-mini, o4-mini), dimostrando che la struttura della conoscenza è indipendente dall'architettura del modello esecutivo.

5. Significato e Impatto

XSKILL rappresenta un passo significativo verso agenti autonomi evolutivi in ambienti reali.

• Interpretabilità: Separando la conoscenza in documenti di abilità e banche dati di esperienze leggibili dall'uomo, il processo decisionale dell'agente diventa più trasparente e auditabile.
• Scalabilità: Offre un percorso pratico per migliorare le capacità degli agenti man mano che incontrano nuovi compiti, evitando i costi proibitivi del ri-addestramento continuo dei modelli fondazione.
• Futuro: Il lavoro suggerisce che l'integrazione di memoria procedurale strutturata e tattica, ancorata alla percezione visiva, è la chiave per superare le limitazioni attuali degli agenti multimodali, permettendo loro di adattarsi dinamicamente a toolset in evoluzione e compiti mai visti prima.