🤖 AI

LatentSkill: From In-Context Textual Skills to In-Weight Latent Skills for LLM Agents

LatentSkill è un framework che converte le abilità testuali in adattatori LoRA plug-and-play tramite una hypernetwork pre-addestrata, consentendo agli agenti LLM di archiviare procedure di task riutilizzabili nello spazio dei pesi anziché nello spazio del contesto, il che riduce significativamente l'overhead dei token migliorando al contempo le prestazioni e consentendo la composizione modulare delle abilità.

Autori originali: Aofan Yu, Chenyu Zhou, Tianyi Xu, Zihan Guo, Rong Shan, Zhihui Fu, Jun Wang, Weiwen Liu, Yong Yu, Weinan Zhang, Jianghao Lin

Pubblicato 2026-08-18

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Aofan Yu, Chenyu Zhou, Tianyi Xu, Zihan Guo, Rong Shan, Zhihui Fu, Jun Wang, Weiwen Liu, Yong Yu, Weinan Zhang, Jianghao Lin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I modelli linguistici di grandi dimensioni sono diventati straordinariamente capaci di ragionare su problemi complessi, agendo spesso come agenti digitali in grado di pianificare, cercare e interagire con il software per completare compiti. Per gestire lavori specializzati, questi agenti si affidano spesso a "competenze" (skills)—essenzialmente istruzioni scritte o procedure che dicono al modello come risolvere un tipo specifico di problema, come organizzare una stanza virtuale o rispondere a una domanda multi-step. Tradizionalmente, queste competenze vengono inserite direttamente nell'input del modello ogni volta che deve usarle, molto simile al leggere una pagina di un manuale pagina per pagina prima di compiere un'azione. Sebbene questo funzioni, crea un collo di bottiglia significativo: più complesso è il compito e più grande è la libreria di competenze, più testo il modello deve elaborare, il che lo rallenta e consuma enormi quantità di potenza di calcolo. Inoltre, mantenere queste istruzioni come testo semplice nell'input le lascia esposte e vulnerabili a essere fraintese o dirottate da altre parti del sistema.

Ricercatori della Shanghai Jiao Tong University e dell'OPPO Research Institute hanno proposto un approccio diverso chiamato LatentSkill, che sposta queste istruzioni dall'input testuale alla struttura della memoria interna del modello. Invece di leggere una descrizione della competenza ogni volta, il sistema utilizza un generatore specializzato per convertire il testo di una competenza in un insieme compatto di aggiustamenti interni, noti come adapter, che sono permanentemente attaccati al "cervello" del modello. Ciò consente all'agente di "conoscere" la competenza senza dover leggere nuovamente le istruzioni. Il team ha scoperto che questo metodo non solo velocizza il processo e riduce la quantità di dati che il modello deve gestire, ma crea anche uno spazio nascosto e organizzato dove diverse competenze possono essere mescolate e accoppiate con precisiona matematica.

L'idea centrale dietro questo lavoro è trattare una competenza non come un documento da leggere, ma come un insieme di pesi da caricare. Nel loro framework, un "compilatore di competenze" prende una descrizione scritta di un compito e genera istantaneamente un insieme unico di modifiche interne per il modello linguistico. Queste modifiche sono piccole, efficienti e modulari, il che significa che possono essere attaccate o staccate dal modello principale senza dover riaddestrare l'intero sistema. Una volta che una competenza viene convertita in questo formato interno, il testo originale viene scartato dal flusso di input. Il modello opera quindi utilizzando questi aggiustamenti nascosti, che guidano il suo comportamento in modo altrettanto efficace quanto farebbe il testo, ma senza l'onere pesante di elaborare migliaia di parole extra per ogni singolo passaggio di un compito.

Per testare ciò, i ricercatori hanno applicato il loro sistema a due sfide distinte: una simulazione testuale di un robot che naviga in una casa per completare faccende domestiche, e una serie di complessi compiti di risposta a domande che richiedono la ricerca attraverso molteplici fonti di informazione. Nel compito di navigazione domestica, il sistema doveva capire come raccogliere oggetti, pulirli e posizionarli in luoghi specifici. Nel compito di risposta alle domande, doveva trovare risposte che richiedevano la connessione di diversi pezzi di informazione. Confrontato con il metodo standard di incollare le istruzioni della competenza nel prompt, il nuovo approccio si è dimostrato significativamente più efficiente. Nei compiti di navigazione domestica, il sistema ha migliorato il suo tasso di successo di oltre venti punti percentuali nei compiti familiari e di più di tredici punti nei compiti nuovi e mai visti, il tutto utilizzando quasi i due terzi in meno di token di input. Nei benchmark di risposta alle domande, ha raggiunto un tasso di accuratezza più elevato riducendo il numero di token elaborati per passaggio di oltre il settanta per cento.

Oltre a risparmiare tempo e risorse, i ricercatori hanno scoperto che questi aggiustamenti interni delle competenze possiedono una sorprendente quantità di struttura. Quando hanno mappato lo spazio matematico in cui vivono queste competenze, hanno scoperto che le competenze appartenenti alla stessa categoria, come i compiti di pulizia o i compiti di ricerca, si raggruppano naturalmente, formando cluster distinti. Ciò suggerisce che il sistema non sta solo memorizzando testo, ma sta imparando la logica sottostante delle procedure. Questa struttura permette un alto grado di controllo; i ricercatori hanno scoperto che potevano regolare la forza di una competenza semplicemente girando una manopola, rappresentata da un numero di scala. Se il numero era troppo basso, la competenza non aveva effetto; se era troppo alto, il modello diventava confuso. Tuttavia, con l'impostazione corretta, il modello operava in modo ottimale, e questo punto di equilibrio rimaneva costante attraverso diversi tipi di compiti.

Forse il reperto più intrigante è stato che queste competenze interne potevano essere combinate. Proprio come si potrebbero mescolare gli ingredienti per creare un nuovo piatto, i ricercatori hanno dimostrato che potevano prendere gli aggiustamenti interni per due diverse competenze e sommarli per creare una nuova competenza composita. Tuttavia, ciò funzionava in modo affidabile solo quando le competenze venivano scomposte nei loro componenti più piccoli e allineati prima di essere mescolate. Se semplicemente aggiungevano i blocchi completi delle competenze, il risultato era spesso meno efficace. Allineando attentamente le parti, sono stati in grado di creare una competenza che eseguiva una sequza complessa di azioni senza perdere la capacità di eseguire i singoli passaggi. Ciò suggerisce che il sistema può costruire comportamenti complessi assemblando pezzi modulari di conoscenza in un modo che sia sia flessibile che preciso.

Lo studio ha anche evidenziato un significativo vantaggio in termini di sicurezza. Poiché le competenze sono memorizzate come aggiustamenti interni piuttosto che come testo visibile, sono molto più difficili da manomettere. Quando i ricercatori hanno testato il sistema contro tentativi di dirottare le istruzioni o estrarre la conoscenza nascosta, il nuovo metodo ha resistito notevolmente bene. Mentre l'approccio tradizionale basato sul testo spesso crollava o rivelava i suoi segreti quando attaccato, la versione interna della competenza ha mantenuto le sue prestazioni e ha mantenuto nascoste le sue istruzioni. Ciò indica che spostare le competenze dal prompt visibile ai pesi interni del modello offre un modo più robusto e sicuro per equipaggiare gli agenti artificiali con conoscenze specializzate.

I ricercatori concludono che questo approccio offre una via pratica per costruire agenti IA più capaci ed efficienti. Spostando la memorizzazione della conoscenza procedurale dal flusso di input ai parametri interni del modello, hanno dimostrato un modo per rendere gli agenti più veloci, più sicuri e migliori nel combinare diverse abilità. I risultati suggeriscono che il futuro degli agenti IA potrebbe non risiedere nel nutrirli con più testo, ma nell'insegnare loro a portare le proprie competenze internamente, pronte per essere dispiegate con un semplice, invisibile interruttore.

Riepilogo Tecnico: LatentSkill

Problematica

Gli agenti basati su Large Language Model (LLM) si affidano sempre più a competenze testuali esterne — procedure riutilizzabili che codificano strategie, pattern di utilizzo di strumenti ed euristiche — per risolvere compiti complessi a lungo orizzonte. Il paradigma prevalente consiste nel recuperare queste competenze da una libreria e iniettarle come testo in chiaro nel prompt ad ogni step decisionale. Sebbene modulare, questo approccio soffre di tre criticità fondamentali:

Overhead del Contesto: L'inserimento ripetuto del testo della competenza consuma una porzione significativa della finestra di contesto e aumenta i costi di prefill, specialmente man mano che le librerie di competenze crescono e le interazioni si allungano.
Robustezza: Input lunghi possono degradare la capacità del modello di utilizzare in modo robusto tutte le informazioni fornite.
Sicurezza: Mantenere le competenze come contenuto testuale leggibile espone procedure proprietarie e crea vulnerabilità agli attacchi di hijacking delle istruzioni o di estrazione delle competenze.

Al contrario, le alternative parametriche come il fine-tuning completo o il curriculum learning fondono le competenze nei pesi del modello, rendendole difficili da aggiornare, rimuovere o combinare in modo modulare. Ciò crea un trilemma: i metodi esistenti faticano a evitare la ripetizione del testo della competenza mantenendo al contempo la capacità di aggiornare e combinare le competenze dinamicamente durante l'inferenza.

Metodologia: LatentSkill

LatentSkill propone un framework che converte le competenze testuali degli agenti in moduli di adattamento LoRA (Low-Rank Adaptation) tramite una hypernetwork pre-addestrata, spostando efficacemente la conoscenza della competenza dallo spazio del contesto allo spazio dei pesi.

Architettura Core

Skill Compiler (Hypernetwork): Una hypernetwork basata su Transformer $G_\phi$ mappa un documento testuale di competenza $s$ in un set di aggiornamenti LoRA $\Delta_s$ .
$\Delta_s = G_\phi(s)$
L'aggiornamento generato segue la forma standard di LoRA $\Delta W_s = B_s A_s$ per i moduli target (proiezioni query, key, value, output, gate, up, down).
Meccanismo di Inferenza: Invece di condizionare il modello sul testo della competenza all'interno del prompt, l'adapter generato viene montato sul backbone LLM congelato $\theta$ . Il modello predice gli output basandosi sulla cronologia del task $h_t$ e sui pesi aumentati:
$p_{\theta, \phi}(y_t | h_t, s) = p_{\theta \oplus \alpha \Delta_s}(y_t | h_t)$
Qui, $\alpha$ è un coefficiente di scala che controlla la forza di iniezione della competenza.

Pipeline di Addestramento

Il framework impiega un processo di addestramento in due fasi per il compilatore delle competenze, mantenendo congelato il backbone LLM:

Pre-addestramento a livello di Documento: Il compilatore viene addestrato su un corpus di documenti di competenza testuali ( $D_{pre}$ ) utilizzando un mix 1:1 di obiettivi di ricostruzione (riprodurre l'intero documento) e completamento (predire il suffisso troncato), inizializzando la mappatura dal testo procedurale ai pesi dell'adapter utilizzabili.
Fine-Tuning Supervisionato su Traiettorie (SFT): Il compilatore viene sottoposto a fine-tuning utilizzando traiettorie di agenti "teacher" ( $D_{sft}$ ). Per ogni coppia documento-competenza e traiettoria, lo stesso adapter generato viene applicato in tutti gli step decisionali. L'obiettivo è minimizzare la perdita tra l'output del modello adattato e la traiettoria del teacher, incoraggiando l'adapter a catturare informazioni di policy stabili a livello di competenza piuttosto che adattamenti per singolo step.

Controllo e Composizione al Tempo di Inferenza

Caricamento Modulare: Le competenze vengono compilate una sola volta e memorizzate nella cache. All'inferenza, un selettore monta l'adapter (o gli adapter) pertinente senza includere il testo della competenza nel prompt.
Composizione nello Spazio dei Pesi: Più competenze possono essere combinate sommando i loro aggiornamenti LoRA: $\Delta_K = \sum \alpha_k C[k]$ .
Composizione a Livello di Componente: Per evitare la sovra-amplificazione di comportamenti condivisi, le competenze possono essere decomposte in componenti semantiche (es. principi generali vs strategie specifiche), che vengono compilate indipendentemente e ricombinate con specifici coefficienti di iniezione.

Contributi Chiave

Proposta di Framework: L'introduzione di LatentSkill, che converte le competenze testuali in moduli di adattamento LoRA plug-and-play tramite una hypernetwork, eliminando la necessità del testo della competenza nel prompt di inferenza.
Performance ed Efficienza: Dimostrazione che LatentSkill supera il prompting in-context diretto su benchmark ALFWorld e Search-QA, riducendo significativamente l'overhead del contesto (token di prefill).
Analisi Strutturale: La scoperta che i pesi LoRA generati esibiscono una geometria semantica strutturata, permettono un controllo continuo tramite coefficienti di scala e supportano la composizione aritmetica nello spazio dei parametri quando i componenti sono semanticamente allineati.

Risultati Sperimentali

Il framework è stato valutato su ALFWorld (compiti di IA incarnata) e Search-QA (risposta a domande multi-hop), utilizzando Qwen3-8B come backbone congelato.

Performance su ALFWorld: LatentSkill ha raggiunto tassi di successo del 74.3% (visti) e del 69.4% (non visti). Ciò rappresenta un miglioramento di 21.4 e 13.4 punti rispetto al baseline di in-context skill, rispettivamente. Ha inoltre ridotto il conteggio medio dei token di prefill del 63.9%.
Performance su Search-QA: LatentSkill ha raggiunto un Exact Match (EM) medio del 35.6%, superando RAG di 1.2 punti e il baseline di in-context skill di 3.0 punti, utilizzando contemporaneamente il 71.8% in meno di token per step.
Generalizzazione Out-of-Domain (OOD): Sul benchmark WebShop (senza traiettorie di addestramento), LatentSkill (SFT) ha ottenuto un punteggio di 23.9, superando significativamente il baseline di in-context skill (6.7), suggerendo che la compilazione delle competenze nello spazio latente mitiga la diluizione dell'attenzione causata dai prompt lunghi.
Robustezza: LatentSkill ha mantenuto prestazioni costanti sotto perturbazioni del testo della competenza (parafrasi, rumore, riordinamento) e attacchi a livello di prompt (hijacking, estrazione), mentre le competenze in-context hanno subito cali drastici di performance (es. scendendo dal 52.9% all'8.57% sotto attacco di hijacking su ALFWorld).

Significato e Rivendicazioni

Il paper sostiene che LatentSkill offra un substrato pratico per estendere gli agenti LLM affrontando i compromessi di efficienza, modularità e sicurezza degli attuali sistemi di competenze.

Efficienza: Memorizzando le competenze nello spazio dei pesi, il framework elimina il costo per step di tokenizzazione e processamento del testo della competenza, consentendo un'inferenza più veloce e un minor uso del contesto.
Modularità: A differenza del fine-tuning, le competenze rimangono separate dal backbone, permettendo di caricarle, scaricarle, sostituirle o scalarle senza riaddestrare il modello base.
Rappresentazione Strutturata: I pesi LoRA generati non sono semplici prompt compressi; essi formano una geometria semantica strutturata dove le competenze si raggruppano per dominio. Questa struttura consente:
- Controllabilità: La forza di iniezione di una competenza può essere modulata continuamente tramite il coefficiente di scala $\alpha$ .
- Componibilità: Le competenze possono essere combinate aritmeticamente nello spazio dei parametri, a condizione che i loro componenti semantici siano allineati, permettendo la creazione di comportamenti complessi partendo da moduli più semplici.

Gli autori concludono che i pesi delle competenze latenti forniscono un'alternativa efficiente, modulare e meno esposta rispetto ai prompt in chiaro per costruire agenti LLM robusti.