Riepilogo Tecnico: SKILLC – Apprendimento dell'Internalizzazione Autonoma delle Competenze negli Agenti LLM tramite Assegnazione del Credito Contrastiva

1. Enunciato del Problema: Cecità all'Internalizzazione

I prompt strutturati per le competenze sono diventati un meccanismo pratico per migliorare l'esplorazione e l'efficienza dei campioni nel Reinforcement Learning (RL) agenziale a lungo orizzonte. Tuttavia, nelle attuali approcci esiste una dicotomia:

• RL Potenziato dalle Competenze: I metodi mantengono le competenze esterne al momento dell'inferenza, ottimizzando le prestazioni con il supporto delle competenze in tempo di esecuzione.
• RL con Internalizzazione delle Competenze: I metodi (ad esempio, SKILL0) ritirano le competenze durante l'addestramento per abilitare prestazioni autonome, ma soffrono di una discrepanza critica di ottimizzazione definita "cecità all'internalizzazione".

Nei framework di internalizzazione esistenti, gli aggiornamenti della politica (ad esempio, tramite GRPO) generano tutte le traiettorie per un compito sotto una singola condizione di prompt. Di conseguenza, il gradiente non può distinguere tra una traiettoria di successo che è truly autonoma e una che è meramente dipendente dalla competenza. Anche se un curriculum sa che una competenza è globalmente utile, l'aggiornamento della politica rafforza il successo sotto il regime corrente piuttosto che guidare l'agente verso il successo senza la competenza. Ciò impedisce alla politica di imparare a riuscire in modo autonomo durante la fase di addestramento, portando a un divario persistente tra le prestazioni "con competenza" e "senza competenza" che collassa (se mai) solo dopo un cambio rigido del curriculum.

2. Metodologia: Il Framework SKILLC

Gli autori propongono SKILLC, un framework basato sull'Assegnazione del Credito per Competenze Contrastiva (CSCA). SKILLC converte il contrasto tra le prestazioni con competenze iniettate e quelle senza competenze in un segnale di apprendimento diretto per risolvere la cecità all'internalizzazione. Il framework opera attraverso tre meccanismi coordinati:

A. Traiettorie Contrastive Appaiate

Per i compiti all'interno del set di competenze attivo, SKILLC campiona traiettorie appaiate all'interno dello stesso aggiornamento della politica:

• Con competenza iniettata ($\tau^+$): Generata con un prompt di competenza ($z=1$).
• Senza competenza ($\tau^-$): Generata senza il prompt di competenza ($z=0$).
  Entrambe utilizzano gli stessi parametri della politica $\pi_\theta$, creando un design auto-contrastivo. Ciò permette al sistema di misurare il divario contrastivo a livello di compito $\Delta(x) = E[R|x, z=1] - E[R|x, z=0]$. Un divario positivo indica dipendenza dalla competenza; un divario vicino allo zero indica internalizzazione.

B. Stimatore del Vantaggio a Doppio Flusso

Per iniettare questo contrasto nell'ottimizzazione senza distorcere i ranking globali, SKILLC impiega uno stimatore del vantaggio a doppio flusso:

1. Flusso 1 (Ranking Globale): Preserva il vantaggio relativo al gruppo standard utilizzando la media e la varianza di tutte le traiettorie nel batch.
2. Flusso 2 (Pressione di Internalizzazione): Applica una correzione unilaterale basata sul divario contrastivo.
   • Per le traiettorie con competenza iniettata ($z=1$), il vantaggio è soppesato al ribasso da un termine di correzione $C(x)$.
   • Per le traiettorie senza competenza ($z=0$), il vantaggio è soppesato al ribasso da $C(x)$.
   • La magnitudine della correzione $C(x)$ è proporzionale al divario stimato $\hat{\Delta}(x)$ e a una forza di attribuzione $\lambda$.
     Questo meccanismo ridirige esplicitamente il credito verso il successo autonomo ("riuscire senza supporto di competenza") mentre l'agente sta ancora imparando, invece di attendere un cambio del curriculum.

C. Curriculum Consapevole dell'Internalizzazione

Un segnale di validazione a livello di smoothing guida un curriculum adattivo che controlla dinamicamente tre iperparametri:

1. Forza di Attribuzione ($\lambda$): Scala la correzione contrastiva.
2. Allocazione delle Traiettorie ($\rho$): Regola la frazione di traiettorie con competenza iniettata rispetto a quelle senza competenza.
3. Potatura del Set Attivo di Competenze: Ritira monotonicamente i tipi di competenza per i quali il divario di validazione $\bar{\Delta}_{val}$ scende sotto una soglia.
   A differenza dei metodi a calendario fisso, questo curriculum è guidato dai dati, rispondendo ai progressi effettivi misurati dell'internalizzazione.

3. Contributi Chiave

1. Identificazione della Cecità all'Internalizzazione: Il documento identifica che l'internalizzazione a calendario fisso fallisce perché i gradienti di politica standard non possono distinguere il successo autonomo dal successo dipendente dalla competenza quando tutte le traiettorie condividono una singola condizione di prompt.
2. Framework SKILLC: Gli autori propongono una soluzione che utilizza traiettorie contrastive appaiate e uno stimatore del vantaggio a doppio flusso per rendere il divario di internalizzazione osservabile e azionabile ad ogni passo del gradiente.
3. Curriculum Adattivo: Un meccanismo guidato dalla validazione che modula congiuntamente la forza di attribuzione, il budget delle traiettorie e il ritiro delle competenze, assicurando che il ritiro delle competenze sia allineato alla reale capacità dell'agente.
4. Caratterizzazione Critica dell'Applicabilità: Il documento fornisce un'analisi sfumata che mostra come l'efficacia della CSCA dipenda dalla qualità del segnale. Segnali contrastivi forti producono guadagni sostanziali (ad esempio, +33,4% sul compito "Pick2" di ALFWorld), mentre segnali deboli su compiti con effetto soffitto possono causare regressioni delle prestazioni.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su ALFWorld (compiti domestici basati su testo) e WebShop (acquisti online) utilizzando il modello base Qwen2.5-7B-Instruct.

• Guadagni di Prestazione: Senza accesso alle competenze in tempo di esecuzione, SKILLC supera la migliore baseline precedente di internalizzazione delle competenze (SKILL0) del 5,5% su ALFWorld (da 85,9% a 90,6%) e del 4,4% su WebShop (da 70,9% a 74,0%).
• Competitività: SKILLC rimane competitivo con i metodi potenziati dalle competenze (che mantengono le competenze in inferenza). Su ALFWorld, eguaglia le prestazioni di D2Skill (un metodo potenziato dalle competenze) nonostante non abbia accesso alle competenze durante l'inferenza.
• Studi di Ablazione:
  • Rimuovere le traiettorie appaiate (aggiornamenti a condizione singola) riduce le prestazioni del 3,3%.
  • Sostituire la normalizzazione a doppio flusso con una normalizzazione mista riduce le prestazioni del 2,2%.
  • Fissare il cancello del curriculum o rimuovere la potatura comporta riduzioni delle prestazioni più piccole ma costanti.
• Dinamiche di Addestramento: A differenza di SKILL0, che mantiene un ampio divario tra i tassi di successo con e senza competenza fino a un cambio rigido, SKILLC dimostra un declino monotono di questo divario, attraversando lo zero durante la metà dell'addestramento. Ciò conferma che la politica sta imparando l'autonomia in modo continuo piuttosto che affidarsi a un trasferimento passivo.

5. Significato e Affermazioni

Il documento afferma che SKILLC affronta una limitazione fondamentale nel RL agenziale attuale: l'incapacità di ottimizzare l'autonomia durante il processo di addestramento quando le competenze sono presenti. Convertendo l'"utilità" di una competenza in un segnale diretto di assegnazione del credito per il successo autonomo, SKILLC elimina la "cecità all'internalizzazione" intrinseca nei metodi precedenti.

Gli autori sottolineano che il loro approccio non richiede di modificare il framework sottostante di ottimizzazione della politica (GRPO), ma piuttosto modifica il meccanismo di assegnazione del credito. Il significato risiede nel raggiungere prestazioni autonome che rivaleggiano con i metodi potenziati dalle competenze senza il sovraccarico in tempo di esecuzione del recupero delle competenze, fornendo al contempo un meccanismo adattivo guidato dai dati per il ritiro delle competenze.

Limitazioni Riconosciute:
Il documento nota che SKILLC si basa su inventari di competenze fissi e predefiniti e potrebbe avere difficoltà in contesti aperti con rilevanza dinamica delle competenze. Inoltre, il metodo comporta un sovraccarico computazionale di circa il 26% nelle prime fasi di addestramento a causa del campionamento appaiato, sebbene questo diminuisca man mano che le competenze vengono ritirate. L'efficacia del metodo dipende anche dalla qualità del segnale contrastivo; in compiti dove le prestazioni sono già vicine al soffitto, il segnale potrebbe essere troppo debole per guidare ulteriore internalizzazione.