Riepilogo Tecnico: RIMRULE – Migliorare gli Agenti Linguistici con Capacità di Utilizzo di Strumenti tramite l'Apprendimento di Regole Guidato da MDL

1. Definizione del Problema

I Large Language Models (LLM) spesso faticano a utilizzare in modo affidabile gli strumenti in contesti specifici del dominio, dove le API sono idiosincratiche, poco documentate o create su misura per flussi di lavoro privati. I paradigmi di adattamento attuali — few-shot prompting, ottimizzazione globale del prompt e fine-tuning — presentano limitazioni significative:

• Il few-shot prompting riutilizza esempi grezzi senza astrarre i pattern sottostanti, portando spesso a un'estrazione superficiale dei pattern.
• I prompt globali sono statici e fragili in ambienti interattivi.
• Il fine-tuning è computazionalmente costoso, richiede il riaddestramento quando gli ambienti cambiano e impedisce la facile condivisione della conoscenza acquisita tra diverse architetture di modelli.

Esiste la necessità di un metodo di adattamento che rispecchi l'apprendimento umano: provare, sbagliare e comprimere l'esperienza in euristiche riutilizzabili e interpretabili che si generalizzino attraverso i task e i modelli senza modificare i pesi del modello.

2. Metodologia: RIMRULE

Gli autori propongono RIMRULE (Reusable, Interpretable, and MDL-guided Rules), un framework neuro-simbolico che adatta gli agenti LLM distillando regole compatte dai tracciati di errore (failure traces) e iniettandole dinamicamente durante l'inferenza. Il framework opera in due fasi distinte:

Fase 1: Generazione di Regole Locali

1. Raccolta dell'Esperienza: Un agente LLM zero-shot esegue i task su un set di addestramento. I tracciati di esecuzione che risultano in risposte errate o terminazioni premature a causa di errori di chiamata agli strumenti vengono conservati come "failure traces" (tracciati di errore).
2. Induzione di Regole tramite EBL: Utilizzando l'Explanation-Based Learning (EBL), il sistema confronta un tracciato di errore ($\tau^-$) con il suo corrispondente di verità fondamentale ($\tau^*$) per identificare la causa radice dell'errore (ad esempio, decomposizione, selezione dello strumento o costruzione degli argomenti). Un LLM propone una regola compatta in linguaggio naturale per correggere errori simili.
3. Filtraggio: Le regole proposte sono sottoposte a controlli predittivi (assicurando che migliorino le prestazioni sul query specifico) e controlli linguistici (imponendo una forma if-then pulita).
4. Traduzione Simbolica: Per garantire la corrispondenza strutturale e una misurazione coerente della complessità, le regole in linguaggio naturale vengono compilate in una rappresentazione simbolica con campi fissi: Domain, Qualifier, Action, Strength, e ToolCategory. Ciò crea un set di regole deterministico e verificabile.

Fase 2: Consolidamento Guidato da MDL

Il set iniziale di regole contiene spesso regole sovrapposte e eccessivamente specifiche. RIMRULE consolida questo set utilizzando il principio della Lunghezza di Descrizione Minima (MDL) per bilanciare la complessità della regola rispetto all'efficacia empirica.

• Obiettivo: Minimizzare $MDL(H) = L(H) + L(D | H)$, dove $L(H)$ è il costo del modello (che penalizza la complessità della regola/lunghezza dei token) e $L(D | H)$ è il costo dei dati (che misura quanto bene le regole correggono i fallimenti osservati).
• Consolidamento Greedy: Partendo dall'intero pool di regole, il sistema applica iterativamente modifiche locali — eliminando regole ridondanti o generalizzando le regole specifiche per uno strumento a regole di livello di categoria. Un'edit viene accettata solo se la riduzione del costo del modello supera l'aumento del costo dei dati.
• Risultato: Una libreria di regole compatta e ad alta utilità che si generalizza bene.

Recupero al Tempo di Inferenza

Durante l'inferenza, iniettare tutte le regole è inefficiente. RIMRULE impiega un meccanismo di recupero basato su simboli:

1. La query corrente e il contesto dello strumento vengono convertiti in una rappresentazione simbolica.
2. Un filtro grossolano rimuove le regole non applicabili in base allo scope dello strumento.
3. Le regole rimanenti sono classificate in base alla similarità semantica tra i campi simbolici della query e i campi simbolici della regola.
4. Le top-$k$ regole rilevanti vengono recuperate, riconvertite in linguaggio naturale e iniettate nel prompt.

3. Contributi Chiave

• Un Nuovo Paradigma di Adattamento: RIMRULE introduce un approccio distinto all'adattamento degli LLM che enfatizza l'astrazione e la compressione rispetto al semplice replay degli esempi (few-shot) o alla modifica dei pesi (fine-tuning).
• Consolidamento delle Regole Guidato da MDL: Il documento dimostra che l'uso di MDL per potare e generalizzare le regole produce un set di regole più compatto ed efficace rispetto alle euristiche basate su prompt.
• Portabilità Cross-Architettura: Il metodo produce regole simboliche e leggibili dall'uomo che possono essere distillate da un LLM (ad esempio, un modello più debole) e riutilizzate per migliorare altri (inclusi modelli più forti con ragionamento lungo) senza riaddestramento.
• Doppia Rappresentazione: Memorizzando le regole sia in linguaggio naturale che in forme simboliche strutturate, il sistema supporta un recupero efficiente e una misurazione della complessità rigorosa.

4. Risultati Sperimentali

Il metodo è stato valutato su due benchmark di utilizzo di strumenti: ToolHop (composizionale, multi-turn) e BFCL (single-step, strumenti diversificati).

• Guadagni di Performance: RIMRULE ha migliorato costantemente l'accuratezza sia sulle divisioni in-distribution (test-rand) che out-of-distribution (test-unseen). Ad esempio, su ToolHop, l'accuratezza è aumentata dal 26,5% (zero-shot) al 31,1% dopo la generazione e il consolidamento delle regole.
• Confronto con i Baseline: RIMRULE ha superato il few-shot prompting, l'ottimizzazione del prompt (SEE) e lo standard ReAct prompting in tutti i dataset.
• Complementarità con il Fine-tuning: L'aggiunta di RIMRULE a modelli fine-tuned (SFT) e a modelli con capacità native di function-calling ha prodotto ulteriori guadagni di performance, indicando che l'adattamento basato su regole opera su un asse ortogonale all'adattamento basato sui pesi.
• Trasferibilità: Le regole distillate da Llama3.2 hanno migliorato le prestazioni di GPT-4o, Llama4 e O1. Viceversa, le regole di GPT-4o hanno migliorato Llama3.2, dimostrando una trasferibilità bidirezionale.
• Efficienza del Campione: In un contesto a basse risorse (90 campioni di addestramento), il metodo ha appreso solo quattro regole ma ha ottenuto miglioramenti significativi dell'accuratezza (ad esempio, dal 46,0% al 60,0% su task BFCL non visti).
• Studi di Ablazione: Il recupero simbolico ha superato significativamente il recupero basato sul linguaggio naturale, e il consolidamento guidato da MDL ha superato il merging basato su prompt, confermando la necessità di entrambi i componenti.

l. Significato e Rivendicazioni

Il documento posiziona RIMRULE come una via pratica verso un adattamento degli LLM modulare e interpretabile. La sua importanza primaria risiede in:

1. Interpretabilità: A differenza degli aggiornamenti dei pesi "black-box", RIMRULE produce regole esplicite e leggibili dall'uomo che spiegano perché un agente è fallito e come correggerlo.
2. Riutilizzabilità: Disaccoppia l'acquisizione della conoscenza dall'addestramento del modello, permettendo alla conoscenza di essere condivisa tra diverse architetture di LLM senza riaddestramento.
3. Generalizzazione: Comprimendo i pattern di fallimento in regole astratte, il metodo migliora le prestazioni su strumenti e query mai visti durante l'addestramento.

Gli autori riconoscono i limiti, notando che l'approccio richiede l'accesso ai segnali di errore durante l'addestramento e si affida a una procedura di consolidamento greedy che non garantisce l'ottimalità globale. Avvertono inoltre che le regole apprese potrebbero sovra-generalizzare se applicate al di fuori del loro ambito previsto, sebbene l'interpretabilità delle regole permetta l'audit e la revisione.