Riepilogo Tecnico: R2V-Agent – Insegnare agli SLM quando chiedere aiuto

Enunciato del Problema

I sistemi agenziali efficienti che operano in ambienti interattivi (ad esempio, ingegneria del software, navigazione web, amministrazione di sistema) affrontano un compromesso fondamentale tra affidabilità e costo. L'affidabilità dipende spesso da costosi modelli linguistici di grandi dimensioni (LLM) all'avanguardia, in particolare quando i compiti implicano una pianificazione a lungo raggio, il recupero da chiamate agli strumenti fallite o il ragionamento in condizioni di osservazioni incomplete. Al contrario, i modelli linguistici di piccole dimensioni (SLM) sono convenienti ma fragili sotto perturbazioni fuori distribuzione.

Le attuali cascate e instradatori di LLM eseguono tipicamente un'allocazione a livello di query, decidendo quale modello utilizzare prima dell'inizio dell'esecuzione o dopo la generazione di una risposta completa. Questo approccio è inadatto ai Processi Decisionali di Markov Parzialmente Osservabili (POMDP) agenziali, dove la difficoltà del compito è dipendente dalla traiettoria. Un compito può iniziare in distribuzione ma diventare rischioso a metà traiettoria a causa di chiamate agli strumenti instabili, osservazioni troncate o errori locali cumulativi. Instradare l'intero compito a un SLM è fragile, mentre instradare l'intero compito a un LLM è inutilmente costoso. La sfida fondamentale è determinare quando un SLM locale distribuito dovrebbe deferire a un LLM insegnante più potente durante l'esecuzione di una traiettoria di agente multi-step.

Metodologia

Gli autori propongono R2V-Agent, un framework calibrato sul rischio per l'instradamento SLM-LLM a livello di step. Il sistema scompone l'esecuzione in quattro componenti:

1. Policy SLM distillata ($\pi_\theta$): Un modello locale addestrato per gestire gli step di routine.
2. LLM insegnante ($\pi_T$): Un modello più potente invocato solo quando necessario.
3. Verificatore di processo ($V_\phi$): Un modulo leggero che assegna un punteggio alle azioni candidate a ogni step.
4. Instradatore calibrato ($r_\psi$): Il contributo centrale, che stima il rischio di fallimento residuo a ogni step.

Pipeline di Addestramento

Il sistema è addestrato come una pipeline ordinata piuttosto che come un obiettivo multi-perdita congiunto, per garantire che l'instradatore apprenda le modalità di fallimento di una policy fissa:

1. Distillazione Offline (Addestramento SLM):

   • Clonazione Comportamentale (BC): Lo SLM viene avviato utilizzando traiettorie dell'insegnante che sono state aumentate con operatori di perturbazione (simulando fallimenti degli strumenti, osservazioni mancanti, iniezione di prompt, ecc.).
   • DPO guidato dal Verificatore: La policy BC genera azioni candidate, che vengono valutate dal verificatore. Vengono costruiti coppie di preferenze tra azioni approvate dal verificatore/recuperate dall'insegnante e campioni BC di qualità inferiore. Lo SLM viene raffinato utilizzando l'Ottimizzazione Diretta delle Preferenze (DPO) con la policy BC congelata come riferimento.
   • Regolarizzazione della Coerenza: Un termine di Divergenza di Jensen-Shannon (JSD) incoraggia lo SLM a produrre distribuzioni di azioni stabili attraverso diverse realizzazioni di perturbazione dello stesso stato latente, migliorando la robustezza.

2. Addestramento dell'Instradatore:

   • Una volta fissata la policy SLM, l'instradatore viene addestrato sui fallimenti residui di questa policy.
   • Caratteristiche: L'instradatore elabora un vettore di 15 dimensioni che include l'entropia a livello di token, le statistiche del punteggio del verificatore (media, dispersione, migliore/peggiore), la coerenza delle candidate e le caratteristiche dello stato della traiettoria.
   • Etichette: L'etichetta di instradamento $y_t$ è binaria, indicando se il rollout solo-SLM contenente il contesto corrente ha alla fine fallito l'episodio.
   • Obiettivo: L'instradatore minimizza una perdita calibrata con Brier per stimare la probabilità condizionata di fallimento dell'episodio. Crucialmente, impiega un obiettivo vincolato dal Conditional Value-at-Risk (CVaR). Questo penalizza gli instradatori che sono economici in media ma fragili sotto i semi di perturbazione nel caso peggiore, garantendo robustezza contro i rischi di coda.

Inferenza

Al momento del test, lo SLM distillato esegue di default. L'instradatore stima il rischio residuo $p_t = r_\psi(f_t)$. Se $p_t$ supera una soglia calibrata $\tau^*_{route}$ e il budget LLM è disponibile, il sistema scala verso l'LLM insegnante; altrimenti, procede con l'azione SLM.

Contributi Chiave

1. Formulazione di Instradamento a Livello di Step con Stato: Il documento formula l'instradamento agente SLM-LLM come un problema di allocazione con stato in POMDP perturbati, andando oltre le decisioni statiche a livello di query.
2. Obiettivo di Instradamento basato sul Rischio Residuo: Gli autori introducono un obiettivo di instradamento che combina la stima della probabilità calibrata con Brier e il controllo del rischio di coda vincolato dal CVaR. Ciò garantisce che l'instradatore scali solo quando il rischio stimato giustifica il costo, evitando policy fragili.
3. Validazione Empirica: Il framework è valutato su tre benchmark (HumanEval+, TextWorld, TerminalBench) e quattro backbones SLM (Gemma-9B, LLaMA-3.1-8B, Qwen2.5-7B/14B), dimostrando che l'instradamento a step calibrato riduce significativamente le chiamate ai modelli all'avanguardia preservando un alto successo del compito.

Risultati

R2V-Agent migliora il fronte affidabilità-costi su tutti i benchmark testati:

• HumanEval+ (Generazione di Codice): In un regime a basso fallimento, R2V ottiene un successo del 94,3% con solo lo 0,6% di escalation LLM, un miglioramento significativo rispetto alla baseline solo-SLM (91,9%) con costo trascurabile.
• TextWorld (Controllo Incarnato): R2V recupera le prestazioni dal 64,6% (solo-SLM) al 98,2% di successo con il 41,7% di escalation. Questo è vicino al tasso dell'oracolo hindsight (35,4%) e significativamente più efficiente rispetto agli instradatori euristici, che richiedono quasi il 100% di escalation per ottenere un successo simile.
• TerminalBench (Ingegneria Shell): R2V migliora il successo dall'81,1% al 93,3% utilizzando il 33,9% di chiamate LLM. Questo è circa la metà del costo di un instradatore euristico (66,0% di escalation) con affidabilità comparabile.

Studi di ablazione confermano che sia la regolarizzazione della coerenza (che migliora la stabilità SLM) sia l'insieme completo di caratteristiche (combinando segnali del verificatore ed entropia) sono critici. Il sistema dimostra anche una degradazione elegante in ambienti closed-source dove le log-probabilità dei token non sono disponibili, utilizzando una "pseudo-entropia" derivata dai punteggi del verificatore.

Significato

Il documento sostiene che gli agenti efficienti non devono scegliere tra l'esecuzione SLM economica ma fragile e l'esecuzione LLM completa costosa. Trattando l'instradamento come una decisione con stato a livello di step fondata sulla stima del rischio residuo, R2V-Agent fornisce una via di mezzo pratica. Il lavoro evidenzia che:

• La difficoltà del compito negli agenti è dinamica e dipendente dalla traiettoria, rendendo insufficiente l'instradamento statico a livello di query.
• L'instradamento probabilistico calibrato, vincolato da obiettivi di rischio di coda (CVaR), è superiore alle soglie euristiche o basate sull'entropia per la gestione dell'allocazione computazionale in ambienti interattivi.
• Separare l'addestramento di una policy locale stabile dall'addestramento dell'instradatore permette un isolamento preciso delle strategie di allocazione computazionale dalle tecniche di miglioramento della policy.

Gli autori notano che le prestazioni del sistema rimangono dipendenti dalla qualità del verificatore e delle caratteristiche di rischio, e che alcuni fallimenti (in particolare in compiti shell complessi) rimangono difficili da rilevare online, lasciando spazio a lavori futuri sul miglioramento del verificatore e sull'adattamento dinamico del budget.