Sintesi Tecnica: Functional Cache Grafting (FCGRAFT)

Definizione del Problema

Gli agenti incarnati (embodied agents) che operano in ambienti open-domain affrontano sfide significative nell'utilizzare modelli linguistici di grandi dimensioni per la scrittura di codice (CodeLLM) per la sintesi di policy. Il paradigma prevalente "Code-as-Policies" (CaP), che traduce istruzioni in linguaggio naturale in codice di controllo eseguibile, soffre di due limitazioni fondamentali in contesti dinamici:

1. Latenza: La decodifica completamente generativa richiede una ripetitiva computazione di prefill su prompt lunghi per ogni nuova istruzione, causando risposte ritardate che compromettono la reattività in scenari critici per il tempo.
2. Robustezza: Generare codice completo da zero porta spesso a discrepanze nelle API, mancanza di protezioni di sicurezza e logiche di controllo instabili, con conseguenti fallimenti dei task.

Gli approveri approcci basati sulla memoria operano principalmente a livello testuale, offrendo guadagni di efficienza computazionale limitati. Allo stesso modo, i precedenti metodi di Key-Value (KV) caching supportano generalmente solo il riutilizzo basato su prefisso o il caching a livello di documento, non riuscendo ad adattarsi alla necessità di adattamento a livello di funzione richiesta dalla natura dinamica ed evolutiva dei compiti embodied in ambito open-domain.

Metodologia

Il paper propone FCGRAFT (Functional Cache Grafting), un framework progettato per migliorare la programmazione robotica basata su CodeLLM attraverso il caching KV a livello di funzione e una pipeline unificata di sintesi tramite grafting del cache.

1. KV Cache a due livelli per funzioni

FCGRAFT ristruttura il meccanismo nativo di KV caching in una gerarchia di cache del codice a due livelli ($H$), indicizzata per identificatori di funzione ($f_k$):

• Livello Interfaccia Funzione ($I$): Memorizza le firme delle funzioni chiamabili (testo) e i relativi stati KV ($i^{KV}_k$). Queste voci leggere permettono al modello di riutilizzare le interfacce delle funzioni senza ricalcolare l'attenzione incrociata (cross-attention), fungendo da base per lo stitching del cache (cache-stitching).
• Livello Codice Funzione ($C$): Memorizza le implementazioni complete validate ($c^{text}_k$) e i relativi stati KV ($c^{KV}_k$). Questi vengono utilizzati durante l'esecuzione e per il patching del cache (cache-patching), fornendo il contesto necessario per riparare specifici segmenti di codice senza rigenerare l'intera policy.

Gestione del Cache: Per gestire i vincoli di memoria della GPU, il framework assegna un punteggio di località ($\ell(f_k)$) a ciascuna funzione basato su:

• Recenza ($\ell_{curr}$): Ritenzione immediata delle funzioni utilizzate di recente.
• Frequenza ($\ell_{freq}$): Frequenza di utilizzo negli ultimi task.
• Associazione ($\ell_{asso}$): Co-occorrenza condizionale con altre funzioni nelle tracce di esecuzione.
• Diversità Semantica ($\ell_{sema}$): Distintività basata sulla perplessità per trattenere funzioni rare ma utili.
  Le voci con punteggio basso vengono spostate in DRAM, mentre quelle con punteggio alto rimangono sulla GPU.

2. Pipeline di Sintesi Cache-Grafting

Le nuove policy sono sintetizzate attraverso due fasi interdipendenti:

• Cache-Stitching: Quando arriva un nuovo task, il sistema recupera le interfacce funzionali rilevanti dal livello $I$. Il CodeLLM compone una nuova policy iniettando gli stati KV memorizzati di queste interfacce. Ciò elimina la ridondante computazione di prefill per le strutture funzionali validate, garantendo che la logica di controllo interna e le sequenze di API siano robuste e pre-verificate.
• Cache-Patching: Se si verificano errori di esecuzione (ad esempio, discrepanze nelle API, eccezioni a runtime), il sistema attiva il cache-patching. La policy viene divisa in un prefisso, uno span di errore e un suffisso. Il sistema riutilizza gli stati KV del prefisso e genera solo lo span centrale corretto, guidato da una traccia Chain-of-Thought (CoT) che identifica la causa radice. Questo evita la rigenerazione completa, riducendo drasticamente i tempi di decodifica.

Contributi Chiave

1. Framework FCGRAFT: Un approccio innovativo che migliora la programmazione robotica basata su CodeLLM implementando il caching KV a livello di funzione, riducendo il prefill ridondante e garantendo la coerenza comportamentale in ambienti open-domain.
2. Meccanismi Interdipendenti: L'introduzione dello cache-stitching (per eliminare gli errori strutturali e ridurre il prefill) e del cache-patching (per correggere errori localizzati con un decoding minimo) come una pipeline unificata.
3. Validazione Empirica: Dimostrazione che FCGRAFT raggiunge un compromesso superiore tra robustezza e latenza attraverso diversi benchmark (ALFRED, TEACh, RLBench) e compiti di manipolazione robotica nel mondo reale.

Risultati Sperimentali

Gli autori hanno valutato FCGRAFT contro nove baseline competitive, inclusi metodi CodeLLM generali (CaP, SCoT), approcci basati sulla memoria (HELPER, LRLL, PromptBook) e metodi di KV caching (CAG, RAGCache, PromptCache, EPIC).

• Guadagni di Performance: Attraverso i benchmark di simulazione, FCGRAFT ha ottenuto una Task Success Rate (SR) media superiore del 18,31% e una latenza di sintesi della policy 2,3 volte più veloce rispetto alla forte baseline RAGCache.
• Benchmark Specifici:
  • ALFRED: Ha superato la seconda migliore baseline (LRLL) del 4,04% in SR e ha ridotto la latenza di 2,67×.
  • RLBench: Ha ottenuto un SR superiore del 16,21% e una riduzione della latenza di 2,25× rispetto a CAG, eccellendo particolarmente in compiti che richiedono un controllo fine e strutture di loop.
  • Robotica nel Mondo Reale: In esperimenti fisici con robot (Riordino Scrivania Ufficio e Preparazione Postazione di Cucina), FCGRAFT ha ottenuto un SR superiore del 37,04% rispetto a CaP e ha ridotto la latenza di 2,88× rispetto a RAGCache.
• Coerenza: Il framework ha mantenuto un'alta somiglianza del codice (CSIM) e un positivo forward transfer (FWT) senza dimenticanza catastrofica (backward transfer non negativa), indicando un accumulo stabile di competenze riutilizzabili.

Significato e Rivendicazioni

Il paper afferma che FCGRAFT rappresenta un passo significativo verso un'intelligenza incarnata scalabile e general-purpose, consentendo agli agenti di generare e adattare policy di codice in modo rapido e affidabile.

• Robustezza tramite il Riutilizzo: Riutilizzando le strutture di controllo validate e i pattern di chiamata API dal cache, il framework orienta la sintesi della policy verso strutture di programma provate, evitando modalità di fallimento comuni come composizioni di primitive incompatibili.
• Efficienza tramite il Grafting: La separazione delle regioni invarianti (gestite tramite stitching) dai punti di adattamento (gestiti tramite patching) consente al sistema di bypassare la computazione ridondante pur mantenendo la flessibilità di correggere gli errori localmente.
• Praticità: Il trasferimento riuscito del framework dalla simulazione alla manipolazione robotica nel mondo reale dimostra la sua validità per applicazioni critiche per il tempo e sensibili alla sicurezza, dove una risposta rapida a cambiamenti di stato imprevisti (ad esempio, perdite di gas, spostamenti di oggetti) è cruciale.

Gli autori riconoscono i limiti, notando che l'implementazione attuale mantiene un cache del codice isolato per ogni agente, il che potrebbe limitare la scalabilità in contesti cooperativi multi-agente. Il lavoro futuro proposto esplorerà la condivisione del cache del codice e le politiche di espulsione basate sull'apprendimento.